Comment fonctionne la technologie de suivi des mains Oculus Quest

L' Oculus Quest (à la fois le modèle original et le deuxième modèle(second model) ) a une histoire intéressante de fonctionnalités ajoutées longtemps après la sortie du matériel dans la nature. Le plus célèbre d'entre eux est Oculus Link , qui transforme efficacement le Quest en un Oculus Rift . Cette fonctionnalité a connu un tel succès qu'Oculus(Oculus) a décidé d'arrêter tous ses casques sauf le Quest . 

(Hand)Le suivi des mains n'a pas fait tout le succès d' Oculus Link , mais c'est toujours une fonctionnalité étonnante avec beaucoup de potentiel. Avec le suivi manuel, vous n'avez pas du tout besoin de contrôleurs. Vos propres mains sont numérisées dans le monde VR ! 

Si vous avez une quête(Quest) ou envisagez d'en acheter une, il est utile de savoir comment fonctionne le suivi manuel et ce qu'il peut apporter à l'expérience VR.

Comment Quest suit le monde

L' Oculus Quest utilise une approche innovante du suivi de mouvement, communément appelée suivi «à l'envers», qui est très différente de la façon dont le suivi de mouvement fonctionnait dans le passé. 

Lorsque les premiers casques de nouvelle génération sont sortis au milieu des années 2010, ils utilisaient une ou plusieurs caméras de suivi externes. Des lumières spéciales de suivi de mouvement sur le casque indiquaient à la caméra exactement où se trouvait le casque par rapport à lui. Avec quelques calculs intelligents, ces données pourraient ensuite être converties en un suivi de mouvement très précis dans l'espace 3D. C'est ainsi que les casques VR haut de gamme offrent "six degrés de liberté", également connus sous le nom de 6DoF. 

Quest déplace le capteur de la caméra sur le casque lui-même, dans ce cas en le plaçant à des endroits stratégiques de l'appareil. D'autres casques peuvent utiliser encore plus de caméras pour améliorer la précision. Ces quatre caméras permettent au Quest de regarder le monde réel qui vous entoure et de déterminer votre position dans cet espace. 

C'est ce qui permet au Quest d'être autonome et portable. C'est aussi la fonctionnalité qui permet au suivi manuel avec l' Oculus d'être possible en premier lieu.

Les contrôleurs tactiles Oculus standard(Standard Oculus Touch Controllers)

Pour comprendre ce qui rend le suivi des mains Oculus si impressionnant, nous devons commencer par les contrôleurs physiques plutôt banals fournis avec l' Oculus Quest . Chacun est entièrement suivi du mouvement par des capteurs internes et des marqueurs de suivi de mouvement spéciaux qui indiquent aux caméras embarquées du Quest où les contrôleurs sont relatifs au casque.

Lorsque vous tenez les contrôleurs tactiles en VR, ils sont suivis avec une précision étonnante. En utilisant les boutons de préhension et de déclenchement sur le contrôleur, le logiciel VR peut créer une expérience convaincante de saisie et de manipulation d'objets. Ceci est utilisé à bon escient dans des jeux tels que Half-Life Alyx et The Climb , où les objets captivants dans le monde VR sont un élément central du gameplay. 

Les contrôleurs tactiles(Touch Controllers) offrent également un retour haptique grâce à des dispositifs appelés « actionneurs linéaires », qui peuvent créer des sensations physiques de collision, des vibrations et d'autres sensations tactiles. Les manettes et les boutons offrent également un moyen familier de se déplacer dans un espace VR lorsque vous ne pouvez pas vous déplacer physiquement dans votre espace réel.

Le principal inconvénient de cela par rapport au suivi manuel est que vous avez des crochets pour les mains. Vous pouvez effectuer de simples mouvements de pincement avec vos mains virtuelles, mais c'est tout. Cela ne semble pas être une limitation majeure lorsque les jeux sont conçus autour des contrôleurs, mais le suivi des mains ouvre un éventail de nouvelles possibilités en VR.

Ce que fait le suivi manuel d'Oculus

Lorsque le suivi des mains est activé, vous verrez une représentation précise de vos mains réelles dans le monde VR. Chaque mouvement de vos doigts ou de votre poignet se reflétera dans leurs doubles virtuels.

Le suivi manuel(Hand Tracking) n'est plus une fonctionnalité bêta de Quest . Il est désormais intégré au système d'exploitation et à de nombreuses applications Quest propriétaires. Le premier avantage majeur ici est que si vous voulez simplement mettre rapidement votre Quest et regarder un film en VR ou parcourir l'App Store, vous n'avez pas à faire l'effort d'attacher les contrôleurs tactiles. En utilisant simplement vos mains, vous pouvez accéder aux menus du système et naviguer facilement.

Maintenant que le suivi manuel est une fonctionnalité officielle de Quest , les développeurs d'applications tiers peuvent l'ajouter à leurs applications. Il existe déjà un certain nombre d'applications qui font un excellent usage de la fonction de suivi manuel d' Oculus , mais nous sommes sûrs que les développeurs trouveront de nombreuses autres façons passionnantes par lesquelles le suivi manuel direct peut transformer l'expérience VR.

Comment fonctionne le suivi manuel d'Oculus

Les résultats du suivi manuel sont assez étonnants, mais comment cela fonctionne-t-il réellement ? Évidemment , Oculus ne publiera pas les détails exacts de sa solution propriétaire, mais nous connaissons les technologies et les principes impliqués.

Premièrement, les caméras embarquées sont essentielles au bon fonctionnement du suivi manuel. Non seulement ils fournissent des informations de profondeur stéréoscopiques, mais également des données visuelles pour le traitement par vision artificielle. Qu'est-ce que la vision artificielle ? C'est une branche de l'intelligence artificielle(artificial intelligence) , plus précisément un domaine connu sous le nom d'apprentissage automatique. C'est la même technologie qui permet à l'application appareil photo de votre téléphone d'identifier rapidement les visages sur une photo.

Essentiellement, le logiciel doit apprendre ce qui, dans les données d'image fournies par l'appareil photo, est une main et ce qui n'est pas une main. Cela a probablement été fait en montrant au logiciel des milliers et des milliers de mains dans différents environnements jusqu'à ce qu'il puisse trouver de manière fiable un moyen rapide et efficace de les distinguer de tout le reste dans votre pièce.

Une fois que le logiciel peut créer des modèles virtuels précis et en temps réel de vos mains, les développeurs d'applications peuvent les utiliser pour tout ce à quoi ils peuvent penser. Vous pouvez maintenant manipuler avec précision des objets en VR !

Des expériences suivies à la main qui valent la peine d'être essayées

Si vous possédez un Oculus Quest , vous pouvez essayer la fonction de suivi manuel Oculus sans avoir à acheter une application particulière. Comme mentionné ci-dessus, cela fonctionne dans l' environnement Quest principal ainsi que dans quelques applications propriétaires. En ce qui concerne les expériences tierces, il y en a quelques-unes qui méritent d'être soulignées.

The Line est une expérience narrative à 4,99 $ qui sert également de démonstration technique parfaite pour le suivi des mains. Il raconte l'histoire d'une ville modèle à l'échelle qui fonctionne sur des rouages ​​et des pistes. 

Notre héros Pedro est amoureux de Rosa , mais il ne peut échapper à son destin. Jusqu'à ce que quelque chose de nouveau se produise un jour. Vous interagissez avec leur monde de maquettes en utilisant votre main pour tourner les boutons, tirer les leviers et jouer avec tout ce que vous pouvez. C'est une expérience linéaire et courte, mais peut montrer le suivi manuel d'une manière très divertissante en 15 minutes environ.

Waltz of the Wizard (9,99 $) est une autre excellente vitrine de la technologie. Vous pouvez utiliser vos mains pour lancer des sorts et interagir avec à peu près tout dans le monde VR qui vous entoure. Si vous avez toujours voulu vivre le fantasme d'être un sorcier capable de tirer des éclairs de ses mains, ce jeu est fait pour vous !

Que pensez-vous du hand tracking sur Quest ? L'as tu essayé? Quels jeux me conseillez-vous ? Partagez(Share) vos idées dans les commentaires.



Axelle Pesquet

About the author

Je suis un ingénieur logiciel avec plus de deux ans d'expérience dans les applications mobiles et de bureau. J'ai une expertise dans les mises à jour Windows, les services et Gmail. Mes compétences font de moi le candidat idéal pour des tâches telles que le développement d'applications Windows ou la maintenance de clients de messagerie.


Related posts