Actualité Xbox 360
Kinect 02

Le cerveau de Kinect disséqué - Première partie

par

Préparez vos aspirines, les ingénieurs de Microsoft nous expliquent le fonctionnement de leur capteur de mouvements, Kinect.

Le capteur de Kinect :

Au cœur du suivi du squelette, c'est un capteur infrarouge CMOS qui permet à Kinect de percevoir le monde indépendamment des conditions d'éclairage ambiant. Pensez à ce que vous pouvez voir dans un univers monochrome en noir et blanc : le noir étant infiniment loin et le blanc infiniment proche. Les nuances de gris entre ces deux extrêmes correspondent à une distance physique du capteur. Kinect rassemble chaque point dans son champ de vision et il les forme en une image qui représente la profondeur du monde qui l'entoure. Un courant de ces images de profondeur est produit à une vitesse de 30 images par seconde, créant donc une représentation 3D en temps réel de l'environnement. C'est un peu comme ces jeux, qui reviennent souvent à la mode, qui permettent en poussant sur une multitude de clous de représenter votre main ou votre visage. Ceci est un modèle simple en 3D d'une partie de votre corps.

jeu a clous

Trouver les objets en mouvement :

La chose suivante que Kinect fait, est de se concentrer sur les objets en mouvement susceptibles d'être humains, un peu comme notre œil qui se concentre inconsciemment sur les choses qui bougent. Plus tard dans son cheminement, Kinect procédera à une évaluation pixel par pixel de l'image en profondeur afin d'identifier les parties du corps humain mais pour maintenir un taux de rafraîchissement sensible, cette évaluation doit être optimisée à l'avance.

kinect objet en mouvement

La segmentation est la stratégie que Kinect utilise pour séparer les masses humanoïdes de l'arrière-plan, pour cela il analyse le signal du bruit. Il peut suivre activement les squelettes complets de deux joueurs maximum ainsi que la forme et la position de quatre personnes passives. Dans cette phase du cheminement, il a été créé ce que les ingénieurs de Microsoft appellent un masque de segmentation de chaque joueur humain dans la profondeur de l'image. Ceci est une image en profondeur modifiée à laquelle les chaises et autres animaux de compagnie ont été soustraits. En envoyant simplement le masque de segmentation dans le cheminement, les travaux de calculs pour identifier les parties du corps s'en trouvent réduits.

Commenter 5 commentaires

Avatar de l’utilisateur
Furior
Oui, c'est un dossier très intéressant: on voit bien l'importance de la partie logiciel (mais ça on s'en doutait au vu de l'hardware si peu évolué).

En tout cas côté software c'est un véritable tour de force qu'a réalisé là Microsoft.

Merci encore pour ces infos.

Cordialement, Furior
Signaler Citer