Après avoir dévoilé le Codec Avatars 2.0, Meta travaille d'arrache-pied pour simplifier et démocratiser la génération d'avatars photoréalistes. Le but avoué est de pouvoir nous donner la possibilité de le faire depuis chez nous avec un simple iPhone.
Facebook nous a d'abord montré le travail effectué sur ses fameux Codec Avatars en 2019, puis le mois dernier avec leur évolution, les Codec Avatars 2.0 (voir article). Désormais, la firme annonce pouvoir faire de même avec un simple iPhone. Le dispositif de capture utilisé jusqu'à présent pour générer les avatars nécessitait une installation de capture spécialisée appelée MUGSY avec 171 caméras haute définition. Mais les dernières recherches de Meta permettent de s'affranchir de cette exigence, en générant un avatar à partir du scan d'un smartphone doté d'un capteur de profondeur de champ, comme tout iPhone équipé de Face ID (compatible avec l'iPhone 10 et les modèles supérieurs).
Comment est-il possible que ce qui nécessitait autrefois plus de 100 caméras ne nécessite plus qu'un téléphone ? L'astuce réside dans l'utilisation d'un « hyper-réseau ». Les chercheurs ont formé ce qu'ils nomment UPM en scannant les visages de 255 personnes différentes à l'aide d'un dispositif de capture avancé, similaire à MUGSY, mais doté de 90 caméras. Il vous faudra d'abord faire un panoramique du téléphone autour de votre visage neutre, puis le refaire en copiant une série de 65 expressions faciales pour obtenir un rendu convaincant.
Vous l'aurez peut-être deviné, mais ce n'est pas votre iPhone qui s'occupera de la génération de l'avatar, mais bien du scan de votre visage. Si la numérisation du visage avoisine les 3 minutes, il faudra attendre 6 heures, 4 GPU haut de gamme à l'appui, pour que votre avatar prenne vie ! Si l'application sur iPhone sortait, nul doute que cette étape serait réalisée dans le cloud, un peu comme ce qui se fait couramment chez la concurrence. Meta affirme que la qualité de son résultat est à la pointe de la technologie, bien au-delà de la concurrence. Gardons en tête que Meta travaille en parallèle à munir nos futurs casques de réalité virtuelle d'une puce visant à faciliter l'affichage d'avatars photoréalistes (voir article). Ainsi, toutes les forces concordent à faire de ce rêve une réalité. Toutefois, quelques défauts répondent à l'appel : cette technologie ne peut toujours pas gérer les lunettes ou les cheveux longs, ni même le corps.
Qu'en pensez-vous ? Sera-t-il possible à l'avenir, en démarrant un éventuel Meta Quest 3, que nous puissions être invités dès le début à nous intégrer de façon photoréaliste dans nos applications, cela vous parait-il possible, effrayant, inutile ? N'hésitez pas à nous faire part de vos réactions en commentaires.
Si vous n'avez pas encore sauté le pas, vous pouvez vous offrir un Oculus Quest 2 chez Boulanger, la Fnac, Darty ou encore Amazon pour 349,99 €. Vous pourrez aussi y trouver de bons PC pour gamers.