PIXIE est un système d'apprentissage automatique est open source, qui permet de créer des modèles 3D et des avatars animés du corps humain à partir d'une photo.
Des textures de visage et de vêtements réalistes qui diffèrent de celles montrées sur la photo originale peuvent être attachées au modèle résultant. Le système peut être utilisé, par exemple, pour dessiner d'un point de vue différent, créer une animation, reconstituer le corps selon la forme du visage et générer un modèle 3D des doigts.
À propos de PIXIE
On prétend que par rapport à des projets similaires, PIXIE permet de recréer plus précisément les contours du corps, caché à l'origine par les vêtements sur la photo, la forme du visage et la position des articulations des mains.
La méthode est basée sur l'utilisation d'un réseau de neurones qui extrait les paramètres du visage, du corps et de la main de l'image en pixels. Le travail du réseau neuronal est coordonné par un régulateur spécial qui, sur la base de l'analyse de l'éclairage, ajoute des informations sur les coefficients de poids de diverses parties du corps pour exclure la détermination de poses non naturelles.
Les corps estimés par PIXIE sont facilement animés. La visualisation contient l'image d'entrée, le corps expressif 3D prédit, le résultat de l'animation, la vidéo de référence et sa reconstruction correspondante. Pour ces derniers, la couleur des mains et des têtes représente la confiance des modérateurs correspondants. Une couleur plus claire signifie que PIXIE s'appuie davantage sur les informations de l'image corporelle que sur les parties, ce qui peut arriver lorsqu'une personne tourne le dos à la caméra, par exemple.
Lors de la création d'un modèle, les différences anatomiques entre les corps masculins et féminins, les paramètres de posture, l'éclairage, la réflectivité de la surface et la rotation du visage dans un plan tridimensionnel sont pris en compte.
Caractéristiques de PIXIE :
- Le modèle corporel 3D reconstruit, ainsi que les informations sur la posture, la position de la main et l'expression du visage, sont enregistrés sous la forme d'un ensemble de paramètres SMPL-X, qui peuvent ensuite être utilisés dans le système de modélisation Blender via un complément.
- Des informations détaillées sur la forme et l'expression du visage, ainsi que ses caractéristiques, telles que la présence de rides, sont déterminées à partir de la photographie (le système d'apprentissage automatique DECA développé par les mêmes auteurs est utilisé pour construire un modèle de tête).
- Lors de la génération d'une texture de visage, l'albédo d'un objet est estimé.
- Le modèle de corps construit peut alors être animé ou présenté dans une pose différente.
- Soutien à la construction d'un modèle à partir de photographies ordinaires dans lesquelles une personne est filmée dans des conditions naturelles.
- PIXIE fait un bon travail pour détecter différentes poses, conditions d'éclairage et parties superposées d'un objet.
- Hautes performances, adaptées au traitement dynamique de l'image de la caméra.
Le code est écrit en Python à l'aide du framework Pytorch et est distribué sous une licence qui permet une utilisation à des fins non commerciales uniquement.
Comment installer Pixie sur Linux ?
Pour ceux qui souhaitent pouvoir installer ce système de modélisation 3D sur leur système, ils peuvent le faire en suivant les instructions que nous partageons ci-dessous.
La première chose que nous devons faire est d'obtenir le code source de Pixie pour pouvoir le compiler sur notre ordinateur et pour cela nous allons ouvrir un terminal et nous allons taper ce qui suit :
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Une fois cela fait, nous pouvons procéder à l'installation soit à l'aide du gestionnaire de packages Python :
pip install -r requirements.txt
Ou nous pouvons exécuter l'un des programmes d'installation proposés :
bash install_conda.sh
O:
bash install_pip.sh
Enfin si vous souhaitez en savoir plus sur le projet, pour pouvoir revoir le code source ou aussi pour obtenir les modèles déjà formés afin que vous puissiez exécuter une démo et savoir comment cela fonctionne, vous pouvez obtenir ceci et bien plus encore auprès de le lien suivant.