PIXIE és un sistema d'aprenentatge automàtic és de codi obert, que permet crear models 3D i avatars animats del cos humà a partir duna foto.
Les textures realistes de la cara i la roba que difereixen de les que es mostren a la foto original es poden adjuntar al model resultant. El sistema es pot fer servir, per exemple, per dibuixar des d'un punt de vista diferent, crear animació, reconstruir el cos segons la forma del rostre i generar un model 3D dels dits.
Sobre PIXIE
S'afirma que en comparació amb projectes similars, PIXIE permet recrear amb més precisió els contorns del cos, originalment ocults per la roba a la fotografia, la forma del rostre i la posició de les articulacions de les mans.
El mètode es basa en utilitzar una xarxa neuronal que extreu els paràmetres de la cara, el cos i les mans de la imatge de píxels. El treball de la xarxa neuronal està coordinat per un regulador especial que, basat en l'anàlisi de la il·luminació, afegeix informació sobre els coeficients de pes de diverses parts del cos per excloure la determinació de posis no naturals.
Els cossos estimats per PIXIE s'animen fàcilment. La visualització conté la imatge d'entrada, el cos expressiu 3D predit, el resultat de l'animació, el vídeo de referència i la reconstrucció corresponent. Per a aquests darrers, el color de les mans i el cap representa la confiança dels moderadors corresponents. Un color més clar vol dir que PIXIE confia més en la informació de la imatge corporal que en les parts, cosa que pot passar quan una persona està d'esquena a la càmera, per exemple.
En crear un model, es tenen en compte les diferències anatòmiques entre els cossos masculí i femení, els paràmetres de postura, la il·luminació, la reflectivitat de la superfície i la rotació de la cara en un pla tridimensional.
Característiques de PIXIE:
- El model corporal en 3D reconstruït, així com la informació sobre la postura, la posició de la mà i l'expressió facial, es guarden com un conjunt de paràmetres SMPL-X, que després es poden fer servir al sistema de modelatge Blender a través de un complement.
- A partir de la fotografia es determina informació detallada sobre la forma i l'expressió del rostre, així com els seus trets, com la presència d'arrugues (s'utilitza el sistema d'aprenentatge automàtic DECA desenvolupat pels mateixos autors per construir un model de cap).
- En generar una textura de cara, s'estima l'albedo d'un objecte.
- El model de cos construït pot després animar-se o presentar-se en una posició diferent.
- Suport per a la construcció d'un model a partir de fotografies ordinàries on es filma una persona en condicions naturals.
- PIXIE fa una bona feina en detectar diferents posis, condicions d'il·luminació i parts superposades d'un objecte.
- Alt rendiment, adequat per al processament dinàmic de la imatge de la càmera.
El codi està escrit a Python utilitzant el marc Pytorch i es distribueix sota una llicència que permet l'ús només amb finalitats no comercials.
Com instal·lar Pixie a Linux?
Per als qui estiguin interessats en poder instal·lar aquest sistema de modelatge 3D al vostre sistema, poden fer-ho seguint les instruccions que compartim a continuació.
El primer que hem de fer és obtenir el codi font de Pixie per poder realitzar la compilació al nostre equip i per això obrirem una terminal i teclejarem el següent:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Fet això podem procedir a realitzar la instal·lació ja sigui recolzant-nos amb el gestor de paquets de Python:
pip install -r requirements.txt
O podem executar qualsevol dels instal·ladors que s'ofereixen:
bash install_conda.sh
O:
bash install_pip.sh
Finalment si estàs interessat en poder conèixer més a l'respecte sobre el projecte, poder revisar el codi font o també obtenir els models ja entrenats perquè puguis executar un demo i conèixer-ne el funcionament, pots obtenir això i molt més des de el següent enllaç.