PIXIE es un sistema de aprendizaje automático es de código abierto, que permite crear modelos 3D y avatares animados del cuerpo humano a partir de una foto.
Las texturas realistas de la cara y la ropa que difieren de las que se muestran en la foto original se pueden adjuntar al modelo resultante. El sistema se puede utilizar, por ejemplo, para dibujar desde un punto de vista diferente, crear animación, reconstruir el cuerpo según la forma del rostro y generar un modelo 3D de los dedos.
Sobre PIXIE
Se afirma que en comparación con proyectos similares, PIXIE permite recrear con mayor precisión los contornos del cuerpo, originalmente ocultos por la ropa en la fotografía, la forma del rostro y la posición de las articulaciones de las manos.
El método se basa en el uso de una red neuronal que extrae los parámetros de la cara, el cuerpo y las manos de la imagen de píxeles. El trabajo de la red neuronal está coordinado por un regulador especial que, basado en el análisis de la iluminación, agrega información sobre los coeficientes de peso de varias partes del cuerpo para excluir la determinación de poses no naturales.
Los cuerpos estimados por PIXIE se animan fácilmente. La visualización contiene la imagen de entrada, el cuerpo expresivo 3D predicho, el resultado de la animación, el video de referencia y su correspondiente reconstrucción. Para estos últimos, el color de las manos y la cabeza representa la confianza de los moderadores correspondientes. Un color más claro significa que PIXIE confía más en la información de la imagen corporal que en las partes, lo que puede suceder cuando una persona está de espaldas a la cámara, por ejemplo.
Al crear un modelo, se tienen en cuenta las diferencias anatómicas entre los cuerpos masculino y femenino, los parámetros de postura, la iluminación, la reflectividad de la superficie y la rotación de la cara en un plano tridimensional.
Características de PIXIE:
- El modelo corporal en 3D reconstruido, así como la información sobre la postura, la posición de la mano y la expresión facial, se guardan como un conjunto de parámetros SMPL-X, que luego se pueden usar en el sistema de modelado Blender a través de un complemento.
- A partir de la fotografía se determina información detallada sobre la forma y expresión del rostro, así como sus rasgos, como la presencia de arrugas (se utiliza el sistema de aprendizaje automático DECA desarrollado por los mismos autores para construir un modelo de cabeza).
- Al generar una textura de cara, se estima el albedo de un objeto.
- El modelo de cuerpo construido puede luego animarse o presentarse en una pose diferente.
- Soporte para la construcción de un modelo a partir de fotografías ordinarias en las que se filma a una persona en condiciones naturales.
- PIXIE hace un buen trabajo al detectar diferentes poses, condiciones de iluminación y partes superpuestas de un objeto.
- Alto rendimiento, adecuado para el procesamiento dinámico de la imagen de la cámara.
El código está escrito en Python utilizando el marco Pytorch y se distribuye bajo una licencia que permite el uso solo con fines no comerciales.
¿Como instalar Pixie en Linux?
Para quienes estén interesados en poder instalar este sistema de modelado 3D en su sistema, pueden hacerlo siguiendo las instrucciones que compartimos a continuación.
Lo primero que debemos hacer es obtener el código fuente de Pixie para poder realizar la compilación en nuestro equipo y para ello vamos a abrir una terminal y vamos a teclear lo siguiente:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Hecho esto podemos proceder a realizar la instalación ya sea apoyándonos con el gestor de paquetes de Python:
pip install -r requirements.txt
O podemos ejecutar cualquiera de los instaladores que se ofrecen:
bash install_conda.sh
O:
bash install_pip.sh
Finalmente si estás interesado en poder conocer más al respecto sobre el proyecto, poder revisar el código fuente o tambien obtener los modelos ya entrenados para que puedas ejecutar un demo y conocer su funcionamiento, puedes obtener esto y mucho más desde el siguiente enlace.