ПИКСИ е система за машинно обучение е с отворен код, което ви позволява да създавате 3D модели и анимирани аватари на човешкото тяло от снимка.
Реалистични текстури на лицето и дрехите, които се различават от показаните на оригиналната снимка, могат да бъдат прикрепени към получения модел. Системата може да се използва например за рисуване от различна гледна точка, създаване на анимация, реконструкция на тялото според формата на лицето и генериране на 3D модел на пръстите.
Относно PIXIE
Твърди се, че в сравнение с подобни проекти, PIXIE ви позволява по-точно да пресъздадете контурите на тялото, първоначално скрит от дрехите на снимката, формата на лицето и положението на ставите на ръцете.
Методът се основава на използването на невронна мрежа който извлича параметрите на лицето, тялото и ръката от пикселното изображение. Работата на невронната мрежа се координира от специален регулатор, който въз основа на анализа на осветлението добавя информация за тегловните коефициенти на различни части на тялото, за да изключи определянето на неестествени пози.
Телата, оценени от PIXIE, лесно се анимират. Визуализацията съдържа входното изображение, предвиденото 3D изразително тяло, резултата от анимацията, референтното видео и съответстващата му реконструкция. За последните цветът на ръцете и главите представлява доверието на съответните модератори. По-светлият цвят означава, че PIXIE разчита повече на информация за изображението на тялото, отколкото на части, което може да се случи, когато човек е с гръб към камерата, например.
При създаването на модел се вземат предвид анатомичните разлики между мъжкото и женското тяло, параметрите на стойката, осветлението, отражателната способност на повърхността и въртенето на лицето в триизмерна равнина.
Характеристики на PIXIE:
- Реконструираният 3D модел на тялото, както и информация за стойката, позицията на ръцете и изражението на лицето, се запазват като набор от параметри на SMPL-X, които след това могат да се използват в системата за моделиране на Blender чрез допълнение.
- Подробна информация за формата и изражението на лицето, както и неговите характеристики, като например наличието на бръчки, се определя от снимката (системата за машинно обучение DECA, разработена от същите автори, се използва за изграждане на модел на главата).
- При генериране на текстура на лицето се оценява албедото на обект.
- След това изграденият модел на тялото може да бъде анимиран или представен в различна поза.
- Подкрепа за изграждане на модел от обикновени снимки, на които човек е заснет в естествени условия.
- PIXIE върши добра работа при откриването на различни пози, условия на осветление и припокриващи се части от обект.
- Висока производителност, подходяща за динамична обработка на изображения от камера.
Кодът е написан на Python с помощта на рамката Pytorch и се разпространява под лиценз, който позволява използване само за нетърговски цели.
Как да инсталирам Pixie на Linux?
За тези, които се интересуват от възможността да инсталират тази система за 3D моделиране в своята система, те могат да го направят, като следват инструкциите, които споделяме по-долу.
Първото нещо, което трябва да направим, е да получим изходния код на Pixie, за да можем да го компилираме на нашия компютър и за това ще отворим терминал и ще напишем следното:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
След като това е направено, можем да продължим да извършваме инсталацията или като разчитаме на мениджъра на пакети Python:
pip install -r requirements.txt
Или можем да стартираме някой от предлаганите инсталатори:
bash install_conda.sh
O:
bash install_pip.sh
Накрая ако се интересувате да научите повече за това за проекта, за да можете да прегледате изходния код или също да получите вече обучените модели, за да можете да стартирате демонстрация и да знаете как работи, можете да получите това и много повече от следната връзка.