ПИКСИ это система машинного обучения с открытым исходным кодом, позволяющий создавать по фотографии 3D-модели и анимированные аватары человеческого тела.
К полученной модели можно прикрепить реалистичные текстуры лица и одежды, которые отличаются от показанных на исходной фотографии. Система может использоваться, например, для рисования с другой точки зрения, создания анимации, реконструкции тела в соответствии с формой лица и создания трехмерной модели пальцев.
О PIXIE
Утверждается, что по сравнению с аналогичными проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрыт под одеждой на фотографии, форма лица и положение суставов рук.
Метод основан на использовании нейронной сети. который извлекает параметры лица, тела и руки из пиксельного изображения. Работу нейросети координирует специальный регулятор, который на основе анализа освещения добавляет информацию о весовых коэффициентах различных частей тела, чтобы исключить определение неестественных поз.
Предполагаемые тела PIXIE легко анимируются. Визуализация содержит входное изображение, предсказанное трехмерное выразительное тело, результат анимации, эталонное видео и его соответствующую реконструкцию. Для последних цвет рук и голов свидетельствует о доверии соответствующих модераторов. Более светлый цвет означает, что PIXIE больше полагается на информацию об изображении тела, чем на части, что может произойти, например, когда человек стоит спиной к камере.
При создании модели учитываются анатомические различия мужского и женского тела, параметры осанки, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.
Особенности PIXIE:
- Реконструированная трехмерная модель тела, а также информация об позе, положении рук и выражении лица сохраняются как набор параметров SMPL-X, которые затем могут использоваться в системе моделирования Blender через дополнение.
- Подробная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин, определяется по фотографии (для построения модели головы используется система машинного обучения DECA, разработанная теми же авторами).
- При создании текстуры лица оценивается альбедо объекта.
- Построенная модель тела затем может быть анимирована или представлена в другой позе.
- Поддержка построения макета из обычных фотографий, на которых человек запечатлен в естественных условиях.
- PIXIE хорошо распознает различные позы, условия освещения и перекрывающиеся части объекта.
- Высокая производительность, подходит для обработки динамических изображений камеры.
Код написан на Python с использованием фреймворка Pytorch и распространяется по лицензии, которая позволяет использовать только в некоммерческих целях.
Как установить Pixie на Linux?
Те, кто заинтересован в возможности установить эту систему 3D-моделирования в своей системе, могут сделать это, следуя инструкциям, которыми мы делимся ниже.
Первое, что мы должны сделать, это получить исходный код Pixie, чтобы иметь возможность скомпилировать его на нашем компьютере, и для этого мы собираемся открыть терминал и ввести следующее:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Как только это будет сделано, мы можем продолжить установку, полагаясь на диспетчер пакетов Python:
pip install -r requirements.txt
Или мы можем запустить любой из предложенных установщиков:
bash install_conda.sh
O:
bash install_pip.sh
В конце концов если вам интересно узнать об этом больше о проекте, чтобы иметь возможность просмотреть исходный код или получить уже обученные модели, чтобы вы могли запустить демонстрацию и узнать, как она работает, вы можете получить это и многое другое из по следующей ссылке.