PIXIE, система машинного обучения с открытым исходным кодом для 3D-моделей людей.

ПИКСИ это система машинного обучения с открытым исходным кодом, позволяющий создавать по фотографии 3D-модели и анимированные аватары человеческого тела.

К полученной модели можно прикрепить реалистичные текстуры лица и одежды, которые отличаются от показанных на исходной фотографии. Система может использоваться, например, для рисования с другой точки зрения, создания анимации, реконструкции тела в соответствии с формой лица и создания трехмерной модели пальцев.

О PIXIE

Утверждается, что по сравнению с аналогичными проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрыт под одеждой на фотографии, форма лица и положение суставов рук.

Метод основан на использовании нейронной сети. который извлекает параметры лица, тела и руки из пиксельного изображения. Работу нейросети координирует специальный регулятор, который на основе анализа освещения добавляет информацию о весовых коэффициентах различных частей тела, чтобы исключить определение неестественных поз.

Предполагаемые тела PIXIE легко анимируются. Визуализация содержит входное изображение, предсказанное трехмерное выразительное тело, результат анимации, эталонное видео и его соответствующую реконструкцию. Для последних цвет рук и голов свидетельствует о доверии соответствующих модераторов. Более светлый цвет означает, что PIXIE больше полагается на информацию об изображении тела, чем на части, что может произойти, например, когда человек стоит спиной к камере.

При создании модели учитываются анатомические различия мужского и женского тела, параметры осанки, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.

Особенности PIXIE:

  • Реконструированная трехмерная модель тела, а также информация об позе, положении рук и выражении лица сохраняются как набор параметров SMPL-X, которые затем могут использоваться в системе моделирования Blender через дополнение.
  • Подробная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин, определяется по фотографии (для построения модели головы используется система машинного обучения DECA, разработанная теми же авторами).
  • При создании текстуры лица оценивается альбедо объекта.
  • Построенная модель тела затем может быть анимирована или представлена ​​в другой позе.
  • Поддержка построения макета из обычных фотографий, на которых человек запечатлен в естественных условиях.
  • PIXIE хорошо распознает различные позы, условия освещения и перекрывающиеся части объекта.
  • Высокая производительность, подходит для обработки динамических изображений камеры.

Код написан на Python с использованием фреймворка Pytorch и распространяется по лицензии, которая позволяет использовать только в некоммерческих целях.

Как установить Pixie на Linux?

Те, кто заинтересован в возможности установить эту систему 3D-моделирования в своей системе, могут сделать это, следуя инструкциям, которыми мы делимся ниже.

Первое, что мы должны сделать, это получить исходный код Pixie, чтобы иметь возможность скомпилировать его на нашем компьютере, и для этого мы собираемся открыть терминал и ввести следующее:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

Как только это будет сделано, мы можем продолжить установку, полагаясь на диспетчер пакетов Python:

pip install -r requirements.txt

Или мы можем запустить любой из предложенных установщиков:

bash install_conda.sh

O:

bash install_pip.sh

В конце концов если вам интересно узнать об этом больше о проекте, чтобы иметь возможность просмотреть исходный код или получить уже обученные модели, чтобы вы могли запустить демонстрацию и узнать, как она работает, вы можете получить это и многое другое из по следующей ссылке.


Содержание статьи соответствует нашим принципам редакционная этика. Чтобы сообщить об ошибке, нажмите здесь.

Будьте первым, чтобы комментировать

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован.

*

*

  1. Ответственный за данные: Мигель Анхель Гатон
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.