ПИКСИЕ То је систем машинског учења, отвореног кода, који вам омогућава да са фотографије креирате 3Д моделе и анимиране аватаре људског тела.
Реалистичне текстуре лица и одеће које се разликују од оних приказаних на оригиналној фотографији могу се причврстити на добијени модел. Систем се може користити, на пример, за цртање из другачије тачке гледишта, креирање анимације, реконструкцију тела на основу облика лица и генерисање 3Д модела прстију.
О ПИКСИЕ
Наводи се да у поређењу са сличним пројектима, ПИКСИЕ омогућава вам да прецизније креирате контуре тела, првобитно сакривен одећом на фотографији, облик лица и положај зглобова шака.
Метода се заснива на употреби неуронске мреже који издваја параметре лица, тела и руке из слике пиксела. Рад неуронске мреже координира посебан регулатор, који на основу анализе осветљења агрегира информације о тежинским коефицијентима различитих делова тела да би се искључило одређивање неприродних поза.
Тела која је проценио ПИКСИЕ лако се анимирају. Визуелизација садржи улазну слику, предвиђено 3Д експресивно тело, резултат анимације, референтни видео и његову одговарајућу реконструкцију. За последње, боја руку и главе представља поверење одговарајућих модератора. Светлија боја значи да се ПИКСИЕ више ослања на информације о слици тела него на делове, што се може догодити када је особа окренута леђима камери, на пример.
Приликом креирања модела узимају се у обзир анатомске разлике између мушког и женског тела, параметри држања, осветљење, рефлексивност површине и ротација лица у тродимензионалној равни.
ПИКСИЕ карактеристике:
- Реконструисани 3Д модел тела, као и информације о држању, положају руку и изразу лица, чувају се као скуп СМПЛ-Кс параметара, који се затим могу користити у систему за моделирање Блендер преко комплемента.
- Детаљне информације о облику и изразу лица, као и његовим карактеристикама, као што је присуство бора, утврђују се са фотографије (за израду модела главе користи се ДЕЦА систем машинског учења који су развили исти аутори).
- Када се генерише текстура лица, процењује се албедо објекта.
- Конструисани модел тела се затим може анимирати или представити у другој пози.
- Подршка за изградњу модела од обичних фотографија на којима је особа снимљена у природним условима.
- ПИКСИЕ ради добар посао у откривању различитих поза, услова осветљења и делова објекта који се преклапају.
- Високе перформансе, погодне за динамичку обраду слике камере.
Код је написан у Питхон-у користећи Питорцх фрамеворк и дистрибуира се под лиценцом која дозвољава употребу само у некомерцијалне сврхе.
Како инсталирати Пикие на Линук?
За оне који су заинтересовани да могу да инсталирају овај систем 3Д моделирања на свој систем, то можете учинити пратећи упутства која делимо у наставку.
Прва ствар коју морамо да урадимо је да набавимо Пикие изворни код да бисмо могли да га компајлирамо на нашем рачунару и да бисмо то урадили отворићемо терминал и откуцати следеће:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Када се ово уради, можемо да наставимо са инсталацијом или помоћу Питхон менаџера пакета:
pip install -r requirements.txt
Или можемо покренути било који од понуђених инсталатера:
bash install_conda.sh
O:
bash install_pip.sh
Коначно ако сте заинтересовани да сазнате више о томе о пројекту, бити у могућности да прегледате изворни код или такође набавите већ обучене моделе како бисте могли да покренете демо и научите како функционише, ово и још много тога можете добити од следећи линк.