TÜNDÉR egy nyílt forráskódú gépi tanulási rendszer, amely lehetővé teszi az emberi test 3D-s modelljeinek és animált avatarainak elkészítését egy fotóból.
Az eredeti fotón láthatótól eltérő valósághű arc- és ruházati textúrák rögzíthetők a kapott modellhez. A rendszer segítségével például más nézőpontból rajzolhatunk, animációt készíthetünk, az arc alakja szerint rekonstruálhatjuk a testet, és 3D-s modellt készíthetünk az ujjakról.
A PIXIE-ről
Azt állítják, hogy a hasonló projektekhez képest a PIXIE lehetővé teszi a test körvonalainak pontosabb újraalkotását, eredetileg a fényképen látható ruha rejtette el, az arc formája és a kezek ízületeinek helyzete.
A módszer egy neurális hálózat használatán alapul amely a képpontos képből kivonja az arc, a test és a kéz paramétereit. A neurális hálózat munkáját egy speciális szabályozó koordinálja, amely a világítás elemzése alapján információkat ad a különböző testrészek súlytényezőiről, hogy kizárja a természetellenes pózok meghatározását.
A PIXIE becsült testei könnyen animálhatók. A vizualizáció tartalmazza a bemeneti képet, az előrejelzett 3D kifejezőtestet, az animáció eredményét, a referencia videót és a hozzá tartozó rekonstrukciót. Utóbbiaknál a kezek és a fejek színe a megfelelő moderátorok bizalmát jelenti. A világosabb szín azt jelenti, hogy a PIXIE jobban támaszkodik a testkép információira, mint a részeire, ami megtörténhet például, ha valaki háttal van a kamerának.
A modell elkészítésekor figyelembe veszik a férfi és női test anatómiai különbségeit, a testtartás paramétereit, a megvilágítást, a felületi visszaverődést és az arc háromdimenziós síkban történő elfordulását.
A PIXIE jellemzői:
- A rekonstruált 3D-s testmodell, valamint a testtartásra, a kézhelyzetre és az arckifejezésre vonatkozó információk SMPL-X paraméterek halmazaként kerülnek mentésre, amelyeket azután a Blender modellező rendszerben egy komplementeren keresztül használhatunk.
- Az arc formájára és kifejezésére, valamint jellemzőire, például a ráncok jelenlétére vonatkozó részletes információk a fényképről határozhatók meg (a fejmodell felépítéséhez az ugyanazon szerzők által kifejlesztett DECA gépi tanulási rendszert használják).
- Az arctextúra létrehozásakor a rendszer megbecsüli az objektum albedóját.
- Az épített testmodell ezután animálható vagy más pózban is bemutatható.
- Modell készítésének támogatása közönséges fényképekből, amelyeken egy személyt természetes körülmények között filmeznek.
- A PIXIE jól érzékeli a különböző pózokat, fényviszonyokat és egy tárgy átfedő részeit.
- Nagy teljesítményű, dinamikus kamerás képfeldolgozásra alkalmas.
A kód Python nyelven íródott a Pytorch keretrendszer használatával, és olyan licenc alatt kerül terjesztésre, amely csak nem kereskedelmi célokat tesz lehetővé.
Hogyan telepítsem a Pixie-t Linuxra?
Azok számára, akik szeretnének telepíteni ezt a 3D modellező rendszert a rendszerükre, ezt az alábbi utasítások követésével tehetik meg.
Az első dolog, amit meg kell tennünk, hogy megszerezzük a Pixie forráskódját, hogy le tudjuk fordítani a számítógépünkön, és ehhez nyitunk egy terminált, és beírjuk a következőket:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Ha ez megtörtént, folytathatjuk a telepítést a Python csomagkezelőre támaszkodva:
pip install -r requirements.txt
Vagy futtathatjuk a kínált telepítők bármelyikét:
bash install_conda.sh
O:
bash install_pip.sh
Végül ha érdekel, hogy többet tudjon meg róla a projektről, hogy át tudja tekinteni a forráskódot, vagy beszerezze a már betanított modelleket, hogy futtathasson egy demót és ismerje a működését, ezt és még sok mást beszerezhet a következő link.