PIXIE je sustav strojnog učenja otvorenog koda, koji vam omogućuje izradu 3D modela i animiranih avatara ljudskog tijela iz fotografije.
Na dobiveni model mogu se pričvrstiti realistične teksture lica i odjeće koje se razlikuju od onih prikazanih na originalnoj fotografiji. Sustav se može koristiti, primjerice, za crtanje s druge točke gledišta, stvaranje animacije, rekonstrukciju tijela prema obliku lica i generiranje 3D modela prstiju.
O PIXIE
Tvrdi se da u usporedbi sa sličnim projektima, PIXIE omogućuje vam točniju rekreaciju kontura tijela, izvorno skriven odjećom na fotografiji, oblik lica i položaj zglobova ruku.
Metoda se temelji na korištenju neuronske mreže koji izdvaja parametre lica, tijela i ruke iz slike u pikselu. Rad neuronske mreže koordinira poseban regulator koji na temelju analize osvjetljenja dodaje podatke o težinskim koeficijentima različitih dijelova tijela kako bi se isključilo određivanje neprirodnih poza.
PIXIE procijenjena tijela lako se animiraju. Vizualizacija sadrži ulaznu sliku, predviđeno 3D izražajno tijelo, rezultat animacije, referentni video i njegovu odgovarajuću rekonstrukciju. Za potonje, boja ruku i glava predstavlja povjerenje odgovarajućih moderatora. Svjetlija boja znači da se PIXIE više oslanja na informacije o slici tijela nego na dijelove, što se može dogoditi kada je osoba, na primjer, okrenuta leđima kameri.
Pri izradi modela uzimaju se u obzir anatomske razlike između muškog i ženskog tijela, parametri držanja, osvjetljenje, reflektivnost površine i rotacija lica u trodimenzionalnoj ravnini.
PIXIE značajke:
- Rekonstruirani 3D model tijela, kao i informacije o držanju, položaju ruku i izrazu lica, spremaju se kao skup SMPL-X parametara, koji se zatim mogu koristiti u Blender sustavu za modeliranje putem dopune.
- Detaljne informacije o obliku i izrazu lica, kao i njegovim značajkama, poput prisutnosti bora, utvrđuju se iz fotografije (za izradu modela glave koristi se DECA sustav strojnog učenja koji su razvili isti autori).
- Prilikom generiranja teksture lica, procjenjuje se albedo objekta.
- Izgrađeni model tijela se zatim može animirati ili predstaviti u drugoj pozi.
- Potpora za izradu modela od običnih fotografija na kojima je osoba snimljena u prirodnim uvjetima.
- PIXIE dobro otkriva različite poze, svjetlosne uvjete i dijelove objekta koji se preklapaju.
- Visoke performanse, pogodan za dinamičku obradu slike kamere.
Kôd je napisan na Pythonu koristeći Pytorch framework i distribuira se pod licencom koja dopušta korištenje samo u nekomercijalne svrhe.
Kako instalirati Pixie na Linux?
Za one koji su zainteresirani da mogu instalirati ovaj sustav 3D modeliranja na svoj sustav, to mogu učiniti slijedeći upute koje dijelimo u nastavku.
Prvo što moramo učiniti je nabaviti izvorni kod Pixie-a kako bismo ga mogli kompajlirati na našem računalu i za to ćemo otvoriti terminal i upisati sljedeće:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Nakon što je to učinjeno, možemo nastaviti s instalacijom oslanjajući se na upravitelj paketa Python:
pip install -r requirements.txt
Ili možemo pokrenuti bilo koji od ponuđenih instalatera:
bash install_conda.sh
O:
bash install_pip.sh
Konačno ako vas zanima više o tome o projektu, da biste mogli pregledati izvorni kod ili također nabaviti modele koji su već obučeni tako da možete pokrenuti demo i znati kako funkcionira, možete dobiti ovo i još mnogo toga od sljedeći link.