PIXIE je sistem mašinskog učenja otvorenog koda, koji vam omogućava da od fotografije kreirate 3D modele i animirane avatare ljudskog tijela.
Realistične teksture lica i odjeće koje se razlikuju od onih prikazanih na originalnoj fotografiji mogu se pričvrstiti na rezultirajući model. Sistem se može koristiti, na primjer, za crtanje iz drugačijeg ugla, kreiranje animacije, rekonstrukciju tijela prema obliku lica i generiranje 3D modela prstiju.
O PIXIE
Tvrdi se da u poređenju sa sličnim projektima, PIXIE omogućava vam da preciznije rekreirate konture tijela, originalno skriven odjećom na fotografiji, oblik lica i položaj zglobova ruku.
Metoda se zasniva na korištenju neuronske mreže koji izdvaja parametre lica, tijela i ruke iz slike piksela. Rad neuronske mreže koordinira poseban regulator koji na osnovu analize osvjetljenja dodaje informacije o težinskim koeficijentima različitih dijelova tijela kako bi se isključilo određivanje neprirodnih poza.
PIXIE procijenjena tijela se lako animiraju. Vizualizacija sadrži ulaznu sliku, predviđeno 3D ekspresivno tijelo, rezultat animacije, referentni video i njegovu odgovarajuću rekonstrukciju. Za potonje, boja ruku i glava predstavlja povjerenje odgovarajućih moderatora. Svjetlija boja znači da se PIXIE više oslanja na informacije o slici tijela nego na dijelove, što se može dogoditi kada je osoba okrenuta leđima kameri, na primjer.
Prilikom kreiranja modela uzimaju se u obzir anatomske razlike između muškog i ženskog tijela, parametri držanja, osvjetljenje, refleksivnost površine i rotacija lica u trodimenzionalnoj ravnini.
PIXIE karakteristike:
- Rekonstruisani 3D model tijela, kao i informacije o držanju, položaju ruku i izrazu lica, čuvaju se kao skup SMPL-X parametara, koji se zatim mogu koristiti u Blender sistemu za modeliranje putem komplementa.
- Detaljne informacije o obliku i izrazu lica, kao i njegovim karakteristikama, kao što je prisustvo bora, utvrđuju se iz fotografije (za izradu modela glave koristi se DECA sistem mašinskog učenja koji su razvili isti autori).
- Prilikom generiranja teksture lica, procjenjuje se albedo objekta.
- Izgrađeni model tijela se zatim može animirati ili predstaviti u drugoj pozi.
- Podrška za izgradnju modela od običnih fotografija na kojima je osoba snimljena u prirodnim uvjetima.
- PIXIE radi dobar posao u otkrivanju različitih poza, uslova osvjetljenja i dijelova objekta koji se preklapaju.
- Visoke performanse, pogodne za dinamičku obradu slike kamere.
Kod je napisan u Python-u koristeći Pytorch framework i distribuira se pod licencom koja dozvoljava korištenje samo u nekomercijalne svrhe.
Kako instalirati Pixie na Linux?
Za one koji su zainteresovani da mogu da instaliraju ovaj sistem 3D modeliranja na svoj sistem, to mogu učiniti prateći uputstva koja delimo u nastavku.
Prvo što moramo da uradimo je da dobijemo izvorni kod Pixie-a da bismo ga mogli kompajlirati na našem računaru i za to ćemo otvoriti terminal i otkucati sledeće:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Kada se to uradi, možemo nastaviti sa instalacijom ili oslanjajući se na Python paket menadžer:
pip install -r requirements.txt
Ili možemo pokrenuti bilo koji od ponuđenih instalatera:
bash install_conda.sh
O:
bash install_pip.sh
Konačno ako ste zainteresirani da saznate više o tome o projektu, da biste mogli pregledati izvorni kod ili također nabaviti modele koji su već obučeni tako da možete pokrenuti demo i znati kako funkcionira, možete dobiti ovo i još mnogo toga od sljedeći link.