PIXIE, sustav strojnog učenja otvorenog koda za 3D modele ljudi

PIXIE je sustav strojnog učenja otvorenog koda, koji vam omogućuje izradu 3D modela i animiranih avatara ljudskog tijela iz fotografije.

Na dobiveni model mogu se pričvrstiti realistične teksture lica i odjeće koje se razlikuju od onih prikazanih na originalnoj fotografiji. Sustav se može koristiti, primjerice, za crtanje s druge točke gledišta, stvaranje animacije, rekonstrukciju tijela prema obliku lica i generiranje 3D modela prstiju.

O PIXIE

Tvrdi se da u usporedbi sa sličnim projektima, PIXIE omogućuje vam točniju rekreaciju kontura tijela, izvorno skriven odjećom na fotografiji, oblik lica i položaj zglobova ruku.

Metoda se temelji na korištenju neuronske mreže koji izdvaja parametre lica, tijela i ruke iz slike u pikselu. Rad neuronske mreže koordinira poseban regulator koji na temelju analize osvjetljenja dodaje podatke o težinskim koeficijentima različitih dijelova tijela kako bi se isključilo određivanje neprirodnih poza.

PIXIE procijenjena tijela lako se animiraju. Vizualizacija sadrži ulaznu sliku, predviđeno 3D izražajno tijelo, rezultat animacije, referentni video i njegovu odgovarajuću rekonstrukciju. Za potonje, boja ruku i glava predstavlja povjerenje odgovarajućih moderatora. Svjetlija boja znači da se PIXIE više oslanja na informacije o slici tijela nego na dijelove, što se može dogoditi kada je osoba, na primjer, okrenuta leđima kameri.

Pri izradi modela uzimaju se u obzir anatomske razlike između muškog i ženskog tijela, parametri držanja, osvjetljenje, reflektivnost površine i rotacija lica u trodimenzionalnoj ravnini.

PIXIE značajke:

  • Rekonstruirani 3D model tijela, kao i informacije o držanju, položaju ruku i izrazu lica, spremaju se kao skup SMPL-X parametara, koji se zatim mogu koristiti u Blender sustavu za modeliranje putem dopune.
  • Detaljne informacije o obliku i izrazu lica, kao i njegovim značajkama, poput prisutnosti bora, utvrđuju se iz fotografije (za izradu modela glave koristi se DECA sustav strojnog učenja koji su razvili isti autori).
  • Prilikom generiranja teksture lica, procjenjuje se albedo objekta.
  • Izgrađeni model tijela se zatim može animirati ili predstaviti u drugoj pozi.
  • Potpora za izradu modela od običnih fotografija na kojima je osoba snimljena u prirodnim uvjetima.
  • PIXIE dobro otkriva različite poze, svjetlosne uvjete i dijelove objekta koji se preklapaju.
  • Visoke performanse, pogodan za dinamičku obradu slike kamere.

Kôd je napisan na Pythonu koristeći Pytorch framework i distribuira se pod licencom koja dopušta korištenje samo u nekomercijalne svrhe.

Kako instalirati Pixie na Linux?

Za one koji su zainteresirani da mogu instalirati ovaj sustav 3D modeliranja na svoj sustav, to mogu učiniti slijedeći upute koje dijelimo u nastavku.

Prvo što moramo učiniti je nabaviti izvorni kod Pixie-a kako bismo ga mogli kompajlirati na našem računalu i za to ćemo otvoriti terminal i upisati sljedeće:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

Nakon što je to učinjeno, možemo nastaviti s instalacijom oslanjajući se na upravitelj paketa Python:

pip install -r requirements.txt

Ili možemo pokrenuti bilo koji od ponuđenih instalatera:

bash install_conda.sh

O:

bash install_pip.sh

Konačno ako vas zanima više o tome o projektu, da biste mogli pregledati izvorni kod ili također nabaviti modele koji su već obučeni tako da možete pokrenuti demo i znati kako funkcionira, možete dobiti ovo i još mnogo toga od sljedeći link.


Budite prvi koji će komentirati

Ostavite svoj komentar

Vaša email adresa neće biti objavljen. Obavezna polja su označena s *

*

*

  1. Za podatke odgovoran: Miguel Ángel Gatón
  2. Svrha podataka: Kontrola neželjene pošte, upravljanje komentarima.
  3. Legitimacija: Vaš pristanak
  4. Komunikacija podataka: Podaci se neće dostavljati trećim stranama, osim po zakonskoj obvezi.
  5. Pohrana podataka: Baza podataka koju hostira Occentus Networks (EU)
  6. Prava: U bilo kojem trenutku možete ograničiti, oporaviti i izbrisati svoje podatke.