PIXIE je systém strojového učenia s otvoreným zdrojom, ktorý umožňuje vytvárať z fotografie 3D modely a animované avatary ľudského tela.
K výslednému modelu je možné pripojiť realistické textúry tváre a oblečenia, ktoré sa líšia od tých, ktoré sú zobrazené na pôvodnej fotografii. Systém je možné použiť napríklad na kreslenie z iného uhla pohľadu, vytváranie animácií, rekonštrukciu tela podľa tvaru tváre a generovanie 3D modelu prstov.
O PIXIE
Tvrdí sa, že v porovnaní s podobnými projektmi PIXIE umožňuje presnejšie obnoviť obrysy tela, pôvodne skryté oblečením na fotografii, tvar tváre a postavenie kĺbov rúk.
Metóda je založená na použití neurónovej siete ktorý extrahuje parametre tváre, tela a ruky z pixelového obrazu. Prácu neurónovej siete koordinuje špeciálny regulátor, ktorý na základe analýzy osvetlenia pridáva informácie o váhových koeficientoch rôznych častí tela, aby sa vylúčilo určenie neprirodzených póz.
Odhadované telá PIXIE sa dajú ľahko animovať. Vizualizácia obsahuje vstupný obrázok, predpovedané 3D expresívne telo, výsledok animácie, referenčné video a jeho zodpovedajúcu rekonštrukciu. Pre tých druhých predstavuje farba rúk a hláv dôveru zodpovedajúcich moderátorov. Svetlejšia farba znamená, že PIXIE sa viac spolieha na informácie o obraze tela ako na častiach, čo sa môže stať napríklad vtedy, keď je človek otočený chrbtom k fotoaparátu.
Pri tvorbe modelu sa berú do úvahy anatomické rozdiely medzi mužským a ženským telom, parametre držania tela, osvetlenie, odrazivosť povrchu a rotácia tváre v trojrozmernej rovine.
Vlastnosti PIXIE:
- Zrekonštruovaný 3D model tela, ako aj informácie o držaní tela, polohe ruky a výraze tváre sa uložia ako súbor parametrov SMPL-X, ktoré sa potom môžu použiť v modelovacom systéme Blender prostredníctvom doplnku.
- Z fotografie sa zisťujú podrobné informácie o tvare a výraze tváre, ako aj o jej znakoch, ako je napríklad prítomnosť vrások (na zostavenie modelu hlavy sa používa systém strojového učenia DECA vyvinutý rovnakými autormi).
- Pri generovaní textúry tváre sa odhaduje albedo objektu.
- Postavený model tela potom možno animovať alebo prezentovať v inej póze.
- Podpora stavby modelu z bežných fotografií, na ktorých je nakrútený človek v prírodných podmienkach.
- PIXIE robí dobrú prácu pri detekcii rôznych pozícií, svetelných podmienok a prekrývajúcich sa častí objektu.
- Vysoký výkon, vhodný pre dynamické spracovanie obrazu fotoaparátu.
Kód je napísaný v Pythone pomocou frameworku Pytorch a je distribuovaný na základe licencie, ktorá umožňuje použitie len na nekomerčné účely.
Ako nainštalovať Pixie na Linux?
Pre tých, ktorí majú záujem o možnosť nainštalovať tento systém 3D modelovania do svojho systému, môžu tak urobiť podľa pokynov, ktoré zdieľame nižšie.
Prvá vec, ktorú musíme urobiť, je získať zdrojový kód Pixie, aby sme ho mohli skompilovať na našom počítači, a preto otvoríme terminál a napíšeme nasledovné:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Keď to urobíme, môžeme pokračovať v inštalácii buď spoľahnutím sa na správcu balíkov Python:
pip install -r requirements.txt
Alebo môžeme spustiť ktorýkoľvek z ponúkaných inštalátorov:
bash install_conda.sh
O:
bash install_pip.sh
Konečne ak máte záujem dozvedieť sa o tom viac o projekte, aby ste si mohli prezrieť zdrojový kód alebo tiež získať už natrénované modely, aby ste si mohli spustiť demo a vedieť, ako to funguje, toto a oveľa viac získate od nasledujúci odkaz.