PIXIE on masinõppesüsteem, mis on avatud lähtekoodiga, mis võimaldab luua fotost inimkeha 3D-mudeleid ja animeeritud avatare.
Saadud mudelile saab kinnitada realistlikud näo- ja rõivatekstuurid, mis erinevad originaalfotol näidatust. Süsteemi abil saab näiteks joonistada erinevast vaatenurgast, luua animatsiooni, rekonstrueerida keha vastavalt näokujule ja genereerida sõrmedest 3D-mudelit.
Teave PIXIE kohta
Väidetavalt on sarnaste projektidega võrreldes PIXIE võimaldab teil keha kontuure täpsemalt taastada, algselt peidetud fotol olevate riietega, näo kuju ja käte liigeste asend.
Meetod põhineb närvivõrgu kasutamisel mis eraldab pikslipildist näo, keha ja käe parameetrid. Närvivõrgu tööd koordineerib spetsiaalne regulaator, mis valgustuse analüüsi põhjal lisab infot erinevate kehaosade kaalukoefitsientide kohta, et välistada ebaloomulike pooside määramine.
PIXIE hinnangul olevaid kehasid on lihtne animeerida. Visualisatsioon sisaldab sisendkujutist, prognoositavat 3D ekspressiivset keha, animatsiooni tulemust, võrdlusvideot ja sellele vastavat rekonstruktsiooni. Viimaste puhul esindab käte ja peade värv vastavate moderaatorite enesekindlust. Heledam värv tähendab, et PIXIE tugineb rohkem kehapildi teabele kui osadele, mis võib juhtuda näiteks siis, kui inimene on kaamera poole seljaga.
Mudeli loomisel võetakse arvesse mehe ja naise keha anatoomilisi erinevusi, kehaasendi parameetreid, valgustust, pinna peegeldust ja näo pöörlemist kolmemõõtmelises tasapinnas.
PIXIE funktsioonid:
- Rekonstrueeritud 3D kehamudel, samuti teave kehahoiaku, käte asendi ja näoilmete kohta salvestatakse SMPL-X parameetrite komplektina, mida saab seejärel komplemendi kaudu kasutada Blenderi modelleerimissüsteemis.
- Üksikasjalik teave näo kuju ja ilme ning ka selle iseärasuste kohta, näiteks kortsude olemasolu kohta, määratakse foto järgi (peamudeli ehitamiseks kasutatakse samade autorite poolt välja töötatud masinõppesüsteemi DECA).
- Näotekstuuri genereerimisel hinnatakse objekti albeedot.
- Ehitatud kehamudelit saab seejärel animeerida või esitada erinevas poosis.
- Toetus tavalistest fotodest maketi ehitamiseks, millel inimene on filmitud looduslikes tingimustes.
- PIXIE teeb head tööd erinevate pooside, valgustingimuste ja objekti kattuvate osade tuvastamisel.
- Suure jõudlusega, sobib dünaamilise kaamera pilditöötluseks.
Kood on kirjutatud Pythonis, kasutades Pytorchi raamistikku ja seda levitatakse litsentsi alusel, mis lubab kasutada ainult mitteärilistel eesmärkidel.
Kuidas installida Pixie Linuxi?
Need, kes on huvitatud selle 3D-modelleerimissüsteemi installimisest oma süsteemi, saavad seda teha, järgides juhiseid, mida me allpool jagame.
Esimese asjana peame hankima Pixie lähtekoodi, et saaksime selle oma arvutis kompileerida, ja selleks avame terminali ja sisestame järgmise:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Kui see on tehtud, saame jätkata installimist Pythoni paketihalduri abil:
pip install -r requirements.txt
Või võime käivitada mis tahes pakutavatest installijatest:
bash install_conda.sh
O:
bash install_pip.sh
Lõpuks kui olete huvitatud sellest rohkem teada saama projekti kohta, lähtekoodi ülevaatamiseks või ka juba koolitatud mudelite hankimiseks, et saaksite demo käivitada ja teada, kuidas see töötab, saate selle ja palju muud hankida järgmine link.