PIXIE yra atvirojo kodo mašininio mokymosi sistema, kuri leidžia iš nuotraukos sukurti 3D modelius ir animuotus žmogaus kūno avatarus.
Prie gauto modelio galima pritvirtinti tikroviškas veido ir drabužių tekstūras, kurios skiriasi nuo pavaizduotų originalioje nuotraukoje. Sistema gali būti naudojama, pavyzdžiui, piešti iš kitokio požiūrio, kurti animaciją, rekonstruoti kūną pagal veido formą ir generuoti 3D pirštų modelį.
Apie PIXIE
Teigiama, kad lyginant su panašiais projektais, PIXIE leidžia tiksliau atkurti kūno kontūrus, iš pradžių nuotraukoje paslėptas drabužiais, veido forma ir rankų sąnarių padėtis.
Metodas pagrįstas neuroninio tinklo naudojimu kuri iš pikselių vaizdo išskiria veido, kūno ir rankų parametrus. Neuroninio tinklo darbą koordinuoja specialus reguliatorius, kuris, remdamasis apšvietimo analize, prideda informaciją apie įvairių kūno dalių svorio koeficientus, kad būtų išvengta nenatūralių pozų nustatymo.
PIXIE įvertinti kūnai yra lengvai animuojami. Vizualizacijoje yra įvesties vaizdas, numatomas 3D išraiškingas kūnas, animacijos rezultatas, pamatinis vaizdo įrašas ir atitinkama jo rekonstrukcija. Pastariesiems rankų ir galvų spalva atspindi atitinkamų moderatorių pasitikėjimą. Šviesesnė spalva reiškia, kad PIXIE labiau pasikliauja kūno vaizdo informacija, o ne dalimis, o tai gali nutikti, pavyzdžiui, kai žmogus atsiremia į fotoaparatą.
Kuriant modelį atsižvelgiama į anatominius vyro ir moters kūnų skirtumus, laikysenos parametrus, apšvietimą, paviršiaus atspindį, veido sukimąsi trimatėje plokštumoje.
PIXIE funkcijos:
- Rekonstruotas 3D kūno modelis, taip pat informacija apie laikyseną, rankų padėtį ir veido išraišką yra išsaugomi kaip SMPL-X parametrų rinkinys, kurį vėliau galima naudoti Blender modeliavimo sistemoje per komplementą.
- Išsami informacija apie veido formą ir išraišką, taip pat jo ypatybes, pavyzdžiui, raukšlių buvimą, nustatoma iš nuotraukos (galvos modeliui sukurti naudojama tų pačių autorių sukurta mašininio mokymosi sistema DECA).
- Generuojant veido tekstūrą, įvertinamas objekto albedas.
- Tada pastatytas kūno modelis gali būti animuotas arba pateikiamas kitokia poza.
- Parama modelio konstravimui iš įprastų nuotraukų, kuriose žmogus nufilmuotas natūraliomis sąlygomis.
- PIXIE puikiai aptinka skirtingas pozas, apšvietimo sąlygas ir persidengiančias objekto dalis.
- Didelis našumas, tinka dinaminiam fotoaparato vaizdo apdorojimui.
Kodas parašytas Python kalba naudojant Pytorch sistemą ir platinamas pagal licenciją, kurią leidžiama naudoti tik nekomerciniais tikslais.
Kaip įdiegti „Pixie“ sistemoje „Linux“?
Tiems, kurie domisi galimybėmis įdiegti šią 3D modeliavimo sistemą savo sistemoje, jie gali tai padaryti vadovaudamiesi toliau pateiktomis instrukcijomis.
Pirmas dalykas, kurį turime padaryti, yra gauti „Pixie“ šaltinio kodą, kad galėtume jį kompiliuoti savo kompiuteryje, ir tam atidarysime terminalą ir įvesime:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Kai tai bus padaryta, galime tęsti diegimą naudodami Python paketų tvarkyklę:
pip install -r requirements.txt
Arba galime paleisti bet kurį iš siūlomų montuotojų:
bash install_conda.sh
O:
bash install_pip.sh
Pagaliau jei norite sužinoti daugiau apie tai apie projektą, kad galėtumėte peržiūrėti šaltinio kodą arba gauti jau paruoštus modelius, kad galėtumėte paleisti demonstracinę versiją ir žinoti, kaip ji veikia, galite gauti tai ir daug daugiau iš šią nuorodą.