A PIXIE, egy nyílt forráskódú gépi tanulási rendszer az emberek 3D-s modelljéhez

TÜNDÉR egy nyílt forráskódú gépi tanulási rendszer, amely lehetővé teszi az emberi test 3D-s modelljeinek és animált avatarainak elkészítését egy fotóból.

Az eredeti fotón láthatótól eltérő valósághű arc- és ruházati textúrák rögzíthetők a kapott modellhez. A rendszer segítségével például más nézőpontból rajzolhatunk, animációt készíthetünk, az arc alakja szerint rekonstruálhatjuk a testet, és 3D-s modellt készíthetünk az ujjakról.

A PIXIE-ről

Azt állítják, hogy a hasonló projektekhez képest a PIXIE lehetővé teszi a test körvonalainak pontosabb újraalkotását, eredetileg a fényképen látható ruha rejtette el, az arc formája és a kezek ízületeinek helyzete.

A módszer egy neurális hálózat használatán alapul amely a képpontos képből kivonja az arc, a test és a kéz paramétereit. A neurális hálózat munkáját egy speciális szabályozó koordinálja, amely a világítás elemzése alapján információkat ad a különböző testrészek súlytényezőiről, hogy kizárja a természetellenes pózok meghatározását.

A PIXIE becsült testei könnyen animálhatók. A vizualizáció tartalmazza a bemeneti képet, az előrejelzett 3D kifejezőtestet, az animáció eredményét, a referencia videót és a hozzá tartozó rekonstrukciót. Utóbbiaknál a kezek és a fejek színe a megfelelő moderátorok bizalmát jelenti. A világosabb szín azt jelenti, hogy a PIXIE jobban támaszkodik a testkép információira, mint a részeire, ami megtörténhet például, ha valaki háttal van a kamerának.

A modell elkészítésekor figyelembe veszik a férfi és női test anatómiai különbségeit, a testtartás paramétereit, a megvilágítást, a felületi visszaverődést és az arc háromdimenziós síkban történő elfordulását.

A PIXIE jellemzői:

  • A rekonstruált 3D-s testmodell, valamint a testtartásra, a kézhelyzetre és az arckifejezésre vonatkozó információk SMPL-X paraméterek halmazaként kerülnek mentésre, amelyeket azután a Blender modellező rendszerben egy komplementeren keresztül használhatunk.
  • Az arc formájára és kifejezésére, valamint jellemzőire, például a ráncok jelenlétére vonatkozó részletes információk a fényképről határozhatók meg (a fejmodell felépítéséhez az ugyanazon szerzők által kifejlesztett DECA gépi tanulási rendszert használják).
  • Az arctextúra létrehozásakor a rendszer megbecsüli az objektum albedóját.
  • Az épített testmodell ezután animálható vagy más pózban is bemutatható.
  • Modell készítésének támogatása közönséges fényképekből, amelyeken egy személyt természetes körülmények között filmeznek.
  • A PIXIE jól érzékeli a különböző pózokat, fényviszonyokat és egy tárgy átfedő részeit.
  • Nagy teljesítményű, dinamikus kamerás képfeldolgozásra alkalmas.

A kód Python nyelven íródott a Pytorch keretrendszer használatával, és olyan licenc alatt kerül terjesztésre, amely csak nem kereskedelmi célokat tesz lehetővé.

Hogyan telepítsem a Pixie-t Linuxra?

Azok számára, akik szeretnének telepíteni ezt a 3D modellező rendszert a rendszerükre, ezt az alábbi utasítások követésével tehetik meg.

Az első dolog, amit meg kell tennünk, hogy megszerezzük a Pixie forráskódját, hogy le tudjuk fordítani a számítógépünkön, és ehhez nyitunk egy terminált, és beírjuk a következőket:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

Ha ez megtörtént, folytathatjuk a telepítést a Python csomagkezelőre támaszkodva:

pip install -r requirements.txt

Vagy futtathatjuk a kínált telepítők bármelyikét:

bash install_conda.sh

O:

bash install_pip.sh

Végül ha érdekel, hogy többet tudjon meg róla a projektről, hogy át tudja tekinteni a forráskódot, vagy beszerezze a már betanított modelleket, hogy futtathasson egy demót és ismerje a működését, ezt és még sok mást beszerezhet a következő link.


A cikk tartalma betartja a szerkesztői etika. A hiba bejelentéséhez kattintson a gombra itt.

Legyen Ön az első hozzászóló

Hagyja megjegyzését

E-mail címed nem kerül nyilvánosságra. Kötelező mezők vannak jelölve *

*

*

  1. Az adatokért felelős: Miguel Ángel Gatón
  2. Az adatok célja: A SPAM ellenőrzése, a megjegyzések kezelése.
  3. Legitimáció: Az Ön beleegyezése
  4. Az adatok közlése: Az adatokat csak jogi kötelezettség alapján továbbítjuk harmadik felekkel.
  5. Adattárolás: Az Occentus Networks (EU) által üzemeltetett adatbázis
  6. Jogok: Bármikor korlátozhatja, helyreállíthatja és törölheti adatait.