PIXIE, un sistema di machine learning open source per modelli 3D di persone

PICCOLO è un sistema di apprendimento automatico è open source, che consente di creare modelli 3D e avatar animati del corpo umano da una foto.

Al modello risultante possono essere allegate trame realistiche del viso e dell'abbigliamento che differiscono da quelle mostrate nella foto originale. Il sistema può essere utilizzato, ad esempio, per disegnare da un punto di vista diverso, creare animazioni, ricostruire il corpo secondo la forma del viso e generare un modello 3D delle dita.

Informazioni su PIXIE

Si sostiene che rispetto a progetti simili, PIXIE consente di ricreare in modo più accurato i contorni del corpo, originariamente nascosto dai vestiti nella fotografia, la forma del viso e la posizione delle articolazioni delle mani.

Il metodo si basa sull'utilizzo di una rete neurale che estrae i parametri del viso, del corpo e della mano dall'immagine pixel. Il lavoro della rete neurale è coordinato da uno speciale regolatore, che, in base all'analisi dell'illuminazione, aggiunge informazioni sui coefficienti di peso di varie parti del corpo per escludere la determinazione di pose innaturali.

I corpi stimati da PIXIE sono facilmente animati. La visualizzazione contiene l'immagine in ingresso, il corpo espressivo 3D previsto, il risultato dell'animazione, il video di riferimento e la relativa ricostruzione. Per quest'ultimo, il colore delle mani e delle teste rappresenta la fiducia dei corrispondenti moderatori. Un colore più chiaro significa che PIXIE si basa maggiormente sulle informazioni sull'immagine del corpo che sulle parti, cosa che può accadere quando una persona ha le spalle alla fotocamera, ad esempio.

Quando si crea un modello, vengono prese in considerazione le differenze anatomiche tra il corpo maschile e quello femminile, i parametri di postura, l'illuminazione, la riflettività della superficie e la rotazione del viso su un piano tridimensionale.

Caratteristiche di PIXIE:

  • Il modello del corpo 3D ricostruito, così come le informazioni sulla postura, la posizione della mano e l'espressione facciale, vengono salvati come un insieme di parametri SMPL-X, che possono quindi essere utilizzati nel sistema di modellazione Blender tramite un complemento.
  • Informazioni dettagliate sulla forma e l'espressione del viso, nonché le sue caratteristiche, come la presenza di rughe, sono determinate dalla fotografia (il sistema di apprendimento automatico DECA sviluppato dagli stessi autori viene utilizzato per costruire un modello di testa).
  • Quando si genera una texture del viso, viene stimata l'albedo di un oggetto.
  • Il modello del corpo costruito può quindi essere animato o presentato in una posa diversa.
  • Supporto per la costruzione di un modello da fotografie ordinarie in cui una persona viene filmata in condizioni naturali.
  • PIXIE fa un buon lavoro nel rilevare diverse pose, condizioni di illuminazione e parti sovrapposte di un oggetto.
  • Alte prestazioni, adatto per l'elaborazione dinamica delle immagini della fotocamera.

Il codice è scritto in Python utilizzando il framework Pytorch ed è distribuito con una licenza che ne consente l'uso solo per scopi non commerciali.

Come installare Pixie su Linux?

Per coloro che sono interessati a poter installare questo sistema di modellazione 3D sul proprio sistema, possono farlo seguendo le istruzioni che condividiamo di seguito.

La prima cosa che dobbiamo fare è ottenere il codice sorgente di Pixie per poterlo compilare sul nostro computer e per questo apriremo un terminale e digiteremo quanto segue:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

Fatto ciò, possiamo procedere ad effettuare l'installazione sia utilizzando il gestore di pacchetti Python:

pip install -r requirements.txt

Oppure possiamo eseguire uno dei programmi di installazione offerti:

bash install_conda.sh

O:

bash install_pip.sh

Infine se sei interessato a saperne di più sul progetto, per poter rivedere il codice sorgente o anche per ottenere i modelli già addestrati in modo da poter eseguire una demo e sapere come funziona, puoi ottenere questo e molto altro da il seguente collegamento.


Puoi essere il primo a lasciare un commento

Lascia un tuo commento

L'indirizzo email non verrà pubblicato. I campi obbligatori sono contrassegnati con *

*

*

  1. Responsabile dei dati: Miguel Ángel Gatón
  2. Scopo dei dati: controllo SPAM, gestione commenti.
  3. Legittimazione: il tuo consenso
  4. Comunicazione dei dati: I dati non saranno oggetto di comunicazione a terzi se non per obbligo di legge.
  5. Archiviazione dati: database ospitato da Occentus Networks (UE)
  6. Diritti: in qualsiasi momento puoi limitare, recuperare ed eliminare le tue informazioni.