PIXIE, et open source maskinlæringssystem til 3D-modeller af mennesker

PIXIE er et maskinlæringssystem er open source, som giver dig mulighed for at skabe 3D-modeller og animerede avatarer af den menneskelige krop fra et foto.

Realistiske ansigts- og tøjteksturer, der adskiller sig fra dem, der er vist på det originale billede, kan vedhæftes til den resulterende model. Systemet kan for eksempel bruges til at tegne fra et andet synspunkt, skabe animation, rekonstruere kroppen efter ansigtets form og generere en 3D-model af fingrene.

Om PIXIE

Det hævdes, at sammenlignet med lignende projekter, PIXIE giver dig mulighed for mere præcist at genskabe kroppens konturer, oprindeligt skjult af tøj på fotografiet, ansigtets form og positionen af ​​hændernes led.

Metoden er baseret på brugen af ​​et neuralt netværk som udtrækker ansigts-, krops- og håndparametrene fra pixelbilledet. Det neurale netværks arbejde koordineres af en speciel regulator, som baseret på analysen af ​​belysning tilføjer information om vægtkoefficienterne for forskellige dele af kroppen for at udelukke bestemmelsen af ​​unaturlige positurer.

De kroppe, der estimeres af PIXIE, er let animerede. Visualiseringen indeholder inputbilledet, den forudsagte 3D-ekspressive krop, animationsresultatet, referencevideoen og dens tilsvarende rekonstruktion. For sidstnævnte repræsenterer farven på hænder og hoveder tilliden hos de tilsvarende moderatorer. En lysere farve betyder, at PIXIE stoler mere på information om kropsbilleder end dele, hvilket kan ske, når en person for eksempel har ryggen til kameraet.

Når man laver en model, tages der hensyn til anatomiske forskelle mellem mandlige og kvindelige kroppe, kropsholdningsparametre, belysning, overfladereflektivitet og ansigtsrotation i et tredimensionelt plan.

PIXIE funktioner:

  • Den rekonstruerede 3D-kropsmodel samt information om kropsholdning, håndposition og ansigtsudtryk gemmes som et sæt SMPL-X-parametre, som så kan bruges i Blender-modelleringssystemet via et komplement.
  • Detaljerede oplysninger om ansigtets form og udtryk samt dets funktioner, såsom tilstedeværelsen af ​​rynker, bestemmes ud fra fotografiet (DECA-maskinlæringssystemet udviklet af de samme forfattere bruges til at bygge en hovedmodel).
  • Når du genererer en ansigtstekstur, estimeres et objekts albedo.
  • Den byggede kropsmodel kan derefter animeres eller præsenteres i en anden positur.
  • Støtte til konstruktion af en model fra almindelige fotografier, hvor en person er filmet under naturlige forhold.
  • PIXIE gør et godt stykke arbejde med at registrere forskellige positurer, lysforhold og overlappende dele af et objekt.
  • Høj ydeevne, velegnet til dynamisk kamera billedbehandling.

Koden er skrevet i Python ved hjælp af Pytorch-rammeværket og distribueres under en licens, der kun tillader brug til ikke-kommercielle formål.

Hvordan installeres Pixie på Linux?

For dem, der er interesseret i at kunne installere dette 3D-modelleringssystem på deres system, kan de gøre det ved at følge instruktionerne, som vi deler nedenfor.

Den første ting vi skal gøre er at få kildekoden til Pixie for at kunne kompilere den på vores computer, og til dette skal vi åbne en terminal, og vi skal skrive følgende:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

Når dette er gjort, kan vi fortsætte med at udføre installationen enten ved hjælp af Python-pakkehåndteringen:

pip install -r requirements.txt

Eller vi kan køre en af ​​de tilbudte installatører:

bash install_conda.sh

O:

bash install_pip.sh

Endelig hvis du er interesseret i at vide mere om det om projektet, for at kunne gennemgå kildekoden eller også for at få de modeller, der allerede er trænet, så du kan køre en demo og vide, hvordan den fungerer, du kan få dette og meget mere fra følgende link.


Vær den første til at kommentere

Efterlad din kommentar

Din e-mailadresse vil ikke blive offentliggjort. Obligatoriske felter er markeret med *

*

*

  1. Ansvarlig for dataene: Miguel Ángel Gatón
  2. Formålet med dataene: Control SPAM, management af kommentarer.
  3. Legitimering: Dit samtykke
  4. Kommunikation af dataene: Dataene vil ikke blive kommunikeret til tredjemand, undtagen ved juridisk forpligtelse.
  5. Datalagring: Database hostet af Occentus Networks (EU)
  6. Rettigheder: Du kan til enhver tid begrænse, gendanne og slette dine oplysninger.