PERI adalah sistem pembelajaran mesin yang open source, yang memungkinkan Anda membuat model 3D dan avatar animasi tubuh manusia dari foto.
Tekstur wajah dan pakaian realistis yang berbeda dari yang ditunjukkan pada foto asli dapat dilampirkan pada model yang dihasilkan. Sistem tersebut dapat digunakan, misalnya untuk menggambar dari sudut pandang yang berbeda, membuat animasi, merekonstruksi tubuh sesuai dengan bentuk wajah dan menghasilkan model 3D jari.
Tentang PIXIE
Diklaim bahwa dibandingkan dengan proyek serupa, PIXIE memungkinkan Anda untuk membuat ulang kontur tubuh dengan lebih akurat, awalnya disembunyikan oleh pakaian di foto, bentuk wajah dan posisi persendian tangan.
Metode ini didasarkan pada penggunaan jaringan saraf yang mengekstrak parameter wajah, tubuh, dan tangan dari gambar piksel. Pekerjaan jaringan saraf dikoordinasikan oleh pengatur khusus, yang, berdasarkan analisis pencahayaan, menambahkan informasi tentang koefisien berat berbagai bagian tubuh untuk mengecualikan penentuan pose yang tidak wajar.
Mayat yang diperkirakan oleh PIXIE mudah dianimasikan. Visualisasi berisi gambar input, prediksi tubuh ekspresif 3D, hasil animasi, video referensi, dan rekonstruksi terkait. Untuk yang terakhir, warna tangan dan kepala mewakili kepercayaan dari moderator terkait. Warna yang lebih terang berarti PIXIE lebih mengandalkan informasi citra tubuh daripada bagian, yang dapat terjadi ketika seseorang membelakangi kamera, misalnya.
Saat membuat model, perbedaan anatomi antara tubuh pria dan wanita, parameter postur, pencahayaan, reflektifitas permukaan, dan rotasi wajah dalam bidang tiga dimensi diperhitungkan.
Fitur PIXIE:
- Model tubuh 3D yang direkonstruksi, serta informasi tentang postur, posisi tangan, dan ekspresi wajah, disimpan sebagai seperangkat parameter SMPL-X, yang kemudian dapat digunakan dalam sistem pemodelan Blender melalui pelengkap.
- Informasi terperinci tentang bentuk dan ekspresi wajah, serta fitur-fiturnya, seperti adanya kerutan, ditentukan dari foto (sistem pembelajaran mesin DECA yang dikembangkan oleh penulis yang sama digunakan untuk membuat model kepala).
- Saat menghasilkan tekstur wajah, albedo suatu objek diperkirakan.
- Model tubuh yang dibangun kemudian dapat dianimasikan atau disajikan dalam pose yang berbeda.
- Dukungan untuk konstruksi model dari foto biasa di mana seseorang difilmkan dalam kondisi alami.
- PIXIE melakukan pekerjaan yang baik dalam mendeteksi berbagai pose, kondisi pencahayaan, dan bagian objek yang tumpang tindih.
- Performa tinggi, cocok untuk pemrosesan gambar kamera dinamis.
Kode ditulis dengan Python menggunakan kerangka kerja Pytorch dan didistribusikan di bawah lisensi yang memungkinkan penggunaan untuk tujuan non-komersial saja.
Bagaimana cara menginstal Pixie di Linux?
Bagi yang tertarik untuk dapat menginstal sistem pemodelan 3D ini di sistem mereka, dapat melakukannya dengan mengikuti petunjuk yang kami bagikan di bawah ini.
Hal pertama yang harus kita lakukan adalah mendapatkan kode sumber Pixie untuk dapat dikompilasi di komputer kita dan untuk ini kita akan membuka terminal dan kita akan mengetik berikut ini:
git clone https://github.com/YadiraF/PIXIE cd PIXIE
Setelah ini selesai, kita dapat melanjutkan untuk melakukan instalasi baik dengan mengandalkan pengelola paket Python:
pip install -r requirements.txt
Atau kami dapat menjalankan salah satu penginstal yang ditawarkan:
bash install_conda.sh
O:
bash install_pip.sh
Akhirnya jika Anda tertarik untuk mengetahui lebih banyak tentangnya tentang proyek, untuk dapat meninjau kode sumber atau juga untuk mendapatkan model yang sudah dilatih sehingga Anda dapat menjalankan demo dan mengetahui cara kerjanya, Anda dapat memperoleh ini dan banyak lagi dari link berikut.