PIXIE ، نظام تعلم آلي مفتوح المصدر للنماذج ثلاثية الأبعاد للأشخاص

عابث هو نظام التعلم الآلي مفتوح المصدر، والذي يسمح لك بإنشاء نماذج ثلاثية الأبعاد وصور رمزية متحركة لجسم الإنسان من صورة.

يمكن إرفاق مواد واقعية للوجه والملابس تختلف عن تلك الموضحة في الصورة الأصلية بالنموذج الناتج. يمكن استخدام النظام ، على سبيل المثال ، للرسم من وجهة نظر مختلفة وإنشاء رسوم متحركة وإعادة بناء الجسم وفقًا لشكل الوجه وإنشاء نموذج ثلاثي الأبعاد للأصابع.

حول PIXIE

يُزعم أنه مقارنة بمشاريع مماثلة ، PIXIE يسمح لك بإعادة إنشاء ملامح الجسم بدقة أكبر ، في الأصل مخبأة بالملابس في الصورة ، شكل الوجه وموضع مفاصل اليدين.

تعتمد الطريقة على استخدام الشبكة العصبية الذي يستخرج معالم الوجه والجسم واليد من صورة البكسل. يتم تنسيق عمل الشبكة العصبية بواسطة منظم خاص ، بناءً على تحليل الإضاءة ، يضيف معلومات حول معاملات الوزن لأجزاء مختلفة من الجسم لاستبعاد تحديد الأوضاع غير الطبيعية.

يتم تحريك الأجسام المقدرة بواسطة PIXIE بسهولة. يحتوي التصور على صورة الإدخال والجسم التعبيري ثلاثي الأبعاد المتوقع ونتائج الرسوم المتحركة والفيديو المرجعي وإعادة بنائه المقابل. بالنسبة للأخير ، يمثل لون اليدين والرؤوس ثقة الوسطاء المطابقين. يعني اللون الأفتح أن PIXIE تعتمد على معلومات صورة الجسم أكثر من الأجزاء ، وهو ما يمكن أن يحدث عندما يقف الشخص خلف الكاميرا ، على سبيل المثال.

عند إنشاء نموذج ، يتم أخذ الاختلافات التشريحية بين أجسام الذكور والإناث ، ومعلمات الموقف ، والإضاءة ، وانعكاس السطح ، ودوران الوجه في مستوى ثلاثي الأبعاد في الاعتبار.

ميزات PIXIE:

• يتم حفظ نموذج الجسم ثلاثي الأبعاد الذي أعيد بناؤه ، بالإضافة إلى معلومات حول الموقف وموضع اليد وتعبيرات الوجه ، كمجموعة من معلمات SMPL-X ، والتي يمكن استخدامها بعد ذلك في نظام نمذجة Blender عبر مكمل.
• يتم تحديد المعلومات التفصيلية حول شكل الوجه وتعبيره ، بالإضافة إلى ميزاته ، مثل وجود التجاعيد ، من الصورة (يتم استخدام نظام التعلم الآلي DECA الذي طوره نفس المؤلفين لبناء نموذج الرأس).
• عند إنشاء نسيج للوجه ، يتم تقدير البياض للكائن.
• يمكن بعد ذلك تحريك نموذج الجسم المبني أو تقديمه في وضع مختلف.
• دعم بناء نموذج من الصور العادية التي يتم فيها تصوير الشخص في ظروف طبيعية.
• تقوم PIXIE بعمل جيد في اكتشاف الأوضاع المختلفة وظروف الإضاءة والأجزاء المتداخلة من الكائن.
• أداء عالٍ ومناسب لمعالجة صور الكاميرا الديناميكية.

تمت كتابة الكود بلغة Python باستخدام إطار عمل Pytorch ويتم توزيعه بموجب ترخيص يسمح باستخدامه للأغراض غير التجارية فقط.

كيفية تثبيت Pixie على Linux؟

بالنسبة لأولئك المهتمين بالقدرة على تثبيت نظام النمذجة ثلاثية الأبعاد هذا على نظامهم ، يمكنهم القيام بذلك باتباع الإرشادات التي نشاركها أدناه.

أول شيء يجب علينا القيام به هو الحصول على الكود المصدري لـ Pixie حتى نتمكن من تجميعه على جهاز الكمبيوتر الخاص بنا ، ولهذا سنقوم بفتح محطة طرفية وسنقوم بكتابة ما يلي:

git clone https://github.com/YadiraF/PIXIE
cd PIXIE

بمجرد الانتهاء من ذلك ، يمكننا المضي قدمًا في تنفيذ التثبيت إما بالاعتماد على مدير حزم Python:

pip install -r requirements.txt

أو يمكننا تشغيل أي من المثبتات المعروضة:

bash install_conda.sh

O:

bash install_pip.sh

أخيرا إذا كنت مهتمًا بمعرفة المزيد عنها حول المشروع ، لتتمكن من مراجعة الكود المصدري أو أيضًا للحصول على النماذج التي تم تدريبها بالفعل حتى تتمكن من تشغيل عرض توضيحي ومعرفة كيفية عمله ، يمكنك الحصول على هذا وأكثر من ذلك بكثير من الرابط التالي.