طريقة جديدة لإعادة بناء الأيدي من صور RGB

إذا كنت متخصص في مشاريع الواقع المعزز، فقد يعجبك هذا البحث الجديد، الذي يركز على إعادة إنشاء الأيدي من صور (RGB)، والتي تمت مناقشتها في الأصل من أجل المضي قدماً نحو محاذاة دقيقة في إعادة بناء شبكة يد ثلاثية الأبعاد في الزمن الحقيقي ثم تقديمها في المؤتمر الدولي للرؤية الحاسوبية لعام 2021 (ICCV 2021).

طريقة جديدة لإعادة بناء الأيدي من صور RGB

ويمكن استخدام إعادة بناء شبكة يد ثلاثية الأبعاد من صور (RGB) في حالات مختلفة، بما في ذلك الواقع المعزز (AR) وتجارب الواقع المختلط، لكن المهمة تتطلب سرعة في الزمن الحقيقي، ووضعية يد دقيقة، بالإضافة إلى محاذاة معقولة للصورة الشبكية، وتلبية الثلاثة أمور، وعادةً هذا الأمر يمثل تحدياً للمطورين.

طريقة جديدة لإعادة بناء الأيدي من صور RGB

ويعرض فريق شياو تانغ (Xiao Tang) وتيانيو وانغ (Tianyu Wang) وتشي وينج فو (Chi-Wing Fu) تقسيم مهمة إعادة بناء شبكة اليد إلى ثلاث مراحل:

  • مرحلة مشتركة للتنبؤ بمفاصل اليد والتجزئة.
  • مرحلة شبكية للتنبؤ بشبكة يدوية خشنة.
  • مرحلة صقل لضبطها بدقة باستخدام شبكة إزاحة لمحاذاة صورة الشبكة.

ويقول الفريق: “من خلال التصميم الدقيق في بنية الشبكة وفي وظائف الخسارة، يمكننا تعزيز محاذاة الصورة الشبكية عالية الجودة على مستوى الإصبع ودفع النماذج معاً لتقديم تنبؤات في الزمن الحقيقي”.

ويُضيف: “تُظهر النتائج الكمية والنوعية الشاملة لمجموعات البيانات المعيارية أن جودة نتائجنا تتفوق في الأداء على أحدث الأساليب في دقة شبكة اليد والوضعية ومحاذاة صورة اليد، وفي النهاية، نعرض أيضاً في الزمن الحقيقي سيناريوهات الواقع المعزز”.

المصدر
هنا

مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني.