الرؤية القائمة على الأحداث مقابل الإطارات: مقارنة عملية

ما هي الرؤية القائمة على الإطار؟

تلتقط الرؤية المبنية على الإطار المشهد كصور كاملة على فترات زمنية منتظمة، على سبيل المثال 30 أو 60 أو 120 إطارًا في الثانية. يحتوي كل إطار على معلومات مكانية كثيفة، مما يجعل الكاميرات التقليدية مناسبة بشكل طبيعي للتعرف على الأشياء وتحليل الألوان والفحص ورسم الخرائط والنظام البيئي الكبير للبرامج المبني على موترات الصور.

والمقايضة هي أن كل إطار يحرك صورة كاملة عبر المسار سواء تغير المشهد أم لا. للحصول على حلقة قرار سريعة، يساهم كل من وقت التعرض وفترة الإطار وقراءات المستشعر والنقل وتحويل الصور والاستدلال في زمن الوصول الشامل. يؤدي معدل الإطارات المرتفع إلى تقليل الفاصل الزمني لأخذ العينات، ولكنه يزيد عادةً من عرض النطاق الترددي وحركة الذاكرة والطاقة والحمل الحراري.

ما هي الرؤية المبنية على الحدث؟

تستخدم الرؤية المبنية على الحدث مستشعر صور قائمًا على الحدث والذي تستجيب وحدات البكسل الخاصة به بشكل غير متزامن للتغيرات في السطوع. بدلاً من تقديم صورة مستطيلة بإيقاع ثابت، ينتج المستشعر دفقًا يحتوي على إحداثيات البكسل والقطبية والطوابع الزمنية الدقيقة. وبالتالي فإن المناطق الثابتة تولد بيانات قليلة أو معدومة بينما يمكن للحواف المتحركة أن تنتج أحداثًا ذات دقة زمنية دقيقة جدًا.

يكون هذا التمثيل مفيدًا عندما يكون توقيت الحركة مهمًا أكثر من تلقي صورة كاملة بشكل متكرر. يمكن أن يدعم التتبع بزمن وصول منخفض، والروبوتات عالية السرعة، وانتقالات الإضاءة الصعبة، لكن تيار الحدث ليس صورة عادية. يجب تصميم الخوارزميات وأدوات التصور والتسجيل والتحقق من الصحة حول نموذج البيانات.

كيف يقوم مستشعر الصور المعتمد على الحدث بتغيير مسار البيانات

يكشف النظام المرجعي المفيد عن المسار الكامل بدءًا من الحصول على المستشعر وحتى التصفية والمعالجة وحتى مخرجات التطبيق. قم بصياغة هذه الحدود بحيث يمكن تقييم مطالبات زمن الوصول ومعدل البيانات من البداية إلى النهاية.

لا يقتصر الاختلاف الهندسي الرئيسي على مجرد "الكاميرا الأسرع مقابل الكاميرا الأبطأ". غالبًا ما يبدأ مسار الرؤية التقليدي بمخزن مؤقت كامل للصورة. يمكن أن يبدأ المسار المستند إلى الحدث في معالجة الأحداث الفردية أو نوافذ الأحداث الصغيرة بمجرد وصولها. يتيح ذلك تشغيل التصفية ومحاذاة الطابع الزمني ومنطق المنطقة محل الاهتمام وميزات الحركة بالقرب من المستشعر دون انتظار إطار كامل.

ومع ذلك، يمكن أن تصبح بيانات الحدث كثيفة في المشاهد شديدة التركيب أو في ظل الاهتزاز والوميض. ولذلك، يجب أن يقيس تصميم النظام معدل الأحداث الأسوأ، واستخدام الواجهة وعرض النطاق الترددي للذاكرة بدلاً من افتراض أن استشعار الأحداث يعني دائمًا انخفاض عرض النطاق الترددي.

الرؤية القائمة على الحدث مقابل الرؤية القائمة على الإطار

الكمون: قياس سرعة اتخاذ القرار من المستشعر، وليس مكونًا واحدًا

غالبًا ما يتم اختيار كاميرات الأحداث لإدراك زمن الاستجابة المنخفض، لكن دقة الطابع الزمني للمستشعر ليست مثل زمن انتقال التطبيق. المقياس الهندسي المفيد هو الوقت من التغيير الواقعي إلى القرار الذي يظهر على واجهة النظام. يتضمن هذا المسار استجابة المستشعر والنقل والتخزين المؤقت والمعالجة المسبقة والاستدلال أو التتبع وجدولة البرامج واتصالات الإخراج.

تنطبق نفس القاعدة على كاميرا الإطار. قد يتفوق خط الأنابيب ذو معدل الإطار العالي المصمم جيدًا مع مسارات الذاكرة المباشرة على خط أنابيب الأحداث المتكامل بشكل سيئ. ولذلك ينبغي مقارنة الهندسة المعمارية بالحركة التمثيلية والإضاءة والخوارزميات.

برامج الرؤية القائمة على الأحداث واعتبارات SDK

تحتاج حزمة برامج الرؤية المبنية على الأحداث عادةً إلى تكوين الجهاز، وفك تشفير الأحداث، ومعالجة الطابع الزمني، والتصفية، والتصور، والتسجيل، وإعادة التشغيل. يجب أيضًا أن تسهل مجموعة SDK للرؤية المستندة إلى الأحداث مزامنة المشغلات الخارجية وأجهزة الاستشعار الأخرى، وفحص معدلات الأحداث وإعادة إنتاج التسلسل الذي تم التقاطه أثناء تطوير الخوارزمية.

بالنسبة لأنظمة الإنتاج، يجب أن يمتد البرنامج إلى ما هو أبعد من SDK لسطح المكتب. يجب أن تحدد الفرق كيفية نقل الأحداث إلى موارد FPGA أو MCU أو MPU أو NPU؛ كيف يتم تخزين المعايرة؛ كيف تتم مزامنة الوقت؛ وكيف يمكن إعادة تشغيل السجلات الميدانية. إذا قامت إحدى الخوارزميات بتحويل الأحداث إلى إطارات متراكمة، تصبح نافذة التراكم عبارة عن مقايضة صريحة بين زمن الوصول والمعلومات.

حيث تكون الرؤية المبنية على الحدث مفيدة

تشتمل تطبيقات الرؤية النموذجية القائمة على الأحداث على تتبع الهدف عالي السرعة، والتلاعب الآلي، والتدفق البصري، وتحليل الاهتزاز أو الحركة، والفحص الصناعي السريع والإدراك المستقل في المشاهد ذات التغيرات الكبيرة في السطوع. أقوى حالات الاستخدام هي عادةً تلك التي يعمل فيها الهيكل الزمني الدقيق على تحسين القرار بشكل مباشر بدلاً من مجرد استبدال الكاميرا التقليدية.

رؤية قائمة على الأحداث لمنصات الدفاع والمستقلة

في أنظمة الدفاع والأمن والأنظمة الذاتية، يمكن أن يكون استشعار الأحداث ذا صلة بإشارات الحركة السريعة، وتجارب التتبع، والحمولات الضوئية ذات الكمون المنخفض، وأبحاث دمج أجهزة الاستشعار. لا يزال يتعين على النظام تلبية متطلبات النظام الأساسي مثل المزامنة والواجهات الحتمية والتصميم البيئي والتسجيل والأمن السيبراني والتحقق من الصحة. يعد استشعار الحدث أحد مكونات سلسلة المهمة، وليس حلاً إدراكيًا كاملاً في حد ذاته.

عندما تكون بنية الكاميرا الهجينة أفضل

تستفيد العديد من الأنظمة العملية من الجمع بين الطرائق. يمكن أن توفر الإطارات سياقًا دلاليًا وصورًا يمكن قراءتها بواسطة الإنسان بينما تساهم الأحداث بالتفاصيل الزمنية. يمكن لأجهزة الاستشعار الحرارية أو بالقصور الذاتي أو المدى أن تضيف المتانة. يعد الاندماج مفيدًا بشكل خاص عندما يحتاج التطبيق إلى كل من "ما هو؟" و"متى وكيف تحركت بالضبط؟"

بالنسبة للأنظمة الهجينة، يعد الوقت المشترك أمرًا ضروريًا. ينبغي النظر في مشغلات الأجهزة ومجالات الطابع الزمني والمعايرة قبل الانتهاء من الخوارزميات.

بنية مرجعية للرؤية العملية القائمة على الحدث

يمكن للنظام المرجعي إجراء تصفية حتمية وعمل الطابع الزمني في FPGA، واستدلال الذكاء الاصطناعي على وحدة NPU أو المسرع، وخدمات التطبيقات على وحدة MPU، والإشراف على MCU أو النواة في الوقت الفعلي. يعتمد القسم الصحيح على معدل الحدث وهندسة النموذج وعرض النطاق الترددي للذاكرة والواجهات الخارجية. لدينا دليل FPGA مقابل NPU وMPU edge AI يشرح هذا التقسيم بمزيد من التفصيل.

قائمة التحقق من الاختيار

• تحديد الحد الأقصى المقبول لزمن الوصول من المستشعر إلى القرار.
• قم بقياس سرعة الحركة المتوقعة ونطاق الإضاءة ونشاط المشهد الأسوأ.
• قرر ما إذا كانت كثافة الصورة المطلقة أو اللون أو الفيديو الذي يمكن للإنسان قراءته مطلوبة.
• تقدير عرض النطاق الترددي وحركة الذاكرة لكل من المشاهد النموذجية وأسوأ الحالات.
• تأكيد نضج الخوارزمية ومجموعة البيانات ونضج SDK للرؤية القائمة على الأحداث.
• خطة التزامن مع مصادر الزناد الإطارية أو الحرارية أو بالقصور الذاتي أو الخارجية.
• قم بقياس خط الأنابيب بالكامل قبل تجميد الحوسبة والناقل والتصميم الحراري.