Hadisə əsaslı və kadr əsaslı maşın görməsi: praktik müqayisə

Şəkil çərçivələrindən istifadə edərək maşın görmə nədir?

Şəkil çərçivələrindən istifadə edən maşın baxışı səhnəni nizamlı intervallarla tam təsvirlər kimi çəkir, məsələn, saniyədə 30, 60 və ya 120 kadr. Hər bir çərçivədə sıx məkan məlumatı var ki, bu da adi kameraları obyektin tanınması, rəng təhlili, təftiş, xəritəçəkmə və təsvir tensorları ətrafında qurulmuş böyük proqram ekosistemi üçün təbii uyğunluq halına gətirir.

Mübadilə ondan ibarətdir ki, səhnənin dəyişib-dəyişməməsindən asılı olmayaraq, hər bir çərçivə tam təsviri boru kəməri vasitəsilə hərəkət etdirir. Sürətli qərar dövrü üçün ekspozisiya müddəti, çərçivə müddəti, sensorun oxunması, daşınma, təsvirin konvertasiyası və nəticə çıxarma hamısı başdan sona gecikməyə kömək edir. Yüksək kadr sürəti seçmə intervalını azaldır, lakin adətən bant genişliyini, yaddaş trafikini, gücü və istilik yükünü artırır.

Hadisəyə əsaslanan görmə nədir?

Hadisəyə əsaslanan görmə, pikselləri parlaqlıqdakı dəyişikliklərə asinxron cavab verən hadisə əsaslı görüntü sensorundan istifadə edir. Sabit bir kadensdə düzbucaqlı bir şəkil təqdim etmək əvəzinə, sensor piksel koordinatları, polarite və dəqiq vaxt işarələrini ehtiva edən bir axın istehsal edir. Statik bölgələr buna görə də çox az məlumat yaradır və ya heç bir məlumat yaratmır, kənarları hərəkət etdirərkən çox incə müvəqqəti qətnamə ilə hadisələr yarada bilər.

Hərəkət vaxtı tam təsviri təkrar-təkrar qəbul etməkdən daha çox əhəmiyyət kəsb etdikdə bu təsvir faydalıdır. O, aşağı gecikmə ilə izləmə, yüksək sürətli robot texnikası və çətin işıqlandırma keçidlərini dəstəkləyə bilər, lakin hadisə axını normal bir fotoşəkil deyil. Alqoritmlər, vizuallaşdırma, qeyd və təsdiqləmə vasitələri məlumat modeli ətrafında tərtib edilməlidir.

Hadisəyə əsaslanan görüntü sensoru məlumat yolunu necə dəyişir

Faydalı istinad sistemi, sensorun alınmasından filtrləmə və emal vasitəsilə tətbiqin çıxışına qədər tam yolu göstərir. Bu sərhədləri elə alət edin ki, gecikmə və məlumat sürəti iddiaları başdan sona qiymətləndirilə bilsin.

Əsas memarlıq fərqi sadəcə "daha sürətli kamera ilə daha yavaş kamera" deyil. Ənənəvi görmə boru kəməri çox vaxt tam təsvir tamponu ilə başlayır. Hadisəyə əsaslanan boru kəməri fərdi hadisələr və ya kiçik hadisə pəncərələri gələn kimi emal etməyə başlaya bilər. Bu, filtrləmə, vaxt möhürünün uyğunlaşdırılması, maraq dairəsi məntiqi və hərəkət xüsusiyyətlərinin tam çərçivəni gözləmədən sensora yaxın işləməsinə imkan verir.

Bununla belə, hadisə məlumatları yüksək teksturalı səhnələrdə və ya vibrasiya və titrəmə altında sıxlaşa bilər. Sistem dizaynı buna görə də hadisənin algılanmasının həmişə aşağı bant genişliyi demək olduğunu düşünməkdənsə, ən pis hadisə sürətini, interfeysdən istifadəni və yaddaş bant genişliyini ölçməlidir.

Şəkil çərçivələrindən istifadə edərək hadisəyə əsaslanan görmə və maşın görmə

Gecikmə: bir komponent deyil, sensordan qərara ölçün

Hadisə kameraları tez-tez aşağı gecikmə qavrayışı üçün seçilir, lakin sensorun vaxt damğasının həlli tətbiqin gecikməsi ilə eyni deyil. Faydalı mühəndislik metrikası, real dünya dəyişikliyindən sistem interfeysində görünən qərara qədər olan vaxtdır. Bu yola sensor reaksiyası, nəqliyyat, buferləmə, əvvəlcədən emal, nəticə çıxarma və ya izləmə, proqram təminatının planlaşdırılması və çıxış rabitəsi daxildir.

Eyni qayda çərçivə kamerasına da aiddir. Birbaşa yaddaş yolları ilə yaxşı dizayn edilmiş yüksək kadr sürəti olan boru kəməri zəif inteqrasiya olunmuş hadisə boru kəmərini üstələyə bilər. Buna görə də memarlıq təmsilçi hərəkət, işıqlandırma və alqoritmlərlə müqayisə edilməlidir.

Hadisəyə əsaslanan görmə proqramı və SDK mülahizələr

Hadisəyə əsaslanan görmə proqram təminatı yığını adətən cihazın konfiqurasiyasına, hadisənin dekodlanmasına, vaxt damğasının idarə edilməsinə, süzülməsinə, vizuallaşdırılmasına, qeydinə və təkrarına ehtiyac duyur. Faydalı hadisəyə əsaslanan görüntü SDK, həmçinin, alqoritmin inkişafı zamanı xarici triggerləri və digər sensorları sinxronizasiya etməyi, hadisə sürətlərini yoxlamağı və çəkilmiş ardıcıllığı bərpa etməyi asanlaşdırmalıdır.

İstehsal sistemləri üçün proqram SDK iş masasından kənara çıxmalıdır. Komandalar hadisələrin FPGA, MCU, MPU və ya NPU resurslarına necə köçürüldüyünü müəyyən etməlidir; kalibrləmə necə saxlanılır; vaxt necə sinxronlaşdırılır; və sahə qeydlərinin necə təkrarlana biləcəyi. Əgər alqoritm hadisələri yığılmış çərçivələrə çevirirsə, yığılma pəncərəsi açıq-aşkar gecikmə ilə məlumat mübadiləsinə çevrilir.

Hadisəyə əsaslanan görmənin faydalı olduğu yer

Tipik hadisəyə əsaslanan görmə tətbiqlərinə yüksək sürətli hədəf izləmə, robot manipulyasiya, optik axın, vibrasiya və ya hərəkət təhlili, sürətli sənaye yoxlaması və böyük parlaqlıq dəyişiklikləri olan səhnələrdə avtonom qavrayış daxildir. Ən güclü istifadə halları adətən incə temporal quruluşun adi kameranı əvəz etməkdənsə, birbaşa qərarı təkmilləşdirdiyi hallarda olur.

Müdafiə və avtonom platformalar üçün hadisə əsaslı baxış

Müdafiə, təhlükəsizlik və avtonom sistemlərdə hadisənin tədqiqi sürətli hərəkət siqnalları, izləmə təcrübələri, aşağı gecikmə müddəti olan optik yüklər və sensor-fusion tədqiqatları üçün aktual ola bilər. Sistem hələ də sinxronizasiya, deterministik interfeyslər, ekoloji dizayn, qeyd, kibertəhlükəsizlik və doğrulama kimi platforma tələblərinə cavab verməlidir. Hadisənin algılanması missiya zəncirinin bir komponentidir, tək başına tam qavrayış həlli deyil.

Hibrid kamera arxitekturası daha yaxşı olduqda

Bir çox praktik sistemlər modallıqların birləşməsindən faydalanır. Çərçivələr semantik kontekst və insan tərəfindən oxuna bilən təsvirlər təmin edə bilər, halbuki hadisələr müvəqqəti təfərrüat verir. Termal, inertial və ya dəyişən sensorlar möhkəmlik əlavə edə bilər. Fusion xüsusilə tətbiqin hər ikisinə “bu nədir?” ehtiyacı olduqda faydalıdır. və "dəqiq nə vaxt və necə hərəkət etdi?"

Hibrid sistemlər üçün paylaşılan vaxt vacibdir. Alqoritmlər tamamlanmazdan əvvəl aparat tetikleyicileri, vaxt damğası domenləri və kalibrləmə nəzərə alınmalıdır.

Praktik hadisəyə əsaslanan görmə istinad arxitekturası

İstinad sistemi FPGA-də deterministik filtrləmə və vaxt damğası işini, NPU və ya sürətləndiricidə AI nəticələrini, MPU-də tətbiq xidmətlərini və MCU və ya real vaxt nüvəsində nəzarəti yerləşdirə bilər. Düzgün bölmə hadisə sürətindən, model arxitekturasından, yaddaş bant genişliyindən və xarici interfeyslərdən asılıdır. Bizim FPGA vs NPU və MPU edge AI bələdçisi bu bölməni daha ətraflı izah edir.

Seçim yoxlama siyahısı

• Qərar qəbul etmək üçün qəbul edilən maksimum gecikmə müddətini təyin edin.
• Gözlənilən hərəkət sürətini, işıqlandırma diapazonunu və ən pis səhnə fəaliyyətini ölçün.
• Mütləq şəkil intensivliyi, rəng və ya insan tərəfindən oxuna bilən videonun tələb olunduğuna qərar verin.
• Həm tipik, həm də ən pis səhnələr üçün bant genişliyini və yaddaş hərəkətini təxmin edin.
• Alqoritm, verilənlər bazası və hadisəyə əsaslanan görmə SDK yetkinliyini təsdiq edin.
• Çərçivə, termal, ətalət və ya xarici tetik mənbələri ilə sinxronizasiya planlaşdırın.
• Hesablama, daşıyıcı və istilik dizaynını dondurmadan əvvəl bütün boru kəmərini müqayisə edin.

Maşın görmə, termal görüntüləmə və yoxlama sualı

Kompüter görmə vizual məlumatlardan faydalı məlumatların çıxarılmasının geniş sahəsidir. Sənaye maşın görməsində sistem xəttin işıqlandırma, hərəkət və vaxt məhdudiyyətləri altında təkrarlanan yoxlama nəticəsini də təqdim etməlidir. Tətbiqin həqiqətən müşahidə etməli olduğu qüsuru və ya hərəkət xüsusiyyətini sınamaqla çərçivəyə əsaslanan və hadisəyə əsaslanan sensasiya arasında seçim edin.

Termal görüntüləmə fərqli bir ölçü ölçüsü əlavə edir: səthin temperaturu ilə əlaqəli infraqırmızı şüalanma. Görünən kamera montaj və ya səth qüsurlarını aşkar edə bilər, termal kamera isə temperatur nümunələrini aşkar edir. Bu üsullar tamamlayıcı ola bilər, lakin heç biri hər bir nasazlığın görünməsinə zəmanət vermir. Təftiş sisteminə birləşdirməzdən əvvəl uyğunlaşdırma, ölçmə şərtləri və qərar vermə qaydalarını müəyyənləşdirin.

Vizual və istilik keyfiyyət yoxlamasını araşdırın