Apakah penglihatan berasaskan bingkai?
Penglihatan berasaskan bingkai menangkap pemandangan sebagai imej lengkap pada selang masa yang tetap, contohnya 30, 60 atau 120 bingkai sesaat. Setiap bingkai mengandungi maklumat spatial yang padat, yang menjadikan kamera konvensional sesuai semula jadi untuk pengecaman objek, analisis warna, pemeriksaan, pemetaan dan ekosistem perisian besar yang dibina di sekeliling tensor imej.
Pertukarannya ialah setiap bingkai menggerakkan imej lengkap melalui saluran paip sama ada adegan itu berubah atau tidak. Untuk gelung keputusan yang pantas, masa pendedahan, tempoh bingkai, bacaan sensor, pengangkutan, penukaran imej dan inferens semuanya menyumbang kepada kependaman hujung ke hujung. Kadar bingkai yang tinggi mengurangkan selang pensampelan, tetapi biasanya meningkatkan lebar jalur, trafik memori, kuasa dan beban terma.
Apakah visi berasaskan peristiwa?
Penglihatan berasaskan peristiwa menggunakan penderia imej berasaskan peristiwa yang pikselnya bertindak balas secara tidak segerak kepada perubahan dalam kecerahan. Daripada menyampaikan imej segi empat tepat pada kaden tetap, sensor menghasilkan aliran yang mengandungi koordinat piksel, kekutuban dan cap masa yang tepat. Oleh itu, kawasan statik menjana sedikit atau tiada data manakala tepi bergerak boleh menghasilkan peristiwa dengan resolusi temporal yang sangat halus.
Perwakilan ini berguna apabila pemasaan gerakan lebih penting daripada berulang kali menerima imej lengkap. Ia boleh menyokong penjejakan kependaman rendah, robotik berkelajuan tinggi dan peralihan pencahayaan yang sukar, tetapi aliran peristiwa bukanlah gambar biasa. Algoritma, visualisasi, alat rakaman dan pengesahan mesti direka bentuk mengikut model data.
Cara penderia imej berasaskan peristiwa mengubah laluan data
Sistem rujukan yang berguna mendedahkan laluan penuh daripada pemerolehan sensor melalui penapisan dan pemprosesan kepada output aplikasi. Instrumenkan sempadan tersebut supaya tuntutan kependaman dan kadar data boleh dinilai dari hujung ke hujung.
Perbezaan seni bina utama bukan sekadar "kamera yang lebih pantas berbanding kamera yang lebih perlahan." Saluran paip penglihatan konvensional selalunya bermula dengan penimbal imej penuh. Saluran paip berasaskan peristiwa boleh mula memproses peristiwa individu atau tetingkap peristiwa kecil sebaik sahaja ia tiba. Itu membolehkan penapisan, penjajaran cap masa, logik wilayah kepentingan dan ciri gerakan berjalan hampir dengan penderia tanpa menunggu bingkai yang lengkap.
Walau bagaimanapun, data peristiwa boleh menjadi padat dalam adegan bertekstur tinggi atau di bawah getaran dan kelipan. Oleh itu, reka bentuk sistem harus mengukur kadar peristiwa terburuk, penggunaan antara muka dan lebar jalur memori daripada menganggap bahawa penderiaan peristiwa sentiasa bermakna lebar jalur yang rendah.
Penglihatan berasaskan peristiwa vs penglihatan berasaskan bingkai
| Dimensi | Penglihatan berasaskan bingkai | Penglihatan berasaskan peristiwa |
|---|---|---|
| Keluaran sensor | Imej padat pada selang masa tetap | Peristiwa perubahan kecerahan tak segerak |
| Maklumat masa | Terhad oleh pendedahan dan irama bingkai | Cap masa yang baik dikaitkan dengan peristiwa individu |
| Data pemandangan statik | Bingkai lengkap terus sampai | Sedikit aktiviti dari kawasan yang tidak berubah |
| Konteks ruang / warna | Kuat; keamatan imej mutlak dan pengimejan warna matang | Tidak langsung; aliran peristiwa menerangkan perubahan dan bukannya imej konvensional |
| Pergerakan berkelajuan tinggi | Memerlukan pendedahan dan kadar bingkai yang mencukupi | Sangat sesuai untuk perubahan temporal yang cepat |
| Ekosistem perisian | CV yang sangat matang dan alatan pembelajaran mendalam | Algoritma, perwakilan dan set data yang lebih khusus |
| Paling sesuai | Pengimejan umum, pengecaman, tekstur dan imejan yang boleh dibaca manusia | Dinamik pantas, ciri temporal dan persepsi gerakan kependaman rendah |
Latensi: ukur penderia kepada keputusan, bukan satu komponen
Kamera peristiwa sering dipilih untuk persepsi kependaman rendah, tetapi peleraian cap waktu penderia tidak sama dengan kependaman aplikasi. Metrik kejuruteraan yang berguna ialah masa daripada perubahan dunia sebenar kepada keputusan yang muncul pada antara muka sistem. Laluan itu termasuk tindak balas sensor, pengangkutan, penimbalan, prapemprosesan, inferens atau penjejakan, penjadualan perisian dan komunikasi output.
Peraturan yang sama digunakan pada kamera bingkai. Talian paip kadar bingkai tinggi yang direka dengan baik dengan laluan ingatan langsung mungkin mengatasi saluran paip peristiwa yang kurang bersepadu. Oleh itu, seni bina harus ditanda aras dengan gerakan perwakilan, pencahayaan dan algoritma.
Perisian penglihatan berasaskan peristiwa dan pertimbangan SDK
Timbunan perisian penglihatan berasaskan peristiwa biasanya memerlukan konfigurasi peranti, penyahkodan peristiwa, pengendalian cap masa, penapisan, visualisasi, rakaman dan main semula. SDK penglihatan berasaskan peristiwa yang berguna juga harus memudahkan untuk menyegerakkan pencetus luaran dan penderia lain, memeriksa kadar peristiwa dan menghasilkan semula jujukan yang ditangkap semasa pembangunan algoritma.
Untuk sistem pengeluaran, perisian mesti melangkaui SDK desktop. Pasukan harus menentukan cara peristiwa dipindahkan ke sumber FPGA, MCU, MPU atau NPU; bagaimana penentukuran disimpan; bagaimana masa disegerakkan; dan bagaimana log medan boleh dimainkan semula. Jika algoritma menukar peristiwa kepada bingkai terkumpul, tetingkap pengumpulan menjadi pertukaran kependaman-berbanding-maklumat yang eksplisit.
Di mana visi berasaskan peristiwa berguna
Aplikasi penglihatan berasaskan peristiwa biasa termasuk penjejakan sasaran berkelajuan tinggi, manipulasi robotik, aliran optik, analisis getaran atau gerakan, pemeriksaan industri pantas dan persepsi autonomi dalam adegan dengan perubahan kecerahan yang besar. Kes penggunaan terkuat biasanya yang struktur temporal halus secara langsung meningkatkan keputusan dan bukannya menggantikan kamera konvensional.
Visi berasaskan peristiwa untuk platform pertahanan dan autonomi
Dalam sistem pertahanan, keselamatan dan autonomi, penderiaan peristiwa boleh relevan untuk isyarat gerakan pantas, eksperimen penjejakan, muatan optik kependaman rendah dan penyelidikan gabungan sensor. Sistem ini masih perlu memenuhi keperluan platform seperti penyegerakan, antara muka deterministik, reka bentuk persekitaran, rakaman, keselamatan siber dan pengesahan. Penderiaan peristiwa ialah satu komponen rantaian misi, bukan penyelesaian persepsi lengkap dengan sendirinya.
Apabila seni bina kamera hibrid adalah lebih baik
Banyak sistem praktikal mendapat manfaat daripada menggabungkan modaliti. Bingkai boleh memberikan konteks semantik dan imejan yang boleh dibaca manusia manakala peristiwa menyumbang perincian temporal. Penderia terma, inersia atau julat boleh menambah keteguhan. Fusion amat berguna apabila aplikasi memerlukan kedua-dua "apa itu?" dan "bila tepat dan bagaimana ia bergerak?"
Untuk sistem hibrid, masa berkongsi adalah penting. Pencetus perkakasan, domain cap masa dan penentukuran harus dipertimbangkan sebelum algoritma dimuktamadkan.
Seni bina rujukan visi berasaskan peristiwa praktikal
Sistem rujukan boleh meletakkan kerja penapisan deterministik dan cap masa dalam FPGA, inferens AI pada NPU atau pemecut, perkhidmatan aplikasi pada MPU dan penyeliaan pada MCU atau teras masa nyata. Pembahagian yang betul bergantung pada kadar peristiwa, seni bina model, lebar jalur memori dan antara muka luaran. kami Panduan AI FPGA lwn NPU lwn MPU edge menerangkan pembahagian ini dengan lebih terperinci.
Senarai semak pemilihan
- Tentukan kependaman penderia-ke-keputusan maksimum yang boleh diterima.
- Ukur kelajuan pergerakan yang dijangkakan, julat pencahayaan dan aktiviti kejadian terburuk.
- Tentukan sama ada keamatan imej mutlak, warna atau video boleh dibaca manusia diperlukan.
- Anggarkan lebar jalur dan pergerakan memori untuk kedua-dua adegan biasa dan kes terburuk.
- Sahkan algoritma, set data dan kematangan SDK penglihatan berasaskan peristiwa.
- Rancang penyegerakan dengan sumber pencetus bingkai, haba, inersia atau luaran.
- Tanda aras saluran paip yang lengkap sebelum membekukan reka bentuk pengiraan, pembawa dan terma.
Pilih sekitar pemerhatian yang diperlukan oleh aplikasi
| Soalan permohonan | Pendekatan untuk menilai dahulu | Apa yang hendak diuji |
|---|---|---|
| Adakah label atau warna yang dicetak betul? | Pengimejan berasaskan bingkai | Resolusi, pencahayaan, pendedahan dan ketepatan pemeriksaan |
| Bilakah tepi objek yang bergerak pantas melintasi sesuatu kawasan? | Penderiaan berasaskan peristiwa | Kualiti masa, aktiviti adegan, peristiwa palsu dan kelewatan output lengkap |
| Apakah objek yang ada, dan sejauh manakah ia bergerak? | Rangka hibrid dan saluran paip peristiwa | Penentukuran, masa dikongsi, perwakilan dan faedah gabungan |
| Adakah sistem akan berfungsi dengan menukar cahaya atau getaran? | Kedua-dua calon di bawah syarat wakil yang sama | Ketepatan aplikasi, kadar peristiwa atau kualiti bingkai dan penggunaan sumber |
Gunakan tugas dan adegan yang sama apabila membandingkan calon. Visualisasi yang tajam bukanlah hasil pengesanan dan kiraan peristiwa yang tinggi bukanlah bukti maklumat yang berguna. Setuju metrik output sebelum merekodkan perbandingan.
Cara praktikal untuk membina belanjawan kependaman
Pada 60 bingkai sesaat, selang bingkai adalah lebih kurang 16.7 ms. Di bawah model yang dipermudahkan di mana perubahan pemandangan berlaku secara seragam antara sampel serta-merta, purata menunggu untuk sampel seterusnya ialah kira-kira 8.3 ms. Pendedahan, bacaan, pengangkutan dan pemprosesan adalah kesan tambahan. Aritmetik ini menerangkan selang persampelan; ia bukan kependaman kamera yang diukur.
Saluran paip peristiwa juga mempunyai pilihan reka bentuk yang menambah kelewatan. Jika aplikasi menunggu tetingkap peristiwa 5 ms ditutup sebelum diproses, peristiwa berhampiran permulaan tetingkap itu boleh menunggu hampir 5 ms pada peringkat itu sahaja. Cap masa sensor yang baik tidak mengalih keluar pilihan penimbalan itu. Gunakan contoh ini untuk mengenal pasti peringkat yang patut diukur, bukan untuk menuntut kelebihan tetap untuk mana-mana penderia.
| Sempadan | Rangka saluran paip | Saluran paip peristiwa |
|---|---|---|
| Pemerhatian | Pendedahan dan masa sampel | Tindak balas perubahan kecerahan dan penjanaan cap masa |
| Pengangkutan | Pembacaan, pautan dan penimbal hos | Pengekodan peristiwa, pautan dan penimbal penyahkod |
| Persediaan | Penukaran imej, ubah saiz dan penyediaan tensor | Penapisan, tingkap masa dan pembinaan perwakilan |
| Keputusan | Algoritma dan penjadualan output | Algoritma dan penjadualan output |
Ukur umur output dengan hubungan yang sah antara jam cerapan dan jam hasil. Cap masa perisian pada penghujung panggilan yang dibaca kamera tidak semestinya mewakili masa pendedahan. Begitu juga, cap masa peristiwa yang tepat boleh dimiliki oleh jam yang belum sejajar dengan hos.
Reka bentuk perbandingan yang boleh dihasilkan semula oleh jurutera lain
- Tentukan tugas, gerakan sasaran, julat pencahayaan dan output yang diperlukan sebelum memilih tetapan.
- Optik dokumen, medan pandangan, tetapan penderia, versi perisian dan penentukuran.
- Rakam keadaan yang mewakili, termasuk adegan sukar seperti kelipan atau getaran jika berkaitan.
- Nilaikan ketepatan tugas, kelewatan output, kadar data dan beban pemprosesan yang berterusan bersama-sama.
- Simpan rakaman dan fail konfigurasi supaya perubahan algoritma boleh dibandingkan pada input yang sama.
Untuk peringkat pelaksanaan, kami perisian kamera peristiwa dan panduan SDK meliputi perwakilan data, rakaman dan penggunaan. Gunakan panduan penyegerakan masa apabila menggabungkan modaliti.
Kamera manakah yang patut anda nilai untuk pemeriksaan kualiti?
Mulakan dengan kecacatan yang perlu anda perhatikan. Komponen yang hilang, label bercetak atau tanda permukaan mungkin sangat sesuai untuk pengimejan bingkai konvensional dengan optik dan pencahayaan terkawal. Apabila isyarat penting ialah gerakan pantas atau masa perubahan yang tepat, nilaikan penderiaan peristiwa terhadap tugas yang sama.
Tuliskan ciri relevan terkecil, kelajuan objek, medan pandangan, variasi pencahayaan dan masa keputusan yang tersedia. Kekalkan variasi pengeluaran biasa dalam penilaian: kumpulan berbeza, anjakan, kemasan permukaan dan kedudukan bahagian. Bandingkan kecacatan yang terlepas dan penolakan palsu serta kelajuan pemprosesan.
Penderiaan peristiwa adalah calon untuk diuji, bukan keperluan untuk setiap sistem pemeriksaan. Lihat kami visi industri dan penyelesaian kawalan kualiti untuk integrasi kamera-ke-mesin dan perancangan perintis.
Soalan Lazim visi berasaskan peristiwa
Apakah visi berasaskan peristiwa?
Penglihatan berasaskan peristiwa ialah pendekatan penderiaan di mana piksel melaporkan perubahan kecerahan setempat secara tidak segerak dan bukannya menunggu bingkai imej yang lengkap. Setiap peristiwa lazimnya membawa koordinat piksel, kekutuban dan cap masa, membolehkan maklumat berkaitan gerakan mencapai saluran paip pemprosesan dengan resolusi temporal yang halus.
Apakah perbezaan antara penglihatan berasaskan peristiwa dan penglihatan berasaskan bingkai?
Penglihatan berasaskan bingkai menangkap imej lengkap pada selang masa tetap, manakala penglihatan berasaskan peristiwa melaporkan perubahan apabila ia berlaku. Kamera bingkai menyediakan konteks spatial dan warna yang padat; penderia peristiwa boleh mengurangkan data adegan statik yang berlebihan dan memperbaik pemasaan untuk gerakan pantas. Seni bina terbaik bergantung pada tugas, pencahayaan, susunan perisian dan kependaman keputusan yang diperlukan.
Apakah perisian atau SDK yang diperlukan untuk penglihatan berasaskan peristiwa?
Perisian penglihatan berasaskan peristiwa mesti mengendalikan strim peristiwa tak segerak dan bukannya tensor imej konvensional sahaja. SDK praktikal harus menyokong konfigurasi sensor, penapisan peristiwa, pengendalian cap masa, visualisasi, rakaman, main balik, penentukuran, penyegerakan dan penukaran kepada perwakilan yang diperlukan oleh penjejakan atau saluran paip rangkaian saraf.
Di manakah visi berasaskan peristiwa digunakan?
Aplikasi penglihatan berasaskan peristiwa biasa termasuk robotik berkelajuan tinggi, penjejakan gerakan, sistem autonomi, pemantauan dan penderiaan industri di mana perubahan adegan pantas atau pencahayaan yang sukar menjadikan masa penting. Ia juga boleh melengkapkan kamera konvensional dalam sistem persepsi hibrid.
Bagaimanakah visi berasaskan peristiwa boleh digunakan dalam platform pertahanan?
Untuk platform pertahanan dan autonomi, penderia peristiwa boleh menyokong isyarat gerakan kependaman rendah, penjejakan dan persepsi di bawah julat dinamik tinggi atau gerakan pantas. Sistem yang boleh digunakan masih memerlukan cap masa yang menentukan, antara muka lasak, gabungan sensor yang disegerakkan, perisian yang disahkan dan pengukuran berhati-hati bagi kadar kejadian kes terburuk.
Adakah penderia imej berasaskan peristiwa sentiasa lebih rendah lebar jalur?
Tidak. Adegan statik mungkin menjana sedikit data, tetapi getaran, kelipan atau gerakan bertekstur tinggi boleh mencipta aliran peristiwa yang padat. Oleh itu, reka bentuk antara muka dan ingatan harus menggunakan kadar peristiwa terburuk yang diukur dan bukannya menganggap penderiaan peristiwa sentiasa lebar jalur yang rendah.
Rujukan teknikal
- Gallego et al.: Visi berasaskan peristiwa — Satu Tinjauan
- Prophesee: penstriman peristiwa dan akses mengikut tetingkap masa
Contoh masa adalah pengiraan ilustrasi. Kependaman peringkat produk dan tuntutan pengesanan memerlukan pengukuran pelaksanaan lengkap.
Nilaikan visi berasaskan peristiwa pada gelung keputusan sebenar anda.
Kongsi sasaran, profil gerakan, antara muka, persekitaran dan kuantiti perintis. Kami boleh memetakan keperluan ke dalam penderia, FPGA dan seni bina pengiraan tempatan.