Voqealarga asoslangan ko'rish dasturi: SDK, ma'lumotlar formatlari va integratsiya

Voqealarga asoslangan ko'rish dasturi nima qiladi?

Hodisa kamerasi har bir intervalda an'anaviy video kadrni taqdim etishdan ko'ra, yorqinlikdagi o'zgarishlar haqida xabar beradi. Dekodlangan hodisa odatda piksel, qutb va vaqt tamg'asini aniqlaydi. Sizning arizangiz ushbu maydonlarning ma'nosini olish, filtrlash, yozib olish va xulosa chiqarish orqali saqlab qolishi kerak. The hodisaga asoslangan va ramkaga asoslangan taqqoslash bu ma'lumotlar modeli qachon foydali ekanligini tushuntiradi.

Dizaynda uchta formatni ajratib ko'rsatish: sensor yoki transport kodlash, dasturiy ta'minot tomonidan ishlatiladigan dekodlangan hodisa tasviri va algoritmga o'tgan tasvir. Xom sensor paketlarini o'z ichiga olgan fayl, dekodlangan voqealar qatori va to'plangan tasvir turli maqsadlarga xizmat qiladi. Ular o'rtasida konvertatsiya qilish xotiradan foydalanishni, ishlov berish narxini va quyi oqimda mavjud bo'lgan vaqt ma'lumotlarini o'zgartirishi mumkin.

Hodisa kamerasini qanday baholash mumkin SDK

Aniq sensor, kamera proshivka va xost platformasidan boshlang. Ish stoli namoyishi oʻrnatilgan Linux tasvirni, ARM protsessorini yoki ishlab chiqarish litsenziyangizni qoʻllab-quvvatlamaydi. Yetkazib beruvchidan qo'llab-quvvatlanadigan operatsion tizimlar, protsessor arxitekturalari, qayta taqsimlash shartlari va kamera interfeysi talablarini so'rang. Hisoblash moduli uchun tashuvchi elektron platani ulashdan oldin dasturni mo'ljallangan platformada tekshiring.

• Sotib olish: qurilmani topish, konfiguratsiya, dekodlash va xatolar haqida hisobot.
• Vaqt: vaqt tamg'asining kelib chiqishi, ag'darish bilan ishlash, tashqi triggerlar va ko'p qurilmalarni moslashtirish.
• Qayta ishlab chiqarish qobiliyati: yozuvlar, konfiguratsiya eksporti va aniqlangan dasturiy ta'minot versiyasi.
• Joylashtirish: boshsiz operatsiya, qo'llab-quvvatlanadigan ikkilik fayllar, qayta ishga tushirish harakati va litsenziya shartlari.
• Kuzatish qobiliyati: hodisalar soni, navbat chuqurligi, tushirilgan ma'lumotlar va xost resurslaridan foydalanish.

Aniq vaqt chegaralari bilan quvur liniyasini qurish

Sotib olishni qimmat vizualizatsiya, disk yozish va model xulosasidan alohida saqlang. Aks holda, sekin iste'molchi algoritm boshlanishidan oldin yangi ma'lumotlarni kechiktirishi mumkin. Cheklangan navbat va aniq ortiqcha yuk siyosatini aniqlang. Eng qadimgi oynani tashlab qo'yish, qiziqish mintaqasini kamaytirish va xato bilan to'xtash turli oqibatlarga olib keladi; ilovaga mos keladigan xatti-harakatni tanlang va bu sodir bo'lganda yozib oling.

Kuzatishlar sodir bo'lgan vaqtni tasvirlash uchun sensor vaqt belgilaridan va ishlov berish vaqtlarini o'lchash uchun monotonik xost soatlaridan foydalaning. Bir-biriga bog'liq bo'lmagan soatlardan vaqt belgilarini ayirish yaroqli kechikish hosil qilmaydi. Agar kamerani IMU yoki an'anaviy kamera bilan birlashtirish kerak bo'lsa, bizning maqolamizda tasvirlangan soat munosabati va kalibrlash jarayonini o'rnating. sensor-fusion sinxronlash qo'llanmasi.

Kichik ro'yxatga olish-tekshirish misoli

Quyidagi Python misoli qo'llab-quvvatlanadigan yozuvdagi dekodlangan voqealarni hisoblaydi va ularning vaqt belgilarining oralig'i haqida xabar beradi. U hujjatlashtirilgan Metavision translatsiyasidan API foydalanadi va mos keladigan SDK oʻrnatish va yozib olishni talab qiladi. Bu ALVEXIS kamera mezonlari yoki detektori emas, balki tekshirish misolidir.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

Vaqt tamg'asi oralig'i birinchi va oxirgi kuzatilgan hodisani qamrab oladi; u fayl davomiyligini, sotib olish kechikishini yoki qayta ishlash tezligini o'lchamaydi. Bo'sh vaqtlar va soatni qayta o'rnatish ishlab chiqarishda alohida ishlov berishni talab qiladi. Ikkinchi muhandis talqinni takrorlashi uchun qurilma konfiguratsiyasi va qayd metamaʼlumotlarini fayl bilan birga saqlang.

Sokin sahnalarni, band sahnalarni va muvaffaqiyatsizlikni tiklashni tasdiqlang

Statsionar sahnani, reprezentativ harakatni va ataylab talab qilinadigan sahnani sinab ko'ring. Miltillash, kamera tebranishi va teksturali harakat juda boshqacha hodisa tezligini yaratishi mumkin. Oddiy xatti-harakatlarni ham, siz kuzatgan eng yomon holatni ham yozib oling. Saqlash va aloqa faolligi bilan takrorlang, chunki bu ish yuklari xotira va CPU vaqti uchun raqobatlashadi.

Algoritm neyron tarmoqdan foydalanganda, tezlatgichni tanlashdan oldin hosil bo'lgan tensor va qo'llab-quvvatlanadigan operatorlarni tekshiring. Hodisa kamerasi avtomatik ravishda NPU talab qilmaydi va NPU hodisa oqimini avtomatik ravishda qabul qilmaydi. Bizning FPGA, NPU va MPU arxitektura qoʻllanmasi sotib olish, oldindan ishlov berish, xulosa chiqarish va qo'llash xizmatlarini ajratadi.

Dasturiy ta'minot to'plamini tanlashdan oldin savollar

Oddiy kompyuter ko'rish modelidan foydalana olamanmi?

Faqatgina mos keladigan kirish tasvirini aniqlagandan va uning xatti-harakatini tasdiqlaganidan keyin. Tasvirlarga hodisalarni to'plash tasvirni qayta ishlash bosqichidan qayta foydalanishga imkon berishi mumkin, lekin ma'lumotlar taqsimotini o'zgartiradi va vaqt oynasini qo'shadi. To'liq arizani vakillik ma'lumotlari bo'yicha baholang.

Ishlayotgan noutbuk demosi o'rnatilgan muvofiqlikni tasdiqlaydimi?

Yo‘q. CPU arxitekturasini, operatsion tizimni, sensor interfeysini, drayverini, SDK litsenziyasini va haqiqiy maqsadli platformaning doimiy resurslardan foydalanishini tasdiqlang.

Integratsiya muhokamasi uchun nima yuborishim kerak?

Kamera yoki sensor ma'lumotnomasini, namunali yozuvni, mo'ljallangan chiqishni, qabul qilinadigan kechikishni, xost platformasini, interfeysni va joylashtirish muhitini yuboring. Ushbu ma'lumotlar munozarani birinchi integratsiya xatarlarini aniqlash uchun etarlicha aniq qiladi.

Kompyuter ko'rish quvuridagi neyromorfik ko'rish

Hodisa kameralari ko'pincha neyromorfik ko'rish ostida muhokama qilinadi, chunki ularning chiqish yozuvlari to'liq tasvirlarning qat'iy ketma-ketligi emas, balki alohida piksellarda o'zgaradi. Ushbu ma'lumotlar taqdimoti avtomatik ravishda ob'ektni aniqlash yoki neyron tarmoq natijasini ta'minlamaydi. Dasturiy ta'minot hali ham belgilangan vazifaga, mos keladigan algoritmga va o'lchanadigan qabul mezonlariga muhtoj.

Kadrga yo'naltirilgan kompyuter ko'rish vositalari bilan integratsiyalashganda, voqea oqimi vaqt oynasi tasviriga yoki boshqa tasvirga aylantirilishi mumkin. Vazifa nozik vaqtinchalik ma'lumotlarga bog'liq bo'lsa, asl vaqt belgilarini saqlang. To'liq konvertatsiya qilish va qayta ishlash quvurini baholash; jozibali qayta tiklangan tasvirning o'zi yakuniy dasturning aniqligi yoki kechikishini belgilamaydi.

Sensor ma'lumotlarini birlashtirishdan oldin vaqtni rejalashtiring