Čo je rámcové videnie?
Snímkové videnie zachytáva scénu ako úplné obrázky v pravidelných intervaloch, napríklad 30, 60 alebo 120 snímok za sekundu. Každý snímok obsahuje hustú priestorovú informáciu, vďaka ktorej sú konvenčné kamery prirodzene vhodné na rozpoznávanie objektov, analýzu farieb, inšpekciu, mapovanie a rozsiahly softvérový ekosystém založený na tenzoroch obrazu.
Kompromisom je, že každý snímok posúva celý obraz v potrubí, či už sa scéna zmenila alebo nie. Pre rýchlu rozhodovaciu slučku prispievajú ku koncovej latencii expozičný čas, snímková perióda, odčítanie snímača, transport, konverzia obrazu a odvodenie. Vysoká snímková frekvencia znižuje vzorkovací interval, ale zvyčajne zvyšuje šírku pásma, prevádzku pamäte, výkon a tepelné zaťaženie.
Čo je to vízia založená na udalostiach?
Videnie založené na udalostiach využíva obrazový snímač založený na udalostiach, ktorého pixely reagujú asynchrónne na zmeny jasu. Namiesto poskytovania pravouhlého obrazu s pevnou kadenciou snímač vytvára prúd obsahujúci súradnice pixelov, polaritu a presné časové značky. Statické oblasti preto generujú málo alebo žiadne údaje, zatiaľ čo pohyb hrán môže produkovať udalosti s veľmi jemným časovým rozlíšením.
Táto reprezentácia je užitočná, keď je načasovanie pohybu dôležitejšie ako opakovaný príjem celého obrazu. Môže podporovať sledovanie s nízkou latenciou, vysokorýchlostnú robotiku a náročné svetelné prechody, ale tok udalostí nie je normálna fotografia. Algoritmy, vizualizačné, nahrávacie a validačné nástroje musia byť navrhnuté okolo dátového modelu.
Ako obrazový snímač založený na udalostiach mení cestu údajov
Užitočný referenčný systém odhaľuje celú cestu od získania snímača cez filtrovanie a spracovanie až po výstup aplikácie. Vybavte tieto hranice tak, aby sa nároky na latenciu a rýchlosť prenosu dát mohli vyhodnotiť od začiatku do konca.
Kľúčovým architektonickým rozdielom nie je jednoducho „rýchlejší fotoaparát oproti pomalšiemu fotoaparátu“. Konvenčný systém videnia často začína s plnou vyrovnávacou pamäťou obrazu. Potrubie založené na udalostiach môže začať spracovávať jednotlivé udalosti alebo malé okná udalostí hneď po ich príchode. To umožňuje, aby filtrovanie, zarovnanie časových pečiatok, logika záujmovej oblasti a funkcie pohybu prebiehali v blízkosti snímača bez čakania na úplný záber.
Údaje o udalostiach však môžu byť husté v scénach s vysokou textúrou alebo pri vibráciách a blikaní. Návrh systému by preto mal merať frekvenciu udalostí v najhoršom prípade, využitie rozhrania a šírku pásma pamäte, a nie predpokladať, že snímanie udalostí vždy znamená nízku šírku pásma.
Vízia založená na udalostiach verzus vízia založená na rámcoch
| Rozmer | Rámová vízia | Vízia založená na udalostiach |
|---|---|---|
| Výstup snímača | Husté obrázky v pevných intervaloch | Asynchrónne udalosti zmeny jasu |
| Informácie o čase | Obmedzené expozíciou a kadenciou snímky | Jemné časové pečiatky spojené s jednotlivými udalosťami |
| Údaje o statickej scéne | Kompletné rámy naďalej prichádzajú | Malá aktivita z nezmenených regiónov |
| Priestorový / farebný kontext | Silný; absolútna intenzita obrazu a zobrazenie zrelých farieb | nepriame; tok udalostí opisuje skôr zmeny ako konvenčný obraz |
| Vysokorýchlostný pohyb | Vyžaduje primeranú expozíciu a snímkovú frekvenciu | Dobre sa hodí na rýchle časové zmeny |
| Softvérový ekosystém | Veľmi vyspelý životopis a nástroje na hlboké učenie | Špecializovanejšie algoritmy, reprezentácie a súbory údajov |
| Najlepšie sedí | Všeobecné zobrazovanie, rozpoznávanie, textúra a človekom čitateľný obraz | Rýchla dynamika, časové funkcie a vnímanie pohybu s nízkou latenciou |
Latencia: merajte senzor až po rozhodnutie, nie jednu zložku
Kamery udalostí sa často vyberajú na vnímanie s nízkou latenciou, ale rozlíšenie časovej značky snímača nie je rovnaké ako latencia aplikácie. Užitočnou inžinierskou metrikou je čas od zmeny v reálnom svete po rozhodnutie, ktoré sa objaví na rozhraní systému. Táto cesta zahŕňa odozvu senzora, transport, ukladanie do vyrovnávacej pamäte, predbežné spracovanie, odvodenie alebo sledovanie, plánovanie softvéru a výstupnú komunikáciu.
Rovnaké pravidlo platí pre rámovú kameru. Dobre navrhnutý kanál s vysokou snímkovou rýchlosťou s priamymi pamäťovými cestami môže prekonať zle integrovaný kanál udalostí. Architektúra by sa preto mala porovnávať s reprezentatívnym pohybom, osvetlením a algoritmami.
Softvér na videnie založený na udalostiach a úvahy o SDK
Zásobník softvéru na videnie založený na udalostiach zvyčajne vyžaduje konfiguráciu zariadenia, dekódovanie udalostí, spracovanie časových značiek, filtrovanie, vizualizáciu, nahrávanie a prehrávanie. Užitočné videnie SDK založené na udalostiach by tiež malo uľahčovať synchronizáciu externých spúšťačov a iných senzorov, kontrolovať frekvenciu udalostí a reprodukovať zachytenú sekvenciu počas vývoja algoritmu.
V prípade produkčných systémov musí softvér presahovať rámec stolného počítača SDK. Tímy by mali definovať, ako sa udalosti presúvajú do prostriedkov FPGA, MCU, MPU alebo NPU; ako je uložená kalibrácia; ako sa synchronizuje čas; a ako je možné prehrávať záznamy z poľa. Ak algoritmus konvertuje udalosti na akumulované snímky, okno akumulácie sa stane explicitným kompromisom medzi latenciou a informáciami.
Kde je užitočná vízia založená na udalostiach
Typické aplikácie videnia založené na udalostiach zahŕňajú vysokorýchlostné sledovanie cieľa, robotickú manipuláciu, analýzu optického toku, vibrácií alebo pohybu, rýchlu priemyselnú kontrolu a autonómne vnímanie v scénach s veľkými zmenami jasu. Najsilnejšie prípady použitia sú zvyčajne tie, kde jemná časová štruktúra priamo zlepšuje rozhodnutie a nie iba nahrádza bežnú kameru.
Vízia založená na udalostiach pre obranné a autonómne platformy
V obranných, bezpečnostných a autonómnych systémoch môže byť snímanie udalostí relevantné pre podnety rýchleho pohybu, sledovacie experimenty, optické užitočné zaťaženie s nízkou latenciou a výskum fúzie senzorov. Systém stále musí spĺňať požiadavky platformy, ako je synchronizácia, deterministické rozhrania, environmentálny dizajn, nahrávanie, kybernetická bezpečnosť a validácia. Snímanie udalostí je jednou zložkou reťazca misií, nie samotným úplným riešením vnímania.
Keď je architektúra hybridného fotoaparátu lepšia
Mnohé praktické systémy ťažia z kombinovania spôsobov. Rámy môžu poskytnúť sémantický kontext a ľuďom čitateľné snímky, zatiaľ čo udalosti prispievajú k časovým detailom. Tepelné, inerciálne alebo rozsahové senzory môžu pridať robustnosť. Fusion je užitočný najmä vtedy, keď aplikácia potrebuje aj „čo to je?“ a "kedy a ako presne sa to pohlo?"
Pre hybridné systémy je spoločný čas nevyhnutný. Pred dokončením algoritmov by sa mali zvážiť hardvérové spúšťače, domény časových pečiatok a kalibrácia.
Praktická architektúra vízie založená na udalostiach
Referenčný systém môže umiestniť deterministické filtrovanie a prácu s časovou pečiatkou do FPGA, odvodenie AI do NPU alebo akcelerátora, aplikačné služby do MPU a dohľad na MCU alebo jadro v reálnom čase. Správny oddiel závisí od frekvencie udalostí, architektúry modelu, šírky pásma pamäte a externých rozhraní. náš FPGA vs NPU vs MPU okraj AI sprievodca vysvetľuje toto rozdelenie podrobnejšie.
Kontrolný zoznam výberu
- Definujte maximálnu prijateľnú latenciu medzi senzorom a rozhodnutím.
- Zmerajte očakávanú rýchlosť pohybu, dosah osvetlenia a aktivitu scény v najhoršom prípade.
- Rozhodnite sa, či je potrebná absolútna intenzita obrazu, farba alebo ľudsky čitateľné video.
- Odhadnite šírku pásma a pohyb pamäte pre typické aj najhoršie prípady.
- Potvrdenie zrelosti algoritmu, súboru údajov a videnia založeného na udalostiach SDK.
- Synchronizácia plánu s rámovým, tepelným, inerciálnym alebo externým zdrojom spúšťania.
- Porovnajte kompletné potrubie pred zmrazením výpočtu, nosiča a tepelného návrhu.
Vyberte si pozorovanie, ktoré aplikácia potrebuje
| Aplikačná otázka | Najprv pristupujte k hodnoteniu | Čo testovať |
|---|---|---|
| Je vytlačený štítok alebo farba správna? | Zobrazovanie na základe snímok | Rozlíšenie, osvetlenie, expozícia a presnosť kontroly |
| Kedy rýchlo sa pohybujúca hrana prekročila región? | Snímanie založené na udalostiach | Kvalita načasovania, aktivita scény, falošné udalosti a úplné oneskorenie výstupu |
| Aký objekt je prítomný a ako presne sa pohybuje? | Hybridný rámec a kanál udalostí | Kalibrácia, zdieľaný čas, reprezentácia a prínos fúzie |
| Bude systém fungovať s meniacim sa svetlom alebo vibráciami? | Obaja kandidáti za rovnakých reprezentatívnych podmienok | Presnosť aplikácie, frekvencia udalostí alebo kvalita snímok a využitie zdrojov |
Pri porovnávaní kandidátov použite rovnakú úlohu a scénu. Ostrá vizualizácia sama osebe nie je výsledkom detekcie a vysoký počet udalostí nie je dôkazom užitočných informácií. Pred zaznamenaním porovnania odsúhlaste výstupnú metriku.
Praktický spôsob, ako zostaviť rozpočet latencie
Pri 60 snímkach za sekundu je interval snímok približne 16.7 ms. V zjednodušenom modeli, v ktorom k zmene scény dochádza rovnomerne medzi okamžitými vzorkami, je priemerné čakanie na ďalšiu vzorku približne 8.3 ms. Expozícia, odčítanie, transport a spracovanie sú ďalšie efekty. Táto aritmetika popisuje interval vzorkovania; nejde o nameranú latenciu fotoaparátu.
Priebeh udalostí má tiež možnosti dizajnu, ktoré pridávajú oneskorenie. Ak aplikácia pred spracovaním čaká na zatvorenie okna udalosti 5 ms, udalosť v blízkosti začiatku tohto okna môže čakať takmer 5 ms len v tejto fáze. Jemné časové pečiatky snímača túto voľbu ukladania do vyrovnávacej pamäte neodstraňujú. Použite tieto príklady na identifikáciu fáz, ktoré sa oplatí merať, nie na získanie pevnej výhody pre ktorýkoľvek zo senzorov.
| Hranica | Rámové potrubie | Priebeh udalostí |
|---|---|---|
| Pozorovanie | Načasovanie expozície a vzorky | Odozva na zmenu jasu a generovanie časovej značky |
| Doprava | Čítacie, linkové a hostiteľské vyrovnávacie pamäte | Kódovanie udalostí, vyrovnávacie pamäte odkazov a dekodéra |
| Príprava | Konverzia obrazu, zmena veľkosti a príprava tenzora | Filtrovanie, časové okná a konštrukcia reprezentácie |
| rozhodnutie | Algoritmus a plánovanie výstupov | Algoritmus a plánovanie výstupov |
Zmerajte výstupný vek s platným vzťahom medzi pozorovacími hodinami a výslednými hodinami. Časová pečiatka softvéru na konci hovoru načítaného kamerou nemusí nevyhnutne predstavovať čas expozície. Podobne presná časová pečiatka udalosti môže patriť k hodinám, ktoré ešte nie sú zarovnané s hostiteľom.
Navrhnite porovnanie, ktoré môže reprodukovať iný inžinier
- Pred výberom nastavení definujte úlohu, cieľový pohyb, dosah osvetlenia a požadovaný výstup.
- Optika dokumentu, zorné pole, nastavenia snímača, verzie softvéru a kalibrácia.
- Zaznamenajte reprezentatívne podmienky vrátane zložitých scén, ako je blikanie alebo vibrácie, ak je to relevantné.
- Spoločne vyhodnoťte presnosť úlohy, výstupné oneskorenie, rýchlosť prenosu dát a trvalé zaťaženie spracovania.
- Uchovávajte záznamy a konfiguračné súbory, aby bolo možné porovnať zmeny algoritmov na rovnakých vstupoch.
Pre fázu implementácie náš softvér udalosti kamery a sprievodca SDK pokrýva reprezentáciu údajov, záznam a nasadenie. Použite sprievodca synchronizáciou času pri kombinovaní modalít.
Ktorú kameru by ste mali hodnotiť pri kontrole kvality?
Začnite s defektom, ktorý musíte pozorovať. Chýbajúci komponent, vytlačený štítok alebo povrchová značka môžu byť vhodné pre konvenčné rámové zobrazovanie s riadenou optikou a osvetlením. Keď je dôležitým signálom rýchly pohyb alebo presné načasovanie zmeny, vyhodnoťte snímanie udalostí v porovnaní s rovnakou úlohou.
Zapíšte si najmenší relevantný prvok, rýchlosť objektu, zorné pole, variácie osvetlenia a dostupný čas rozhodovania. Pri hodnotení ponechajte bežné výrobné odchýlky: rôzne šarže, zmeny, povrchové úpravy a polohy dielov. Porovnajte zmeškané chyby a falošné odmietnutia, ako aj rýchlosť spracovania.
Snímanie udalostí je kandidát na testovanie, nie požiadavka pre každý inšpekčný systém. Pozrite si naše priemyselné vízie a riešenie kontroly kvality pre integráciu medzi kamerami a strojmi a plánovanie pilotný projekt.
Časté otázky o videní založenom na udalostiach
Čo je to vízia založená na udalostiach?
Vízia založená na udalostiach je snímací prístup, pri ktorom pixely hlásia lokálne zmeny jasu asynchrónne namiesto čakania na úplný záber. Každá udalosť zvyčajne nesie súradnice pixelov, polaritu a časovú značku, čo umožňuje, aby sa informácie súvisiace s pohybom dostali do procesu spracovania s jemným časovým rozlíšením.
Aký je rozdiel medzi víziou založenou na udalostiach a víziou založenou na rámcoch?
Rámcové videnie zachytáva kompletné obrazy v pevných intervaloch, zatiaľ čo videnie založené na udalostiach hlási zmeny, keď k nim dôjde. Frame kamery poskytujú hustý priestorový a farebný kontext; snímače udalostí môžu znížiť nadbytočné údaje zo statickej scény a zlepšiť načasovanie pre rýchly pohyb. Najlepšia architektúra závisí od úlohy, osvetlenia, balíka softvéru a požadovanej latencie rozhodovania.
Aký softvér alebo SDK je potrebný pre videnie založené na udalostiach?
Softvér na videnie založený na udalostiach musí spracovať asynchrónne toky udalostí, a nie iba konvenčné tenzory obrazu. Praktický SDK by mal podporovať konfiguráciu senzorov, filtrovanie udalostí, manipuláciu s časovými značkami, vizualizáciu, nahrávanie, prehrávanie, kalibráciu, synchronizáciu a konverziu na reprezentácie vyžadované sledovaním alebo potrubím neurónovej siete.
Kde sa používa videnie založené na udalostiach?
Typické aplikácie videnia založené na udalostiach zahŕňajú vysokorýchlostnú robotiku, sledovanie pohybu, autonómne systémy, priemyselné monitorovanie a snímanie tam, kde sú rýchle zmeny scény alebo zložité osvetlenie dôležité. Môže tiež dopĺňať bežné kamery v hybridných systémoch vnímania.
Ako možno využiť víziu založenú na udalostiach v obranných platformách?
Pre obranné a autonómne platformy môžu senzory udalostí podporovať pohybové podnety s nízkou latenciou, sledovanie a vnímanie pri vysokom dynamickom rozsahu alebo rýchlom pohybe. Nasaditeľný systém stále vyžaduje deterministické časové značky, robustné rozhrania, synchronizovaný fúzia údajov zo snímačov, overený softvér a starostlivé meranie miery najhorších udalostí.
Má obrazový snímač založený na udalostiach vždy nižšiu šírku pásma?
Nie. Statické scény môžu generovať málo údajov, ale vibrácie, blikanie alebo vysoko textúrovaný pohyb môžu vytvoriť husté prúdy udalostí. Dizajn rozhrania a pamäte by preto mal používať namerané frekvencie udalostí v najhoršom prípade namiesto predpokladu, že snímanie udalostí má vždy nízku šírku pásma.
strojové videnie, termálne zobrazovanie a kontrolná otázka
Počítačové videnie je široká oblasť získavania užitočných informácií z vizuálnych údajov. V priemyselnom zariadení strojové videnie musí systém poskytnúť aj opakovateľný výsledok kontroly pri obmedzeniach osvetlenia, pohybu a časovania linky. Vyberte si medzi snímaním na základe snímok a snímaním na základe udalostí testovaním funkcie defektu alebo pohybu, ktorú aplikácia skutočne potrebuje pozorovať.
termálne zobrazovanie pridáva iný rozmer merania: infračervené žiarenie súvisiace s povrchovou teplotou. Viditeľná kamera môže odhaliť montážne alebo povrchové chyby, zatiaľ čo termokamera odhaľuje teplotné vzorce. Tieto spôsoby sa môžu dopĺňať, ale ani jeden nezaručuje viditeľnosť každej chyby. Definujte zarovnanie, podmienky merania a rozhodovacie pravidlá pred ich spojením do inšpekčného systému.
Preskúmajte vizuálnu a tepelnú kontrolu kvality
Technické referencie
- Gallego a kol.: Vízia založená na udalostiach – prieskum
- Prophesee: streamovanie udalostí a prístup v okne
Príklady časovania sú ilustratívne výpočty. Nároky na latenciu a detekciu na úrovni produktu vyžadujú merania úplnej implementácie.
Vyhodnoťte víziu založenú na udalosti na vašej skutočnej rozhodovacej slučke.
Zdieľajte cieľ, profil pohybu, rozhrania, prostredie a množstvo pilotný projekt. Požiadavku môžeme namapovať na senzor, FPGA a lokálnu počítačovú architektúru.