Što je okvirna vizija?
Vizija temeljena na okvirima snima scenu kao cjelovite slike u redovitim intervalima, na primjer 30, 60 ili 120 sličica u sekundi. Svaki okvir sadrži guste prostorne informacije, što konvencionalne kamere čini prirodnim za prepoznavanje objekata, analizu boja, pregled, mapiranje i veliki softverski ekosustav izgrađen oko tenzora slike.
Kompromis je u tome što svaki okvir pomiče kompletnu sliku kroz cjevovod bez obzira mijenjala se scena ili ne. Za brzu petlju odlučivanja, vrijeme ekspozicije, period okvira, očitavanje senzora, transport, pretvorba slike i zaključivanje doprinose kašnjenju od kraja do kraja. Visoki broj sličica u sekundi smanjuje interval uzorkovanja, ali obično povećava propusnost, memorijski promet, snagu i toplinsko opterećenje.
Što je vizija temeljena na događajima?
Vizija temeljena na događajima koristi senzor slike temeljen na događajima čiji pikseli asinkrono reagiraju na promjene svjetline. Umjesto isporuke pravokutne slike pri fiksnoj kadenci, senzor proizvodi tok koji sadrži koordinate piksela, polaritet i precizne vremenske oznake. Statičke regije stoga generiraju malo ili nimalo podataka, dok pokretni rubovi mogu proizvesti događaje s vrlo finom vremenskom rezolucijom.
Ovaj prikaz je koristan kada je vrijeme kretanja važnije od ponovnog primanja potpune slike. Može podržati praćenje niske latencije, brzu robotiku i teške prijelaze osvjetljenja, ali tok događaja nije normalna fotografija. Algoritmi, alati za vizualizaciju, snimanje i provjeru valjanosti moraju biti dizajnirani oko podatkovnog modela.
Kako senzor slike temeljen na događajima mijenja put podataka
Koristan referentni sustav otkriva cijeli put od prikupljanja senzora preko filtriranja i obrade do izlaza aplikacije. Instrumentirajte te granice tako da se tvrdnje o kašnjenju i brzini podataka mogu procijeniti od kraja do kraja.
Ključna arhitektonska razlika nije samo "brža kamera u odnosu na sporiju kameru". Konvencionalni vizualni cjevovod često počinje punim međuspremnikom slike. Cjevovod temeljen na događajima može početi obrađivati pojedinačne događaje ili male prozore događaja čim stignu. To omogućuje filtriranje, usklađivanje vremenske oznake, logiku područja interesa i značajke kretanja koje rade blizu senzora bez čekanja na cijeli okvir.
Međutim, podaci o događajima mogu postati gusti u scenama s visokom teksturom ili pod vibracijama i treperenjem. Dizajn sustava bi stoga trebao mjeriti stopu događaja u najgorem slučaju, iskorištenost sučelja i propusnost memorije, umjesto da pretpostavlja da otkrivanje događaja uvijek znači nisku propusnost.
Vizija temeljena na događajima nasuprot viziji temeljenoj na okviru
| Dimenzija | Vizija temeljena na okvirima | Vizija temeljena na događajima |
|---|---|---|
| Izlaz senzora | Guste slike u fiksnim intervalima | Asinkroni događaji promjene svjetline |
| Informacije o vremenu | Ograničeno ekspozicijom i kadencom kadra | Fine vremenske oznake povezane s pojedinačnim događajima |
| Statički podaci o sceni | Kompletni okviri i dalje stižu | Mala aktivnost iz nepromijenjenih regija |
| Prostorni/bojni kontekst | Snažan; apsolutni intenzitet slike i zrela slika u boji | neizravno; tijek događaja opisuje promjene, a ne konvencionalnu sliku |
| Kretanje velikom brzinom | Zahtijeva odgovarajuću ekspoziciju i broj sličica u sekundi | Dobro prilagođen brzim vremenskim promjenama |
| Softverski ekosustav | Vrlo zreo CV i alat za dubinsko učenje | Više specijaliziranih algoritama, prikaza i skupova podataka |
| Najbolje odgovara | Opće slike, prepoznavanje, tekstura i slike čitljive ljudima | Brza dinamika, vremenske značajke i percepcija pokreta s niskom latencijom |
Latencija: mjerite od senzora do odluke, a ne jednu komponentu
Kamere za događaje često se odabiru za percepciju niske latencije, ali rezolucija vremenske oznake senzora nije isto što i latencija aplikacije. Korisna inženjerska metrika je vrijeme od promjene u stvarnom svijetu do odluke koja se pojavljuje na sučelju sustava. Taj put uključuje odgovor senzora, prijenos, spremanje u međuspremnik, pretprocesiranje, zaključivanje ili praćenje, softversko zakazivanje i izlaznu komunikaciju.
Isto pravilo vrijedi i za kameru s okvirom. Dobro dizajniran cjevovod visoke brzine kadrova s izravnim memorijskim stazama može nadmašiti loše integrirani cjevovod događaja. Arhitekturu bi stoga trebalo mjeriti reprezentativnim kretanjem, rasvjetom i algoritmima.
Softver za viziju temeljen na događajima i SDK razmatranja
Skup softvera za viziju temeljen na događajima obično zahtijeva konfiguraciju uređaja, dekodiranje događaja, rukovanje vremenskim oznakama, filtriranje, vizualizaciju, snimanje i reprodukciju. Korisna vizija temeljena na događajima SDK također bi trebala olakšati sinkronizaciju vanjskih okidača i drugih senzora, pregledati stope događaja i reproducirati snimljenu sekvencu tijekom razvoja algoritma.
Za proizvodne sustave, softver se mora proširiti izvan desktopa SDK. Timovi trebaju definirati kako se događaji premještaju u resurse FPGA, MCU, MPU ili NPU; kako se pohranjuje kalibracija; kako je vrijeme sinkronizirano; i kako se terenski dnevnici mogu reproducirati. Ako algoritam pretvara događaje u akumulirane okvire, prozor akumulacije postaje eksplicitni kompromis kašnjenja u odnosu na informacije.
Gdje je vizija utemeljena na događajima korisna
Tipične aplikacije vida temeljenog na događajima uključuju brzo praćenje cilja, robotsku manipulaciju, optički protok, analizu vibracija ili kretanja, brzu industrijsku inspekciju i autonomnu percepciju u scenama s velikim promjenama svjetline. Najjači slučajevi upotrebe obično su oni u kojima fina vremenska struktura izravno poboljšava odluku, a ne samo zamjenjuje konvencionalnu kameru.
Vizija obrane i autonomnih platformi temeljena na događajima
U obrambenim, sigurnosnim i autonomnim sustavima, detektiranje događaja može biti relevantno za brze znakove kretanja, eksperimente praćenja, optičke terete niske latencije i istraživanje fuzije senzora. Sustav još uvijek mora zadovoljiti zahtjeve platforme kao što su sinkronizacija, deterministička sučelja, dizajn okoliša, snimanje, kibernetička sigurnost i validacija. Osjećaj događaja jedna je komponenta lanca misije, a ne potpuno rješenje percepcije samo po sebi.
Kada je arhitektura hibridne kamere bolja
Mnogi praktični sustavi imaju koristi od kombiniranja modaliteta. Okviri mogu pružiti semantički kontekst i slike čitljive ljudima, dok događaji doprinose vremenskim detaljima. Toplinski, inercijski ili senzori za domet mogu dodati robusnost. Fusion je posebno koristan kada aplikacija treba i "što je to?" i "kada se točno i kako pomaknuo?"
Za hibridne sustave zajedničko vrijeme je bitno. Prije dovršetka algoritama treba razmotriti hardverske okidače, domene vremenskih oznaka i kalibraciju.
Praktična referentna arhitektura vizije temeljena na događajima
Referentni sustav može postaviti determinističko filtriranje i rad s vremenskom oznakom u FPGA, AI zaključivanje na NPU ili akcelerator, aplikacijske usluge na MPU, a nadzor na MCU ili jezgru u stvarnom vremenu. Ispravna particija ovisi o stopi događaja, arhitekturi modela, propusnosti memorije i vanjskim sučeljima. Naš FPGA vs NPU vs MPU rubni AI vodič detaljnije objašnjava ovu podjelu.
Kontrolna lista odabira
- Definirajte maksimalno prihvatljivo kašnjenje od senzora do odluke.
- Izmjerite očekivanu brzinu kretanja, raspon osvjetljenja i aktivnost u najgorem slučaju scene.
- Odlučite je li potreban apsolutni intenzitet slike, boja ili videozapis čitljiv ljudima.
- Procijenite propusnost i kretanje memorije i za tipične i za najgore slučajeve.
- Potvrdite zrelost algoritma, skupa podataka i vizije SDK temeljene na događajima.
- Planirajte sinkronizaciju s okvirnim, toplinskim, inercijskim ili vanjskim izvorima okidača.
- Usporedite kompletan cjevovod prije zamrzavanja proračuna, nosača i toplinskog dizajna.
Odaberite promatranje koje aplikacija treba
| Pitanje za prijavu | Prvo pristupite procjeni | Što testirati |
|---|---|---|
| Je li tiskana naljepnica ili boja točna? | Slika temeljena na okviru | Razlučivost, osvjetljenje, ekspozicija i točnost pregleda |
| Kada je rub koji se brzo kreće prešao područje? | Senzor na temelju događaja | Kvaliteta vremena, aktivnost scene, lažni događaji i potpuno kašnjenje izlaza |
| Koji je objekt prisutan i koliko se točno kreće? | Hibridni okvir i cjevovod događaja | Kalibracija, zajedničko vrijeme, reprezentacija i fuzijska korist |
| Hoće li sustav raditi s promjenjivim svjetlom ili vibracijom? | Oba kandidata pod istim reprezentativnim uvjetima | Točnost aplikacije, stopa događaja ili kvaliteta okvira i korištenje resursa |
Koristite isti zadatak i scenu kada uspoređujete kandidate. Jasna vizualizacija sama po sebi nije rezultat otkrivanja, a veliki broj događaja nije dokaz korisnih informacija. Prije snimanja usporedbe dogovorite izlaznu metriku.
Praktičan način za izgradnju proračuna kašnjenja
Pri 60 okvira u sekundi, interval okvira je približno 16.7 ms. Prema pojednostavljenom modelu u kojem se promjena scene događa ravnomjerno između trenutnih uzoraka, prosječno čekanje na sljedeći uzorak je oko 8.3 ms. Ekspozicija, očitavanje, transport i obrada su dodatni efekti. Ova aritmetika opisuje interval uzorkovanja; to nije izmjerena latencija kamere.
Cjevovod događaja također ima izbor dizajna koji dodaje kašnjenje. Ako aplikacija čeka da se zatvori 5 ms prozor događaja prije obrade, događaj blizu početka tog prozora može čekati gotovo 5 ms samo u toj fazi. Fine vremenske oznake senzora ne uklanjaju taj izbor međuspremnika. Upotrijebite ove primjere za prepoznavanje faza koje vrijedi izmjeriti, a ne za traženje fiksne prednosti za bilo koji senzor.
| Granica | Okvirni cjevovod | Cjevovod događaja |
|---|---|---|
| Promatranje | Ekspozicija i vrijeme uzorkovanja | Reakcija na promjenu svjetline i generiranje vremenske oznake |
| Transport | Očitavanje, veza i međuspremnici hosta | Kodiranje događaja, međuspremnici veze i dekodera |
| Priprema | Konverzija slike, promjena veličine i priprema tenzora | Filtriranje, vremenski prozori i konstrukcija reprezentacije |
| Odluka | Algoritam i raspoređivanje izlaza | Algoritam i raspoređivanje izlaza |
Izmjerite starost izlaza s valjanim odnosom između sata promatranja i sata rezultata. Softverska vremenska oznaka na kraju poziva za čitanje s kamere ne predstavlja nužno vrijeme ekspozicije. Isto tako, točna vremenska oznaka događaja može pripadati satu koji još nije usklađen s hostom.
Osmislite usporedbu koju drugi inženjer može reproducirati
- Definirajte zadatak, ciljno kretanje, raspon osvjetljenja i potrebni izlaz prije odabira postavki.
- Optika dokumenta, vidno polje, postavke senzora, verzije softvera i kalibracija.
- Snimite reprezentativne uvjete, uključujući teške scene kao što su treperenje ili vibracije gdje je relevantno.
- Zajedno procijenite točnost zadatka, kašnjenje izlaza, brzinu prijenosa podataka i kontinuirano opterećenje obrade.
- Sačuvajte snimke i konfiguracijske datoteke tako da se promjene algoritma mogu usporediti na istim ulazima.
Za fazu implementacije, naš softver za kameru događaja i SDK vodič pokriva prikaz podataka, snimanje i implementaciju. Koristite vodič za sinkronizaciju vremena pri kombiniranju modaliteta.
Koju kameru biste trebali ocijeniti za inspekciju kvalitete?
Počnite s nedostatkom koji trebate uočiti. Komponenta koja nedostaje, ispisana naljepnica ili površinska oznaka mogu biti prikladni za konvencionalno snimanje okvira s kontroliranom optikom i osvjetljenjem. Kada je važan signal brzo kretanje ili točno vrijeme promjene, procijenite otkrivanje događaja u odnosu na isti zadatak.
Zapišite najmanju relevantnu značajku, brzinu objekta, vidno polje, varijaciju osvjetljenja i dostupno vrijeme odluke. Zadržite normalne proizvodne varijacije u procjeni: različite serije, smjene, površinske završne obrade i položaje dijelova. Usporedite propuštene nedostatke i lažna odbacivanja kao i brzinu obrade.
Senzor događaja je kandidat za testiranje, a ne uvjet za svaki sustav inspekcije. Pogledajte naše industrijski vid i rješenje za kontrolu kvalitete za integraciju kamera-stroj i pilot-projekt planiranje.
Česta pitanja o viziji temeljenoj na događajima
Što je vizija temeljena na događajima?
Vizija temeljena na događajima je senzorski pristup u kojem pikseli asinkrono prijavljuju lokalne promjene svjetline umjesto da čekaju potpuni okvir slike. Svaki događaj obično nosi koordinate piksela, polaritet i vremensku oznaku, dopuštajući da informacije povezane s kretanjem dođu do cjevovoda za obradu s finom vremenskom rezolucijom.
Koja je razlika između vizije temeljene na događajima i vizije temeljene na okviru?
Vizija temeljena na okvirima snima kompletne slike u fiksnim intervalima, dok vizija temeljena na događajima izvještava o promjenama kako se događaju. Okvirne kamere pružaju gust prostorni kontekst i kontekst boja; senzori događaja mogu smanjiti redundantne podatke statične scene i poboljšati vrijeme za brzo kretanje. Najbolja arhitektura ovisi o zadatku, osvjetljenju, softverskom nizu i potrebnoj latenciji odluke.
Koji softver ili SDK je potreban za viziju temeljenu na događajima?
Softver za vid koji se temelji na događajima mora upravljati asinkronim tokovima događaja, a ne samo konvencionalnim tenzorima slike. Praktičan SDK trebao bi podržavati konfiguraciju senzora, filtriranje događaja, rukovanje vremenskim oznakama, vizualizaciju, snimanje, reprodukciju, kalibraciju, sinkronizaciju i konverziju u prikaze potrebne za praćenje ili cjevovode neuronske mreže.
Gdje se koristi vizija temeljena na događajima?
Tipične aplikacije vida temeljene na događajima uključuju brzu robotiku, praćenje kretanja, autonomne sustave, industrijski nadzor i senzore gdje brze promjene scene ili teško osvjetljenje čine tajming važnim. Također može nadopuniti konvencionalne kamere u hibridnim sustavima percepcije.
Kako se vizija temeljena na događajima može koristiti u obrambenim platformama?
Za obrambene i autonomne platforme, senzori događaja mogu podržati znakove kretanja s niskom latencijom, praćenje i percepciju pod visokim dinamičkim rasponom ili brzim kretanjem. Sustav koji se može primijeniti i dalje zahtijeva determinističko označavanje vremena, robusna sučelja, sinkronizirani fuzija senzorskih podataka, validirani softver i pažljivo mjerenje stopa događaja u najgorem slučaju.
Ima li senzor slike temeljen na događajima uvijek manju propusnost?
Ne. Statični prizori mogu generirati malo podataka, ali vibracije, treperenje ili pokreti s visokom teksturom mogu stvoriti guste tokove događaja. Dizajn sučelja i memorije stoga bi trebao koristiti izmjerene stope događaja u najgorem slučaju umjesto pretpostavke da je očitavanje događaja uvijek niske propusnosti.
strojni vid, termovizija i pitanje inspekcije
Računalni vid je široko polje izvlačenja korisnih informacija iz vizualnih podataka. U industrijskom strojni vid sustav također mora isporučiti ponovljive rezultate inspekcije pod ograničenjima osvjetljenja, kretanja i vremena linije. Birajte između senzora temeljenog na okvirima i senzora temeljenog na događaju testiranjem kvara ili značajke kretanja koju aplikacija zapravo treba promatrati.
termovizija dodaje drugačiju dimenziju mjerenja: infracrveno zračenje povezano s temperaturom površine. Vidljiva kamera može otkriti nedostatke sklopa ili površine dok toplinska kamera otkriva temperaturne uzorke. Ovi modaliteti mogu biti komplementarni, ali niti jedan ne jamči vidljivost svake greške. Definirajte usklađivanje, uvjete mjerenja i pravila odlučivanja prije njihovog kombiniranja u sustav inspekcije.
Istražite vizualni i toplinski pregled kvalitete
Tehničke reference
- Gallego et al.: Vizija temeljena na događajima — Anketa
- Prophesee: strujanje događaja i pristup kroz prozor
Primjeri vremena su ilustrativni izračuni. Tvrdnje o kašnjenju i otkrivanju na razini proizvoda zahtijevaju mjerenja kompletne implementacije.
Procijenite viziju utemeljenu na događajima u svojoj stvarnoj petlji odlučivanja.
Podijelite cilj, profil kretanja, sučelja, okoliš i količinu pilot-projekt. Možemo preslikati zahtjev u senzor, FPGA i arhitekturu lokalnog računala.