Kaj je okvirna vizija?
Vizija na podlagi okvirjev zajame prizor kot celotne slike v rednih intervalih, na primer 30, 60 ali 120 sličic na sekundo. Vsak okvir vsebuje goste prostorske informacije, zaradi česar so običajne kamere naravno primerne za prepoznavanje objektov, analizo barv, pregledovanje, kartiranje in velik programski ekosistem, zgrajen okoli slikovnih tenzorjev.
Kompromis je v tem, da vsak okvir premakne celotno sliko skozi cevovod, ne glede na to, ali se je prizor spremenil ali ne. Za hitro odločitveno zanko čas osvetlitve, obdobje okvirja, odčitavanje senzorja, transport, pretvorba slike in sklepanje prispevajo k zakasnitvi od konca do konca. Visoka hitrost sličic skrajša interval vzorčenja, vendar običajno poveča pasovno širino, pomnilniški promet, moč in toplotno obremenitev.
Kaj je vizija, ki temelji na dogodkih?
Vid, ki temelji na dogodkih, uporablja slikovni senzor, ki temelji na dogodkih, katerega slikovne pike se asinhrono odzivajo na spremembe svetlosti. Namesto zagotavljanja pravokotne slike s fiksno kadenco senzor ustvari tok, ki vsebuje koordinate slikovnih pik, polarnost in natančne časovne žige. Statične regije torej ustvarijo malo ali nič podatkov, medtem ko lahko premikajoči se robovi povzročijo dogodke z zelo fino časovno ločljivostjo.
Ta predstavitev je uporabna, kadar je čas gibanja pomembnejši od večkratnega sprejemanja celotne slike. Lahko podpira sledenje z nizko zakasnitvijo, visokohitrostno robotiko in težke prehode svetlobe, vendar tok dogodkov ni običajna fotografija. Algoritmi, orodja za vizualizacijo, snemanje in preverjanje veljavnosti morajo biti zasnovani okoli podatkovnega modela.
Kako slikovni senzor, ki temelji na dogodkih, spremeni pot podatkov
Uporaben referenčni sistem razkriva celotno pot od zajema senzorja prek filtriranja in obdelave do izhoda aplikacije. Instrumentirajte te meje, tako da je mogoče zahtevke za zakasnitev in hitrost podatkov ovrednotiti od konca do konca.
Ključna arhitekturna razlika ni le »hitrejša kamera v primerjavi s počasnejšo kamero«. Običajni vizualni cevovod se pogosto začne s polnim medpomnilnikom slike. Cevovod, ki temelji na dogodkih, lahko začne obdelovati posamezne dogodke ali majhna okna dogodkov, takoj ko prispejo. To omogoča filtriranje, poravnavo časovnega žiga, logiko območja zanimanja in funkcije gibanja, ki delujejo blizu senzorja, ne da bi čakali na celoten okvir.
Vendar pa lahko podatki o dogodkih postanejo gosti v prizorih z visoko teksturo ali pod vibracijami in utripanjem. Zasnova sistema bi morala zato meriti stopnjo dogodkov v najslabšem primeru, izkoriščenost vmesnika in pasovno širino pomnilnika, namesto da bi predvidevala, da zaznavanje dogodkov vedno pomeni nizko pasovno širino.
Vizija, ki temelji na dogodkih proti viziji, ki temelji na okvirju
| Dimenzija | Vizija na podlagi okvirja | Vizija, ki temelji na dogodkih |
|---|---|---|
| Izhod senzorja | Goste slike v fiksnih intervalih | Asinhroni dogodki spremembe svetlosti |
| Informacije o času | Omejeno z osvetlitvijo in kadenco kadra | Natančni časovni žigi, povezani s posameznimi dogodki |
| Podatki o statični sceni | Celotni okvirji še naprej prihajajo | Majhna aktivnost iz nespremenjenih regij |
| Prostorski/barvni kontekst | močan; absolutna intenzivnost slike in zrela barvna slika | posredno; tok dogodkov opisuje spremembe in ne običajne slike |
| Hitro gibanje | Zahteva ustrezno osvetlitev in hitrost sličic | Zelo primeren za hitre časovne spremembe |
| Programski ekosistem | Zelo zrel življenjepis in orodje za poglobljeno učenje | Bolj specializirani algoritmi, predstavitve in nizi podatkov |
| Najboljše prileganje | Splošno slikanje, prepoznavanje, tekstura in človeku berljive slike | Hitra dinamika, časovne značilnosti in zaznavanje gibanja z nizko zakasnitvijo |
Zakasnitev: merite od senzorja do odločitve, ne ene komponente
Kamere za dogodke so pogosto izbrane za zaznavanje z nizko zakasnitvijo, vendar ločljivost časovnega žiga senzorja ni enaka zakasnitvi aplikacije. Uporabna inženirska metrika je čas od spremembe v resničnem svetu do odločitve, ki se prikaže na sistemskem vmesniku. Ta pot vključuje odziv senzorja, transport, medpomnjenje, predprocesiranje, sklepanje ali sledenje, razporejanje programske opreme in izhodno komunikacijo.
Enako pravilo velja za kamero z okvirjem. Dobro zasnovan cevovod z visoko hitrostjo sličic z neposrednimi pomnilniškimi potmi lahko prekaša slabo integriran cevovod dogodkov. Arhitekturo je zato treba primerjati z reprezentativnim gibanjem, osvetlitvijo in algoritmi.
Programska oprema za vid na podlagi dogodkov in premisleki SDK
Sklad programske opreme za vid, ki temelji na dogodkih, običajno potrebuje konfiguracijo naprave, dekodiranje dogodkov, ravnanje s časovnimi žigi, filtriranje, vizualizacijo, snemanje in ponovno predvajanje. Uporabna vizija, ki temelji na dogodkih, SDK bi morala prav tako olajšati sinhronizacijo zunanjih sprožilcev in drugih senzorjev, pregledovati stopnje dogodkov in reproducirati zajeto zaporedje med razvojem algoritma.
Za proizvodne sisteme mora programska oprema presegati namizni računalnik SDK. Ekipe morajo določiti, kako se dogodki premaknejo v vire FPGA, MCU, MPU ali NPU; kako se kalibracija shrani; kako je čas sinhroniziran; in kako je mogoče znova predvajati terenske dnevnike. Če algoritem pretvori dogodke v akumulirane okvire, okno akumulacije postane izrecno razmerje med zakasnitvijo in informacijami.
Kjer je uporabna vizija, ki temelji na dogodkih
Tipične aplikacije vida, ki temeljijo na dogodkih, vključujejo hitro sledenje cilju, robotsko manipulacijo, optični tok, analizo vibracij ali gibanja, hiter industrijski pregled in avtonomno zaznavanje prizorov z velikimi spremembami svetlosti. Najmočnejši primeri uporabe so običajno tisti, kjer fina časovna struktura neposredno izboljša odločitev, namesto da bi zgolj zamenjala običajno kamero.
Na dogodkih temelječa vizija za obrambo in avtonomne platforme
V obrambnih, varnostnih in avtonomnih sistemih je lahko zaznavanje dogodkov pomembno za namige hitrega gibanja, poskuse sledenja, optične obremenitve z nizko zakasnitvijo in raziskave fuzije senzorjev. Sistem mora še vedno izpolnjevati zahteve platforme, kot so sinhronizacija, deterministični vmesniki, okoljska zasnova, snemanje, kibernetska varnost in validacija. Zaznavanje dogodkov je ena komponenta verige misij in ne popolna rešitev zaznavanja sama po sebi.
Ko je arhitektura hibridne kamere boljša
Mnogi praktični sistemi imajo koristi od kombiniranja modalitet. Okvirji lahko zagotovijo semantični kontekst in človeku berljive podobe, medtem ko dogodki prispevajo časovne podrobnosti. Toplotni, inercijski senzorji ali senzorji za določanje razdalje lahko povečajo robustnost. Fusion je še posebej uporaben, ko aplikacija potrebuje tako »kaj je?« in "kdaj točno in kako se je premaknilo?"
Za hibridne sisteme je skupni čas bistven. Pred dokončanjem algoritmov je treba razmisliti o sprožilcih strojne opreme, domenah časovnih žigov in kalibraciji.
Praktična referenčna arhitektura vizije, ki temelji na dogodkih
Referenčni sistem lahko postavi deterministično filtriranje in delo s časovnim žigom v FPGA, sklepanje z umetno inteligenco v NPU ali pospeševalnik, storitve aplikacij v MPU in nadzor v jedro MCU ali v realnem času. Pravilna particija je odvisna od stopnje dogodkov, arhitekture modela, pasovne širine pomnilnika in zunanjih vmesnikov. Naš FPGA vs NPU vs MPU edge AI vodnik podrobneje pojasnjuje to razdelitev.
Kontrolni seznam za izbiro
- Določite največjo sprejemljivo zakasnitev od senzorja do odločitve.
- Izmerite pričakovano hitrost gibanja, obseg osvetlitve in aktivnost v najslabšem primeru.
- Odločite se, ali je potrebna absolutna intenzivnost slike, barva ali človeku berljiv video.
- Ocenite pasovno širino in premik pomnilnika za tipične in najslabše prizore.
- Potrdite zrelost algoritma, nabora podatkov in vizije SDK na podlagi dogodkov.
- Načrtujte sinhronizacijo z okvirnimi, toplotnimi, inercialnimi ali zunanjimi prožilnimi viri.
- Primerjajte celoten cevovod, preden zamrznete zasnovo računalništva, nosilca in toplote.
Izberite opazovanje, ki ga aplikacija potrebuje
| Vprašanje za prijavo | Najprej pristopite k oceni | Kaj preizkusiti |
|---|---|---|
| Ali je natisnjena nalepka ali barva pravilna? | Slikanje na podlagi okvirja | Ločljivost, osvetlitev, osvetlitev in natančnost pregleda |
| Kdaj je hitro premikajoči se rob prečkal območje? | Zaznavanje na podlagi dogodkov | Kakovost časovne razporeditve, aktivnost scene, lažni dogodki in popolna zakasnitev izhoda |
| Kateri predmet je prisoten in kako natančno se premika? | Hibridni okvir in cevovod dogodkov | Umerjanje, čas v skupni rabi, predstavitev in korist fuzije |
| Ali bo sistem deloval s spreminjajočo se svetlobo ali vibracijami? | Oba kandidata pod enakimi reprezentativnimi pogoji | Natančnost aplikacije, stopnja dogodkov ali kakovost okvirja in uporaba virov |
Pri primerjavi kandidatov uporabite isto nalogo in prizor. Ostra vizualizacija sama po sebi ni rezultat odkrivanja in visoko število dogodkov ni dokaz koristnih informacij. Pred snemanjem primerjave se strinjate z izhodno metriko.
Praktičen način za ustvarjanje proračuna za zakasnitev
Pri 60 sličicah na sekundo je interval sličic približno 16.7 ms. V poenostavljenem modelu, v katerem se sprememba prizorišča pojavi enakomerno med trenutnimi vzorci, je povprečno čakanje na naslednji vzorec približno 8.3 ms. Osvetlitev, odčitavanje, transport in obdelava so dodatni učinki. Ta aritmetika opisuje interval vzorčenja; ne gre za izmerjeno zakasnitev kamere.
Cevovod dogodkov ima tudi oblikovne izbire, ki dodajo zakasnitev. Če aplikacija čaka, da se okno dogodka 5 ms zapre pred obdelavo, lahko dogodek blizu začetka tega okna čaka skoraj 5 ms samo na tej stopnji. Natančni časovni žigi senzorjev ne odstranijo te izbire medpomnjenja. Uporabite te primere za identifikacijo stopenj, ki jih je vredno meriti, ne pa za zahtevanje stalne prednosti za kateri koli senzor.
| Meja | Okvirni cevovod | Cevovod dogodkov |
|---|---|---|
| Opazovanje | Izpostavljenost in čas vzorčenja | Odziv na spremembo svetlosti in ustvarjanje časovnega žiga |
| Transport | Medpomnilniki branja, povezave in gostitelja | Kodiranje dogodkov, medpomnilniki povezav in dekodirnikov |
| Priprava | Pretvorba slike, spreminjanje velikosti in priprava tenzorja | Filtriranje, časovna okna in konstrukcija reprezentacije |
| Odločitev | Algoritem in razporejanje izhodov | Algoritem in razporejanje izhodov |
Izmerite izhodno starost z veljavnim razmerjem med uro opazovanja in uro rezultata. Časovni žig programske opreme na koncu klica branja s kamere ne predstavlja nujno časa osvetlitve. Podobno lahko natančen časovni žig dogodka pripada uri, ki še ni usklajena z gostiteljem.
Oblikujte primerjavo, ki jo lahko ponovi drug inženir
- Pred izbiro nastavitev določite nalogo, ciljno gibanje, obseg osvetlitve in zahtevano moč.
- Optika dokumentov, vidno polje, nastavitve senzorjev, različice programske opreme in kalibracija.
- Posnemite reprezentativne razmere, vključno s težkimi prizori, kot je utripanje ali tresenje, kjer je ustrezno.
- Skupaj ocenite natančnost naloge, izhodno zakasnitev, hitrost prenosa podatkov in trajno obremenitev obdelave.
- Ohranite posnetke in konfiguracijske datoteke, tako da je mogoče primerjati spremembe algoritmov na istih vhodih.
Za fazo izvedbe, naš programska oprema za kamero dogodkov in vodnik SDK zajema predstavitve podatkov, snemanje in uvajanje. Uporabite vodnik za časovno sinhronizacijo pri kombiniranju modalitet.
Katero kamero bi morali oceniti za pregled kakovosti?
Začnite z napako, ki jo morate opaziti. Manjkajoča komponenta, natisnjena nalepka ali površinska oznaka je lahko zelo primerna za konvencionalno okvirno slikanje z nadzorovano optiko in osvetlitvijo. Ko je pomemben signal hitro gibanje ali natančen čas spremembe, ocenite zaznavanje dogodkov glede na isto nalogo.
Zapišite najmanjšo relevantno lastnost, hitrost predmeta, vidno polje, variacijo osvetlitve in razpoložljivi čas odločitve. Ohranite običajne proizvodne variacije pri vrednotenju: različne serije, izmene, površinske obdelave in položaje delov. Primerjajte zgrešene napake in lažne zavrnitve ter hitrost obdelave.
Zaznavanje dogodkov je kandidat za testiranje, ne pa zahteva za vsak nadzorni sistem. Oglejte si naše industrijsko vizijo in rešitev za nadzor kakovosti za integracijo med kamero in strojem ter načrtovanje pilotni projekt.
Pogosta vprašanja o viziji, ki temelji na dogodkih
Kaj je vizija, ki temelji na dogodkih?
Vid na podlagi dogodkov je pristop zaznavanja, pri katerem slikovne pike asinhrono poročajo o lokalnih spremembah svetlosti, namesto da čakajo na celoten okvir slike. Vsak dogodek običajno vsebuje koordinate slikovnih pik, polarnost in časovni žig, kar omogoča, da informacije, povezane z gibanjem, dosežejo cevovod za obdelavo s fino časovno ločljivostjo.
Kakšna je razlika med vizijo, ki temelji na dogodkih, in vizijo, ki temelji na okvirju?
Vizija na podlagi okvirja zajame celotne slike v določenih intervalih, medtem ko vid na podlagi dogodkov poroča o spremembah, ko se zgodijo. Okvirne kamere zagotavljajo gost prostorski in barvni kontekst; senzorji dogodkov lahko zmanjšajo odvečne podatke o statičnem prizoru in izboljšajo čas za hitro gibanje. Najboljša arhitektura je odvisna od naloge, osvetlitve, sklada programske opreme in zahtevane zakasnitve odločitve.
Katera programska oprema ali SDK je potrebna za vizijo na podlagi dogodkov?
Programska oprema za vid, ki temelji na dogodkih, mora obravnavati asinhrone tokove dogodkov in ne samo konvencionalne slikovne tenzorje. Praktičen SDK bi moral podpirati konfiguracijo senzorjev, filtriranje dogodkov, ravnanje s časovnimi žigi, vizualizacijo, snemanje, predvajanje, kalibracijo, sinhronizacijo in pretvorbo v predstavitve, ki jih zahtevajo sledenje ali cevovodi nevronske mreže.
Kje se uporablja vizija, ki temelji na dogodkih?
Tipične aplikacije vida, ki temeljijo na dogodkih, vključujejo visokohitrostno robotiko, sledenje gibanju, avtonomne sisteme, industrijsko spremljanje in zaznavanje, kjer je zaradi hitrih sprememb prizorišča ali težavne osvetlitve pomemben čas. Prav tako lahko dopolnjuje običajne kamere v hibridnih sistemih zaznavanja.
Kako se lahko vizija, ki temelji na dogodkih, uporabi v obrambnih platformah?
Za obrambne in avtonomne platforme lahko senzorji dogodkov podpirajo namige gibanja z nizko zakasnitvijo, sledenje in zaznavanje pri visokem dinamičnem razponu ali hitrem gibanju. Sistem, ki ga je mogoče namestiti, še vedno zahteva deterministično časovno žigosanje, robustne vmesnike, sinhroniziran fuzija senzorskih podatkov, potrjeno programsko opremo in natančno merjenje stopnje dogodkov v najslabšem primeru.
Ali ima slikovni senzor na podlagi dogodkov vedno nižjo pasovno širino?
Ne. Statični prizori lahko ustvarijo malo podatkov, vendar lahko vibracije, utripanje ali močno teksturirano gibanje ustvarijo goste tokove dogodkov. Zasnova vmesnika in pomnilnika bi zato morala uporabljati izmerjene stopnje dogodkov v najslabšem primeru, namesto da bi predpostavljala, da je zaznavanje dogodkov vedno nizka pasovna širina.
strojni vid, termovizija in inšpekcijsko vprašanje
Računalniški vid je široko področje pridobivanja uporabnih informacij iz vizualnih podatkov. V industrijskem strojni vid mora sistem zagotavljati tudi ponovljive rezultate pregleda v skladu z osvetlitvijo, gibanjem in časovnimi omejitvami linije. Izbirate lahko med zaznavanjem na podlagi okvirov in dogodkov, tako da preizkusite funkcijo napake ali gibanja, ki jo mora aplikacija dejansko opazovati.
termovizija dodaja drugačno merilno dimenzijo: infrardeče sevanje, povezano s površinsko temperaturo. Vidna kamera lahko razkrije sestavne ali površinske napake, medtem ko toplotna kamera razkrije temperaturne vzorce. Ti načini se lahko dopolnjujejo, vendar noben ne zagotavlja vidnosti vsake napake. Določite poravnavo, merilne pogoje in pravila odločanja, preden jih združite v inšpekcijski sistem.
Raziščite vizualni in toplotni pregled kakovosti
Tehnične reference
Primeri časov so ilustrativni izračuni. Trditve o zakasnitvi in odkrivanju na ravni izdelka zahtevajo meritve celotne izvedbe.
Ocenite vizijo, ki temelji na dogodkih, v vaši dejanski zanki odločanja.
Delite cilj, profil gibanja, vmesnike, okolje in količino pilotni projekt. Zahtevo lahko preslikamo v senzor, FPGA in lokalno računalniško arhitekturo.