Kas ir mašīnredze, izmantojot attēlu kadrus?
Mašīnredze, izmantojot attēlu kadrus, tver ainu kā pilnīgus attēlus ar regulāriem intervāliem, piemēram, 30, 60 vai 120 kadri sekundē. Katrs kadrs satur blīvu telpisko informāciju, kas padara parastās kameras dabiski piemērotas objektu atpazīšanai, krāsu analīzei, pārbaudei, kartēšanai un lielajai programmatūras ekosistēmai, kas veidota ap attēla tensoriem.
Kompromiss ir tāds, ka katrs kadrs pa cauruļvadu pārvieto visu attēlu neatkarīgi no tā, vai aina ir mainījusies vai nē. Lai ātri pieņemtu lēmumu, ekspozīcijas laiks, kadra periods, sensora nolasīšana, transportēšana, attēla konvertēšana un secinājumi veicina latentumu no gala līdz galam. Liels kadru nomaiņas ātrums samazina iztveršanas intervālu, bet parasti palielina joslas platumu, atmiņas trafiku, jaudu un termisko slodzi.
Kas ir uz notikumiem balstīta vīzija?
Uz notikumiem balstīta redze izmanto uz notikumu balstītu attēla sensoru, kura pikseļi asinhroni reaģē uz spilgtuma izmaiņām. Tā vietā, lai nodrošinātu taisnstūrveida attēlu ar fiksētu kadenci, sensors rada straumi, kas satur pikseļu koordinātas, polaritāti un precīzus laika zīmogus. Tāpēc statiskie reģioni ģenerē maz datu vai to vispār neģenerē, savukārt kustīgas malas var radīt notikumus ar ļoti smalku laika izšķirtspēju.
Šis attēlojums ir noderīgs, ja kustības laiks ir svarīgāks nekā atkārtota pilnīga attēla saņemšana. Tas var atbalstīt zema latentuma izsekošanu, ātrdarbīgu robotiku un sarežģītas apgaismojuma pārejas, taču notikumu straume nav parasta fotogrāfija. Algoritmi, vizualizācijas, ierakstīšanas un validācijas rīki ir jāizstrādā atbilstoši datu modelim.
Kā uz notikumu balstīts attēla sensors maina datu ceļu
Noderīga atsauces sistēma atklāj pilnu ceļu no sensora iegūšanas līdz filtrēšanai un apstrādei līdz lietojumprogrammas izvadei. Instrumentējiet šīs robežas, lai latentuma un datu pārraides ātruma pretenzijas varētu novērtēt līdz galam.
Galvenā arhitektūras atšķirība nav vienkārši “ātrāka kamera pret lēnāku kameru”. Parastais redzes cauruļvads bieži sākas ar pilnu attēla buferi. Uz notikumiem balstīts konveijeris var sākt apstrādāt atsevišķus notikumus vai mazus notikumu logus, tiklīdz tie ir saņemti. Tas ļauj filtrēšanai, laikspiedolu izlīdzināšanai, interesējošā reģiona loģikai un kustības funkcijām darboties tuvu sensoram, negaidot pilnīgu kadru.
Tomēr notikumu dati var kļūt blīvi augstas tekstūras ainās vai zem vibrācijas un mirgošanas. Tāpēc sistēmas projektēšanai ir jāmēra sliktākā gadījuma notikumu ātrums, interfeisa izmantošana un atmiņas joslas platums, nevis jāpieņem, ka notikumu noteikšana vienmēr nozīmē mazu joslas platumu.
Uz notikumiem balstīta redze salīdzinājumā ar mašīnu redzi, izmantojot attēlu kadrus
| Izmērs | mašīnredze, izmantojot attēlu kadrus | Uz notikumiem balstīta vīzija |
|---|---|---|
| Sensora izeja | Blīvi attēli fiksētos intervālos | Asinhroni spilgtuma maiņas notikumi |
| Informācija par laiku | Ierobežo ekspozīcija un kadra kadence | Precīzi laikspiedoli, kas saistīti ar atsevišķiem notikumiem |
| Statiski ainas dati | Pilni kadri turpina ienākt | Maza aktivitāte no nemainīgiem reģioniem |
| Telpiskais/krāsu konteksts | Spēcīgs; absolūtā attēla intensitāte un nobriedušu krāsu attēlveidošana | Netiešs; notikumu plūsma apraksta izmaiņas, nevis parasto attēlu |
| Liela ātruma kustība | Nepieciešama atbilstoša ekspozīcija un kadru ātrums | Labi piemērots straujām laika izmaiņām |
| Programmatūras ekosistēma | Ļoti nobriedis CV un padziļināti mācību instrumenti | Specializētāki algoritmi, attēlojumi un datu kopas |
| Vislabāk piemērots | Vispārēja attēlveidošana, atpazīšana, faktūra un cilvēkiem lasāmi attēli | Ātra dinamika, laika iezīmes un zema latentuma kustības uztvere |
Latentums: mērīt sensoru līdz lēmumam, nevis vienu komponentu
Notikumu kameras bieži tiek atlasītas zema latentuma uztveršanai, taču sensora laikspiedola izšķirtspēja nav tāda pati kā lietojumprogrammas latentums. Noderīgs inženiertehniskais rādītājs ir laiks no reālās pasaules izmaiņām līdz lēmumam, kas parādās sistēmas saskarnē. Šis ceļš ietver sensora reakciju, transportēšanu, buferizāciju, priekšapstrādi, secinājumus vai izsekošanu, programmatūras plānošanu un izvades komunikāciju.
Tas pats noteikums attiecas uz kadru kameru. Labi izstrādāts liela kadru ātruma konveijers ar tiešiem atmiņas ceļiem var pārspēt slikti integrētu notikumu konveijera veiktspēju. Tāpēc arhitektūra ir jāsalīdzina ar reprezentatīvu kustību, apgaismojumu un algoritmiem.
Uz notikumiem balstīta redzes programmatūra un SDK apsvērumi
Uz notikumiem balstītai redzes programmatūras kopai parasti ir nepieciešama ierīces konfigurācija, notikumu dekodēšana, laikspiedolu apstrāde, filtrēšana, vizualizācija, ierakstīšana un atkārtošana. Noderīgai uz notikumiem balstītai vīzijai SDK vajadzētu arī atvieglot ārējo trigeru un citu sensoru sinhronizāciju, notikumu biežuma pārbaudi un uzņemtās secības reproducēšanu algoritma izstrādes laikā.
Ražošanas sistēmām programmatūrai ir jābūt plašākai par darbvirsmu SDK. Komandām jādefinē, kā notikumi tiek pārvietoti uz FPGA, MCU, MPU vai NPU resursiem; kā tiek saglabāta kalibrēšana; kā laiks tiek sinhronizēts; un kā var atkārtoti atskaņot lauka žurnālus. Ja algoritms pārvērš notikumus uzkrātos kadros, uzkrāšanas logs kļūst par skaidru latentuma un informācijas kompromisu.
Kur noder uz notikumiem balstīta vīzija
Tipiskas uz notikumiem balstītas redzes lietojumprogrammas ietver liela ātruma mērķa izsekošanu, robotizētu manipulāciju, optisko plūsmu, vibrāciju vai kustību analīzi, ātru rūpniecisko pārbaudi un autonomu uztveri ainās ar lielām spilgtuma izmaiņām. Spēcīgākie lietošanas gadījumi parasti ir tie, kuros smalkā laika struktūra tieši uzlabo lēmumu, nevis vienkārši nomaina parasto kameru.
Uz notikumiem balstīta vīzija par aizsardzību un autonomām platformām
Aizsardzības, drošības un autonomajās sistēmās notikumu noteikšana var būt svarīga ātras kustības norādēm, izsekošanas eksperimentiem, zema latentuma optiskajām slodzēm un sensoru kodolsintēzes pētījumiem. Sistēmai joprojām ir jāatbilst platformas prasībām, piemēram, sinhronizācijai, deterministiskām saskarnēm, vides projektēšanai, ierakstīšanai, kiberdrošībai un validācijai. Notikumu noteikšana ir viena no misijas ķēdes sastāvdaļām, nevis pilnīgs uztveres risinājums.
Kad hibrīdkameras arhitektūra ir labāka
Daudzas praktiskas sistēmas gūst labumu no modalitātes apvienošanas. Rāmji var nodrošināt semantisku kontekstu un cilvēkiem lasāmus attēlus, savukārt notikumi sniedz laika detaļu. Termiskie, inerciālie vai diapazona sensori var palielināt izturību. Fusion ir īpaši noderīga, ja lietojumprogrammai ir nepieciešams gan “kas tas ir?” un "tieši kad un kā tas pārvietojās?"
Hibrīdsistēmām kopīgs laiks ir būtisks. Pirms algoritmu pabeigšanas ir jāapsver aparatūras aktivizētāji, laikspiedolu domēni un kalibrēšana.
Praktiska uz notikumiem balstīta vīzijas atsauces arhitektūra
Atsauces sistēma var ievietot deterministisku filtrēšanu un laikspiedolu darbu FPGA, AI secinājumus NPU vai paātrinātājā, lietojumprogrammu pakalpojumus MPU un uzraudzību MCU vai reāllaika kodolā. Pareizais nodalījums ir atkarīgs no notikumu ātruma, modeļa arhitektūras, atmiņas joslas platuma un ārējām saskarnēm. Mūsu ceļvedis FPGA vs NPU vs MPU edge AI sīkāk izskaidro šo sadalīšanu.
Atlases kontrolsaraksts
- Definējiet maksimālo pieņemamo sensora līdz lēmuma latentumu.
- Izmēriet paredzamo kustības ātrumu, apgaismojuma diapazonu un sliktākā gadījuma ainas aktivitāti.
- Izlemiet, vai ir nepieciešama absolūta attēla intensitāte, krāsa vai cilvēkam lasāms video.
- Novērtējiet joslas platumu un atmiņas kustību gan tipiskām, gan sliktākajām ainām.
- Apstipriniet algoritma, datu kopas un uz notikumiem balstītas vīzijas SDK briedumu.
- Plānojiet sinhronizāciju ar rāmja, termiskajiem, inerciālajiem vai ārējiem sprūda avotiem.
- Pirms aprēķinu, nesēja un termiskās konstrukcijas iesaldēšanas veiciet visa cauruļvada etalonu.
Izvēlieties lietojumprogrammai nepieciešamo novērojumu
| Pieteikuma jautājums | Pieeja, lai vispirms novērtētu | Ko pārbaudīt |
|---|---|---|
| Vai izdrukātā etiķete vai krāsa ir pareiza? | Uz kadriem balstīta attēlveidošana | Izšķirtspēja, apgaismojums, ekspozīcija un pārbaudes precizitāte |
| Kad strauji kustīga mala šķērsoja reģionu? | Uz notikumiem balstīta uztveršana | Laika kvalitāte, ainas aktivitāte, viltus notikumi un pilnīga izvades aizkave |
| Kāds objekts atrodas un cik precīzi tas pārvietojas? | Hibrīds rāmis un notikumu konveijera | Kalibrēšana, kopīgais laiks, reprezentācija un saplūšanas priekšrocības |
| Vai sistēma darbosies ar mainīgu gaismu vai vibrāciju? | Abi kandidāti ar vienādiem reprezentatīviem nosacījumiem | Lietojumprogrammu precizitāte, notikumu ātrums vai kadru kvalitāte un resursu izmantošana |
Salīdzinot kandidātus, izmantojiet to pašu uzdevumu un ainu. Asa vizualizācija pati par sevi nav atklāšanas rezultāts, un liels notikumu skaits neliecina par noderīgu informāciju. Pirms salīdzinājuma ierakstīšanas vienojieties par izvades metriku.
Praktisks veids, kā izveidot latentuma budžetu
Pie 60 kadriem sekundē kadru intervāls ir aptuveni 16.7 ms. Vienkāršotā modelī, kurā ainas maiņa notiek vienmērīgi starp momentānajiem paraugiem, vidējais gaidīšanas laiks līdz nākamajam paraugam ir aptuveni 8.3 ms. Ekspozīcija, nolasīšana, transportēšana un apstrāde ir papildu efekti. Šī aritmētika apraksta izlases intervālu; tas nav izmērīts kameras latentums.
Pasākumu konveijeram ir arī dizaina izvēles, kas palielina aizkavi. Ja lietojumprogramma pirms apstrādes gaida, līdz tiks aizvērts 5 ms notikuma logs, notikums šī loga sākumā var gaidīt gandrīz 5 ms tikai šajā posmā. Precīzi sensora laikspiedoli nenoņem šo buferizācijas izvēli. Izmantojiet šos piemērus, lai noteiktu posmus, kurus ir vērts izmērīt, nevis pieprasīt fiksētas priekšrocības nevienam sensoram.
| Robeža | Rāmja cauruļvads | Pasākumu cauruļvads |
|---|---|---|
| Novērošana | Ekspozīcija un parauga laiks | Spilgtuma maiņas reakcija un laikspiedola ģenerēšana |
| Transports | Nolasīšanas, saišu un resursdatora buferi | Notikumu kodēšana, saišu un dekodētāja buferi |
| Sagatavošana | Attēlu konvertēšana, izmēru maiņa un tenzora sagatavošana | Filtrēšana, laika logi un reprezentācijas konstrukcija |
| Lēmums | Algoritms un izvades plānošana | Algoritms un izvades plānošana |
Izmēriet izvades vecumu ar derīgu attiecību starp novērošanas pulksteni un rezultāta pulksteni. Programmatūras laikspiedols kameras lasīšanas zvana beigās ne vienmēr norāda ekspozīcijas laiku. Tāpat precīzs notikuma laikspiedols var piederēt pulkstenim, kas vēl nav saskaņots ar saimniekdatoru.
Izveidojiet salīdzinājumu, ko var reproducēt cits inženieris
- Pirms iestatījumu atlases definējiet uzdevumu, mērķa kustību, apgaismojuma diapazonu un nepieciešamo jaudu.
- Dokumentu optika, redzes lauks, sensoru iestatījumi, programmatūras versijas un kalibrēšana.
- Ierakstiet reprezentatīvus apstākļus, tostarp sarežģītas ainas, piemēram, mirgošanu vai vibrāciju, ja nepieciešams.
- Kopā novērtējiet uzdevuma precizitāti, izvades aizkavi, datu pārraides ātrumu un ilgstošu apstrādes slodzi.
- Saglabājiet ierakstus un konfigurācijas failus, lai algoritmu izmaiņas varētu salīdzināt vienā un tajā pašā ievadē.
Īstenošanas posmā mūsu notikumu kameras programmatūra un SDK ceļvedis attiecas uz datu attēlošanu, ierakstīšanu un izvietošanu. Izmantojiet laika sinhronizācijas rokasgrāmata kombinējot modalitātes.
Kura kamera ir jānovērtē kvalitātes pārbaudei?
Sāciet ar defektu, kas jums jāievēro. Trūkstoša sastāvdaļa, drukāta etiķete vai virsmas atzīme var būt piemērota parastajai kadra attēlveidošanai ar kontrolētu optiku un apgaismojumu. Ja svarīgs signāls ir ātra kustība vai precīzs izmaiņu laiks, novērtējiet notikuma uztveršanu attiecībā pret to pašu uzdevumu.
Pierakstiet mazāko atbilstošo līdzekli, objekta ātrumu, redzes lauku, apgaismojuma variācijas un pieejamo lēmuma pieņemšanas laiku. Novērtējumā saglabājiet parastās ražošanas atšķirības: dažādas partijas, maiņas, virsmas apdari un detaļu pozīcijas. Salīdziniet nepamanītos defektus un viltus noraidījumus, kā arī apstrādes ātrumu.
Notikumu noteikšana ir testējama, nevis prasība katrai pārbaudes sistēmai. Skatiet mūsu rūpnieciskās vīzijas un kvalitātes kontroles risinājums kameras un mašīnas integrācijai un izmēģinājuma plānošanai.
Uz notikumiem balstīta vīzija FAQ
Kas ir uz notikumiem balstīta vīzija?
Uz notikumiem balstīta redze ir uztveršanas pieeja, kurā pikseļi ziņo par vietējām spilgtuma izmaiņām asinhroni, nevis gaida pilnīgu attēla kadru. Katrs notikums parasti satur pikseļu koordinātas, polaritāti un laikspiedolu, ļaujot ar kustību saistītai informācijai sasniegt apstrādes konveijeru ar precīzu laika izšķirtspēju.
Kāda ir atšķirība starp uz notikumiem balstītu redzējumu un mašīnredzi, izmantojot attēlu kadrus?
Mašīnredze, izmantojot attēlu kadrus, tver pilnīgus attēlus ar fiksētiem intervāliem, savukārt uz notikumiem balstīti redzes ziņojumi mainās, kad tās notiek. Kadra kameras nodrošina blīvu telpisko un krāsu kontekstu; notikumu sensori var samazināt liekos statiskās ainas datus un uzlabot ātras kustības laiku. Labākā arhitektūra ir atkarīga no uzdevuma, apgaismojuma, programmatūras steka un nepieciešamā lēmuma pieņemšanas latentuma.
Kāda programmatūra vai SDK ir nepieciešama uz notikumiem balstītai redzei?
Uz notikumiem balstītai redzes programmatūrai ir jāapstrādā asinhronas notikumu plūsmas, nevis tikai tradicionālie attēla tenzori. Praktiskajam SDK ir jāatbalsta sensoru konfigurācija, notikumu filtrēšana, laikspiedolu apstrāde, vizualizācija, ierakstīšana, atskaņošana, kalibrēšana, sinhronizācija un pārveidošana attēlos, kas nepieciešamas izsekošanas vai neironu tīkla konveijeriem.
Kur tiek izmantota uz notikumiem balstīta redze?
Tipiskas uz notikumiem balstītas redzes lietojumprogrammas ietver ātrdarbīgu robotiku, kustību izsekošanu, autonomas sistēmas, rūpniecisko uzraudzību un uztveršanu, kur straujas ainas izmaiņas vai sarežģīts apgaismojums padara laiku svarīgu. Tas var arī papildināt parastās kameras hibrīdās uztveres sistēmās.
Kā uz notikumiem balstītu redzējumu var izmantot aizsardzības platformās?
Aizsardzības un autonomām platformām notikumu sensori var atbalstīt kustības signālus ar zemu latentumu, izsekošanu un uztveri lielā dinamiskā diapazonā vai ātras kustības apstākļos. Izvietojamai sistēmai joprojām ir nepieciešama deterministiska laika zīmogošana, izturīgas saskarnes, sinhronizēta sensoru datu saplūšana, apstiprināta programmatūra un rūpīga sliktākā gadījuma notikumu biežuma mērīšana.
Vai uz notikumu balstītam attēla sensoram vienmēr ir mazāks joslas platums?
Nē. Statiskas ainas var radīt maz datu, taču vibrācija, mirgošana vai ļoti teksturētas kustības var radīt blīvas notikumu plūsmas. Tāpēc saskarnes un atmiņas projektēšanā jāizmanto izmērīti sliktākā gadījuma notikumu biežumi, nevis jāpieņem, ka notikumu noteikšanai vienmēr ir mazs joslas platums.
Mašīnredze, termiskā attēlveidošana un pārbaudes jautājums
Datorredze ir plašs lauks noderīgas informācijas iegūšanai no vizuālajiem datiem. Rūpnieciskajā mašīnredzē sistēmai ir jāsniedz arī atkārtojams pārbaudes rezultāts saskaņā ar līnijas apgaismojuma, kustības un laika ierobežojumiem. Izvēlieties uz kadru balstītu un uz notikumiem balstītu sensoru, pārbaudot defektu vai kustības funkciju, kas lietojumprogrammai faktiski ir jānovēro.
Termiskā attēlveidošana pievieno atšķirīgu mērījumu dimensiju: infrasarkanais starojums, kas saistīts ar virsmas temperatūru. Redzama kamera var atklāt montāžas vai virsmas defektus, savukārt termokamera atklāj temperatūras modeļus. Šīs metodes var būt viena otru papildinošas, taču neviena no tām negarantē katras kļūdas redzamību. Definējiet izlīdzināšanas, mērīšanas nosacījumus un lēmumu pieņemšanas noteikumus, pirms tos apvienojat pārbaudes sistēmā.
Izpētiet vizuālās un termiskās kvalitātes pārbaudi
Tehniskās atsauces
- Gallego et al.: Uz notikumiem balstīta vīzija — aptauja
- Prophesee: notikumu straumēšana un logu piekļuve
Laika piemēri ir ilustratīvi aprēķini. Produkta līmeņa latentuma un noteikšanas apgalvojumiem ir nepieciešami pilnīgas ieviešanas mērījumi.
Novērtējiet uz notikumiem balstītu redzējumu par savu faktisko lēmumu cilpu.
Kopīgojiet mērķi, kustības profilu, saskarnes, vidi un pilota daudzumu. Mēs varam ietvert prasību sensorā, FPGA un lokālā skaitļošanas arhitektūrā.