Kas yra mašininis matymas naudojant vaizdo kadrus?
Mašininis matymas naudojant vaizdo kadrus užfiksuoja sceną kaip pilnus vaizdus reguliariais intervalais, pvz., 30, 60 arba 120 kadrų per sekundę. Kiekviename kadre yra tanki erdvinė informacija, todėl įprastos kameros natūraliai tinka objektų atpažinimui, spalvų analizei, tikrinimui, kartografavimui ir didelei programinės įrangos ekosistemai, sukurtai aplink vaizdo tenzorius.
Kompromisas yra tas, kad kiekvienas kadras perkelia visą vaizdą per dujotiekį, nesvarbu, ar scena pasikeitė, ar ne. Kad būtų priimtas greitas sprendimo ciklas, ekspozicijos laikas, kadro laikotarpis, jutiklio nuskaitymas, transportavimas, vaizdo konvertavimas ir išvados prisideda prie galutinio delsos. Didelis kadrų dažnis sumažina diskretizavimo intervalą, bet paprastai padidina pralaidumą, atminties srautą, galią ir šiluminę apkrovą.
Kas yra įvykiais pagrįsta vizija?
Įvykiu pagrįstas regėjimas naudoja įvykiais pagrįstą vaizdo jutiklį, kurio pikseliai asinchroniškai reaguoja į ryškumo pokyčius. Užuot pateikęs stačiakampį vaizdą fiksuotu ritmu, jutiklis sukuria srautą, kuriame yra pikselių koordinatės, poliškumas ir tikslios laiko žymos. Todėl statiniai regionai generuoja mažai duomenų arba visai negeneruoja duomenų, o judantys kraštai gali sukelti labai smulkios laiko skiriamosios gebos įvykius.
Šis vaizdas yra naudingas, kai judėjimo laikas yra svarbesnis nei pakartotinis viso vaizdo gavimas. Jis gali palaikyti mažos delsos stebėjimą, didelės spartos robotiką ir sudėtingus apšvietimo perėjimus, tačiau įvykių srautas nėra įprasta nuotrauka. Pagal duomenų modelį turi būti sukurti algoritmai, vizualizavimo, įrašymo ir patvirtinimo įrankiai.
Kaip įvykiais pagrįstas vaizdo jutiklis keičia duomenų kelią
Naudinga atskaitos sistema atskleidžia visą kelią nuo jutiklio gavimo iki filtravimo ir apdorojimo iki programos išvesties. Nustatykite šias ribas, kad delsos ir duomenų perdavimo spartos paraiškos būtų įvertintos iki galo.
Pagrindinis architektūrinis skirtumas yra ne tik „greitesnė kamera prieš lėtesnę kamerą“. Įprastas regėjimo vamzdynas dažnai prasideda nuo viso vaizdo buferio. Įvykiu pagrįstas dujotiekis gali pradėti apdoroti atskirus įvykius arba nedidelius įvykių langus, kai tik jie atvyksta. Tai leidžia filtruoti, suderinti laiko žymą, logiką dominantį regioną ir judėjimo funkcijas, kurios gali veikti arti jutiklio nelaukiant viso kadro.
Tačiau įvykių duomenys gali tapti tankūs labai tekstūruotose scenose arba esant vibracijai ir mirgėjimui. Todėl sistemos projektavimas turėtų matuoti blogiausio atvejo įvykių dažnį, sąsajos naudojimą ir atminties pralaidumą, o ne daryti prielaidą, kad įvykių aptikimas visada reiškia mažą pralaidumą.
Įvykiais pagrįsta vizija ir mašininis matymas naudojant vaizdo kadrus
| Matmenys | mašininis matymas naudojant vaizdo kadrus | Įvykiu pagrįsta vizija |
|---|---|---|
| Jutiklio išėjimas | Tankūs vaizdai fiksuotais intervalais | Asinchroniniai ryškumo keitimo įvykiai |
| Informacija apie laiką | Riboja ekspozicija ir kadro dažnis | Puikios laiko žymos, susijusios su atskirais įvykiais |
| Statiniai scenos duomenys | Užbaigti kadrai ir toliau ateina | Maža veiklos iš nepakitusių regionų |
| Erdvinis/spalvinis kontekstas | Stiprus; absoliutus vaizdo intensyvumas ir brandus spalvų vaizdas | Netiesioginis; įvykių srautas apibūdina pokyčius, o ne įprastą vaizdą |
| Didelio greičio judesys | Reikia tinkamos ekspozicijos ir kadrų dažnio | Puikiai tinka greitiems laiko pokyčiams |
| Programinės įrangos ekosistema | Labai brandus CV ir gilaus mokymosi įrankiai | Daugiau specializuotų algoritmų, vaizdų ir duomenų rinkinių |
| Geriausiai tinka | Bendras vaizdas, atpažinimas, tekstūra ir žmogaus skaitomi vaizdai | Greita dinamika, laiko ypatybės ir mažos delsos judesio suvokimas |
Latencija: matuokite jutiklius iki sprendimo, o ne vieną komponentą
Įvykių kameros dažnai parenkamos mažos delsos suvokimui, tačiau jutiklio laiko žymos skiriamoji geba nėra tokia pati kaip programos delsa. Naudinga inžinerinė metrika yra laikas nuo realaus pakeitimo iki sprendimo, kuris pasirodo sistemos sąsajoje. Šis kelias apima jutiklio atsaką, transportavimą, buferį, išankstinį apdorojimą, išvadas arba sekimą, programinės įrangos planavimą ir išvesties ryšį.
Ta pati taisyklė galioja ir kadrų kamerai. Gerai suprojektuotas didelio kadrų dažnio konvejeris su tiesioginiais atminties keliais gali pranokti prastai integruotą įvykių konvejerį. Todėl architektūra turėtų būti lyginama su reprezentatyviu judesiu, apšvietimu ir algoritmais.
Įvykiais pagrįsta regėjimo programinė įranga ir SDK svarstymai
Įvykiu pagrįstos vizijos programinės įrangos paketui paprastai reikia įrenginio konfigūracijos, įvykių dekodavimo, laiko žymos tvarkymo, filtravimo, vizualizavimo, įrašymo ir pakartojimo. Naudinga įvykiais pagrįsta vizija SDK taip pat turėtų padėti lengvai sinchronizuoti išorinius paleidiklius ir kitus jutiklius, tikrinti įvykių dažnį ir atkurti užfiksuotą seką kuriant algoritmą.
Gamybinėms sistemoms programinė įranga turi būti platesnė nei darbalaukis SDK. Komandos turėtų apibrėžti, kaip įvykiai perkeliami į FPGA, MCU, MPU arba NPU išteklius; kaip išsaugomas kalibravimas; kaip sinchronizuojamas laikas; ir kaip galima atkurti lauko žurnalus. Jei algoritmas konvertuoja įvykius į sukauptus kadrus, kaupimo langas tampa aiškiu delsos ir informacijos kompromisu.
Kur naudinga įvykiais pagrįsta vizija
Įprastos įvykiais pagrįstos regėjimo programos apima greitą taikinio sekimą, manipuliavimą robotu, optinį srautą, vibracijos ar judesio analizę, greitą pramoninį patikrinimą ir autonominį suvokimą scenose su dideliais ryškumo pokyčiais. Stipriausi naudojimo atvejai paprastai yra tie, kai puiki laiko struktūra tiesiogiai pagerina sprendimą, o ne tik pakeičia įprastą fotoaparatą.
Įvykiais pagrįsta gynybos ir autonominių platformų vizija
Gynybos, saugumo ir autonominėse sistemose įvykių aptikimas gali būti svarbus greito judesio signalams, sekimo eksperimentams, mažos delsos optinėms apkrovoms ir jutiklių sintezės tyrimams. Sistema vis dar turi atitikti platformos reikalavimus, tokius kaip sinchronizavimas, deterministinės sąsajos, aplinkos projektavimas, įrašymas, kibernetinis saugumas ir patvirtinimas. Įvykių jutimas yra viena iš misijos grandinės sudedamųjų dalių, o ne savarankiškas suvokimo sprendimas.
Kai hibridinės kameros architektūra yra geresnė
Daugeliui praktinių sistemų naudinga derinant modalumus. Rėmeliai gali suteikti semantinio konteksto ir žmogaus skaitomų vaizdų, o įvykiai – laiko detalumo. Šiluminiai, inerciniai arba nuotolio jutikliai gali suteikti tvirtumo. „Fusion“ ypač naudinga, kai programai reikia ir „kas tai? ir "tiksliai kada ir kaip jis pajudėjo?"
Hibridinėms sistemoms bendras laikas yra būtinas. Prieš užbaigiant algoritmus, reikia atsižvelgti į aparatinės įrangos aktyviklius, laiko žymų domenus ir kalibravimą.
Praktinė įvykiais pagrįsta vizijos atskaitos architektūra
Nuorodų sistema gali įdėti deterministinį filtravimą ir laiko žymos darbą į FPGA, dirbtinio intelekto išvadas į NPU arba greitintuvą, programų paslaugas į MPU, o priežiūrą - į MCU arba realiojo laiko branduolį. Tinkamas skaidinys priklauso nuo įvykių greičio, modelio architektūros, atminties pralaidumo ir išorinių sąsajų. Mūsų FPGA vs NPU vs MPU edge AI vadovas išsamiau paaiškina šį skaidymą.
Atrankos kontrolinis sąrašas
- Apibrėžkite didžiausią priimtiną jutiklio iki sprendimo delsą.
- Išmatuokite numatomą judesio greitį, apšvietimo diapazoną ir blogiausio atvejo scenos aktyvumą.
- Nuspręskite, ar reikalingas absoliutus vaizdo intensyvumas, spalva ar žmogaus skaitomas vaizdo įrašas.
- Įvertinkite dažnių juostos plotį ir atminties judėjimą tiek tipiškoms, tiek blogiausioms scenoms.
- Patvirtinkite algoritmo, duomenų rinkinio ir įvykiais pagrįstos vizijos SDK brandą.
- Planuokite sinchronizavimą su rėmo, šiluminiais, inerciniais arba išoriniais paleidimo šaltiniais.
- Palyginkite visą dujotiekį prieš užšaldydami skaičiavimus, nešiklį ir šiluminį dizainą.
Pasirinkite stebėjimą, kurio reikia programai
| Paraiškos klausimas | Pirmiausia vertinkite | Ką išbandyti |
|---|---|---|
| Ar atspausdinta etiketė arba spalva tinkama? | Vaizdo kūrimas rėmeliu | Skiriamoji geba, apšvietimas, ekspozicija ir tikrinimo tikslumas |
| Kada greitai judantis kraštas kirto regioną? | Įvykiu pagrįstas jutimas | Laiko kokybė, scenos veikla, klaidingi įvykiai ir visiškas išvesties delsimas |
| Koks objektas yra ir kaip tiksliai jis juda? | Hibridinis rėmas ir renginių vamzdynas | Kalibravimas, bendras laikas, reprezentacija ir sintezės nauda |
| Ar sistema veiks su besikeičiančia šviesa ar vibracija? | Abu kandidatai tomis pačiomis reprezentacinėmis sąlygomis | Taikymo tikslumas, įvykių dažnis arba kadrų kokybė ir išteklių naudojimas |
Lygindami kandidatus naudokite tą pačią užduotį ir sceną. Ryški vizualizacija pati savaime nėra aptikimo rezultatas, o didelis įvykių skaičius nėra naudingos informacijos įrodymas. Prieš įrašydami palyginimą, susitarkite dėl išvesties metrikos.
Praktiškas būdas sukurti delsos biudžetą
Esant 60 kadrų per sekundę, kadrų intervalas yra maždaug 16.7 ms. Pagal supaprastintą modelį, kuriame scenos pasikeitimas vyksta tolygiai tarp momentinių mėginių, vidutinis laukimas iki kito pavyzdžio yra apie 8.3 ms. Ekspozicija, nuskaitymas, transportavimas ir apdorojimas yra papildomi efektai. Ši aritmetika apibūdina atrankos intervalą; tai nėra išmatuotas fotoaparato delsos laikas.
Įvykių kanale taip pat yra dizaino pasirinkimų, kurie padidina vėlavimą. Jei programa laukia, kol užsidarys 5 ms įvykio langas, prieš apdorodama, įvykis, esantis netoli to lango pradžios, gali palaukti beveik 5 ms vien tame etape. Tikslios jutiklio laiko žymos nepašalina šio buferio pasirinkimo. Naudokite šiuos pavyzdžius, kad nustatytumėte etapus, kuriuos verta išmatuoti, o ne siekdami gauti fiksuotą bet kurio jutiklio pranašumą.
| Riba | Rėmo vamzdynas | Renginių vamzdynas |
|---|---|---|
| Stebėjimas | Ekspozicija ir mėginio laikas | Ryškumo keitimo atsakas ir laiko žymos generavimas |
| Transportas | Nuskaitymo, susiejimo ir prieglobos buferiai | Įvykių kodavimas, nuorodų ir dekoderio buferiai |
| Pasiruošimas | Vaizdo konvertavimas, dydžio keitimas ir tenzoriaus paruošimas | Filtravimas, laiko langai ir reprezentacijų konstravimas |
| Sprendimas | Algoritmas ir išvesties planavimas | Algoritmas ir išvesties planavimas |
Išmatuokite išvesties amžių su tinkamu ryšiu tarp stebėjimo laikrodžio ir rezultatų laikrodžio. Programinės įrangos laiko žyma kameros skaitymo skambučio pabaigoje nebūtinai nurodo ekspozicijos laiką. Taip pat tiksli įvykio laiko žyma gali priklausyti laikrodžiui, kuris dar nėra suderintas su pagrindiniu kompiuteriu.
Sukurkite palyginimą, kurį galėtų atkurti kitas inžinierius
- Prieš pasirinkdami nustatymus, apibrėžkite užduotį, tikslinį judesį, apšvietimo diapazoną ir reikalingą galią.
- Dokumento optika, matymo laukas, jutiklių nustatymai, programinės įrangos versijos ir kalibravimas.
- Įrašykite tipines sąlygas, įskaitant sudėtingas scenas, pvz., mirgėjimą ar vibraciją, jei reikia.
- Kartu įvertinkite užduoties tikslumą, išvesties delsą, duomenų perdavimo spartą ir nuolatinę apdorojimo apkrovą.
- Išsaugokite įrašus ir konfigūracijos failus, kad algoritmų pakeitimus būtų galima palyginti su tomis pačiomis įvestimis.
Įgyvendinimo etape mūsų įvykių kameros programinė įranga ir SDK vadovas apima duomenų pateikimą, įrašymą ir diegimą. Naudokite laiko sinchronizavimo vadovas derinant modalumus.
Kurią kamerą vertinti norint patikrinti kokybę?
Pradėkite nuo defekto, kurį turite pastebėti. Trūksta komponento, atspausdinta etiketė arba paviršiaus žyma gali būti gerai tinkama įprastiniam kadro vaizdavimui su valdoma optika ir apšvietimu. Kai svarbus signalas yra greitas judėjimas arba tikslus pakeitimo laikas, įvertinkite įvykio jutimą pagal tą pačią užduotį.
Užrašykite mažiausią svarbią savybę, objekto greitį, matymo lauką, apšvietimo pokyčius ir galimą sprendimo laiką. Vertindami išlaikykite įprastus gamybos skirtumus: skirtingas partijas, pamainas, paviršiaus apdailą ir dalių padėtį. Palyginkite praleistus defektus ir klaidingus atmetimus bei apdorojimo greitį.
Įvykių aptikimą galima išbandyti, o ne kiekvienos tikrinimo sistemos reikalavimas. Žiūrėkite mūsų pramoninės vizijos ir kokybės kontrolės sprendimas kameros ir mašinos integravimui ir bandomajam planavimui.
Įvykiu pagrįstos vizijos DUK
Kas yra įvykiais pagrįsta vizija?
Įvykiais pagrįsta vizija yra jutiklinis metodas, kai pikseliai praneša apie vietinius ryškumo pokyčius asinchroniškai, užuot laukę, kol bus baigtas kadras. Kiekvienas įvykis paprastai turi pikselių koordinates, poliškumą ir laiko žymą, leidžiančią su judėjimu susijusiai informacijai pasiekti apdorojimo dujotiekį su puikia laiko skyra.
Kuo skiriasi įvykiais pagrįstas regėjimas ir mašininis matymas naudojant vaizdo kadrus?
Mašininis matymas naudojant vaizdo kadrus užfiksuoja pilnus vaizdus fiksuotais intervalais, o įvykiais pagrįstos regėjimo ataskaitos keičiasi jiems įvykus. Kadro kameros suteikia tankų erdvinį ir spalvų kontekstą; įvykių jutikliai gali sumažinti perteklinius statinius scenos duomenis ir pagerinti greito judėjimo laiką. Geriausia architektūra priklauso nuo užduoties, apšvietimo, programinės įrangos paketo ir reikalingo sprendimo delsos.
Kokios programinės įrangos ar SDK reikia įvykiais pagrįstam regėjimui?
Įvykiais pagrįstos vizijos programinė įranga turi apdoroti asinchroninius įvykių srautus, o ne tik įprastus vaizdo tenzorius. Praktinis SDK turėtų palaikyti jutiklio konfigūraciją, įvykių filtravimą, laiko žymų tvarkymą, vizualizavimą, įrašymą, atkūrimą, kalibravimą, sinchronizavimą ir konvertavimą į vaizdus, kurių reikia stebėjimo arba neuroninio tinklo vamzdynams.
Kur naudojama įvykiais pagrįsta vizija?
Įprastos įvykiais pagrįstos regėjimo programos apima didelės spartos robotiką, judesio sekimą, autonomines sistemas, pramoninį stebėjimą ir jutimą, kai dėl greito scenos pasikeitimo ar sudėtingo apšvietimo svarbu nustatyti laiką. Jis taip pat gali papildyti įprastas kameras hibridinėse suvokimo sistemose.
Kaip įvykiais pagrįsta vizija gali būti panaudota gynybos platformose?
Gynybos ir autonominėse platformose įvykių jutikliai gali palaikyti mažos delsos judesio signalus, sekimą ir suvokimą esant dideliam dinaminiam diapazonui arba greitam judėjimui. Diegiamai sistemai vis tiek reikalingas deterministinis laiko žymėjimas, tvirtos sąsajos, sinchronizuotas jutiklių duomenų sujungimas, patvirtinta programinė įranga ir kruopštus blogiausio atvejo įvykių dažnio matavimas.
Ar įvykiais pagrįstas vaizdo jutiklis visada turi mažesnį pralaidumą?
Ne. Statinės scenos gali generuoti mažai duomenų, tačiau dėl vibracijos, mirgėjimo ar labai tekstūruotų judesių gali susidaryti tankūs įvykių srautai. Todėl sąsajos ir atminties projektavimas turėtų naudoti išmatuotus blogiausio atvejo įvykių dažnius, o ne daryti prielaidą, kad įvykių aptikimas visada yra mažas pralaidumas.
Mašininis matymas, terminis vaizdas ir patikrinimo klausimas
Kompiuterinis matymas yra platus naudingos informacijos gavimo iš vaizdinių duomenų sritis. Pramoninio mašinos matymo atveju sistema taip pat turi pateikti pakartojamą patikrinimo rezultatą, atsižvelgiant į linijos apšvietimo, judėjimo ir laiko apribojimus. Pasirinkite kadru arba įvykiu pagrįstą jutimą, išbandydami defektą arba judėjimo funkciją, kurią programa iš tikrųjų turi stebėti.
Terminis vaizdavimas suteikia kitokį matavimo matmenį: infraraudonąją spinduliuotę, susijusią su paviršiaus temperatūra. Matoma kamera gali atskleisti surinkimo ar paviršiaus defektus, o šiluminė kamera – temperatūros modelius. Šie būdai gali papildyti vienas kitą, tačiau nė vienas negarantuoja kiekvieno gedimo matomumo. Prieš sujungdami juos į tikrinimo sistemą, apibrėžkite derinimo, matavimo sąlygas ir sprendimo taisykles.
Ištirkite vizualinę ir šiluminę kokybės patikrą
Techninės nuorodos
Laiko pavyzdžiai yra iliustruojantys skaičiavimai. Produkto lygmens delsos ir aptikimo teiginiai reikalauja viso diegimo matavimų.
Įvertinkite įvykiais pagrįstą viziją pagal savo tikrąją sprendimų kilpą.
Bendrinkite taikinį, judėjimo profilį, sąsajas, aplinką ir bandomųjų skaičių. Galime susieti reikalavimą su jutikliu, FPGA ir vietinio skaičiavimo architektūra.