Çfarë është vizioni i makinës duke përdorur kornizat e imazhit?
vizioni i makinës duke përdorur kornizat e imazhit e kap skenën si imazhe të plota në intervale të rregullta, për shembull 30, 60 ose 120 korniza për sekondë. Çdo kornizë përmban informacion të dendur hapësinor, gjë që i bën kamerat konvencionale një përshtatje natyrale për njohjen e objekteve, analizën e ngjyrave, inspektimin, hartëzimin dhe ekosistemin e madh të softuerit të ndërtuar rreth tensorëve të imazhit.
Kombinimi është se çdo kornizë lëviz një imazh të plotë përmes tubacionit, pavarësisht nëse skena ka ndryshuar apo jo. Për një lak vendimi të shpejtë, koha e ekspozimit, periudha e kuadrit, leximi i sensorit, transporti, konvertimi i imazhit dhe konkluzionet kontribuojnë të gjitha në vonesën nga skaji në skaj. Shpejtësia e lartë e kornizës zvogëlon intervalin e marrjes së mostrave, por zakonisht rrit gjerësinë e brezit, trafikun e kujtesës, fuqinë dhe ngarkesën termike.
Çfarë është vizioni i bazuar në ngjarje?
Vizioni i bazuar në ngjarje përdor një sensor imazhi të bazuar në ngjarje, pikselët e të cilit reagojnë në mënyrë asinkron ndaj ndryshimeve në shkëlqim. Në vend që të japë një imazh drejtkëndor me një kadencë fikse, sensori prodhon një rrymë që përmban koordinatat e pikselit, polaritetin dhe vulat kohore të sakta. Prandaj, rajonet statike gjenerojnë pak ose aspak të dhëna ndërsa skajet lëvizëse mund të prodhojnë ngjarje me rezolucion shumë të mirë kohor.
Ky paraqitje është i dobishëm kur koha e lëvizjes ka më shumë rëndësi sesa marrja e përsëritur e një imazhi të plotë. Mund të mbështesë gjurmimin me vonesë të ulët, robotikën me shpejtësi të lartë dhe tranzicione të vështira të ndriçimit, por transmetimi i ngjarjeve nuk është një fotografi normale. Algoritmet, vizualizimi, regjistrimi dhe mjetet e vlefshmërisë duhet të dizajnohen rreth modelit të të dhënave.
Si një sensor imazhi i bazuar në ngjarje ndryshon shtegun e të dhënave
Një sistem i dobishëm referimi ekspozon rrugën e plotë nga marrja e sensorit përmes filtrimit dhe përpunimit deri në daljen e aplikacionit. Instrumentoni ato kufij në mënyrë që pretendimet e vonesës dhe të normës së të dhënave të mund të vlerësohen nga fundi në fund.
Dallimi kryesor arkitektonik nuk është thjesht "kamera më e shpejtë kundrejt kamerës më të ngadaltë". Një tubacion konvencional i vizionit shpesh fillon me një tampon të plotë imazhi. Një tubacion i bazuar në ngjarje mund të fillojë përpunimin e ngjarjeve individuale ose dritareve të vogla të ngjarjeve sapo të mbërrijnë. Kjo lejon që filtrimi, shtrirja e vulave kohore, logjika e rajonit të interesit dhe veçoritë e lëvizjes të funksionojnë afër sensorit pa pritur për një kornizë të plotë.
Megjithatë, të dhënat e ngjarjeve mund të bëhen të dendura në skena me teksturë të lartë ose nën dridhje dhe dridhje. Prandaj, dizajni i sistemit duhet të masë shkallën e ngjarjes në rastin më të keq, përdorimin e ndërfaqes dhe gjerësinë e brezit të memories në vend që të supozohet se ndijimi i ngjarjeve nënkupton gjithmonë gjerësi të ulët brezi.
Vizioni i bazuar në ngjarje kundrejt vizionit të makinës duke përdorur korniza imazhi
| Dimensioni | vizioni i makinës duke përdorur kornizat e imazhit | Vizioni i bazuar në ngjarje |
|---|---|---|
| Dalja e sensorit | Imazhe të dendura në intervale fikse | Ngjarjet asinkrone të ndryshimit të shkëlqimit |
| Informacioni i kohës | I kufizuar nga ekspozimi dhe kadenca e kornizës | Vula kohore të shkëlqyera të lidhura me ngjarje individuale |
| Të dhëna statike të skenës | Kornizat e plota vazhdojnë të mbërrijnë | Pak aktivitet nga rajone të pandryshuara |
| Konteksti hapësinor / ngjyra | I fortë; intensiteti absolut i imazhit dhe imazhi me ngjyra të pjekura | indirekte; transmetimi i ngjarjeve përshkruan ndryshimet në vend të një imazhi konvencional |
| Lëvizje me shpejtësi të lartë | Kërkon ekspozim dhe shpejtësi adekuate të kornizës | I përshtatshëm për ndryshimet e shpejta kohore |
| Ekosistemi i softuerit | CV shumë e pjekur dhe vegla e mësimit të thellë | Algoritme, paraqitje dhe grupe të dhënash më të specializuara |
| Përshtatja më e mirë | Imazhe të përgjithshme, njohje, teksturë dhe imazhe të lexueshme nga njeriu | Dinamika e shpejtë, veçori kohore dhe perceptim i lëvizjes me vonesë të ulët |
Vonesa: matja e sensorit në vendim, jo një komponent
Kamerat e ngjarjeve zgjidhen shpesh për perceptim me vonesë të ulët, por rezolucioni i vulës kohore të sensorit nuk është i njëjtë me vonesën e aplikacionit. Një metrikë e dobishme inxhinierike është koha nga një ndryshim në botën reale deri në vendimin që shfaqet në ndërfaqen e sistemit. Kjo rrugë përfshin përgjigjen e sensorit, transportin, buferimin, parapërpunimin, konkluzionet ose gjurmimin, planifikimin e softuerit dhe komunikimin e daljes.
I njëjti rregull vlen për një aparat fotografik me kornizë. Një tubacion i projektuar mirë me shpejtësi të lartë kuadri me shtigje të drejtpërdrejta të memories mund të jetë më i mirë se një tubacion ngjarjesh të integruar keq. Prandaj, arkitektura duhet të krahasohet me lëvizjen, ndriçimin dhe algoritmet përfaqësuese.
Softuer vizioni i bazuar në ngjarje dhe konsiderata SDK
Një grup softueri i bazuar në ngjarje zakonisht ka nevojë për konfigurimin e pajisjes, dekodimin e ngjarjeve, trajtimin e vulave kohore, filtrimin, vizualizimin, regjistrimin dhe riprodhimin. Një vizion i dobishëm i bazuar në ngjarje SDK duhet gjithashtu ta bëjë të lehtë sinkronizimin e nxitësve të jashtëm dhe sensorëve të tjerë, të inspektojë shkallët e ngjarjeve dhe të riprodhojë një sekuencë të kapur gjatë zhvillimit të algoritmit.
Për sistemet e prodhimit, softueri duhet të shtrihet përtej një desktopi SDK. Ekipet duhet të përcaktojnë se si zhvendosen ngjarjet në burimet FPGA, MCU, MPU ose NPU; si ruhet kalibrimi; si sinkronizohet koha; dhe si mund të rishikohen regjistrat e fushës. Nëse një algoritëm i konverton ngjarjet në korniza të akumuluara, dritarja e grumbullimit bëhet një shkëmbim i qartë i vonesës kundër informacionit.
Aty ku vizioni i bazuar në ngjarje është i dobishëm
Aplikacionet tipike të vizionit të bazuara në ngjarje përfshijnë gjurmimin e objektivit me shpejtësi të lartë, manipulimin robotik, rrjedhën optike, analizën e dridhjeve ose lëvizjes, inspektimin e shpejtë industrial dhe perceptimin autonom në skenat me ndryshime të mëdha ndriçimi. Rastet më të forta të përdorimit janë zakonisht ato ku struktura e mirë kohore përmirëson drejtpërdrejt vendimin në vend që thjesht të zëvendësojë një aparat fotografik konvencional.
Vizioni i bazuar në ngjarje për platformat e mbrojtjes dhe autonome
Në sistemet e mbrojtjes, sigurisë dhe autonome, ndijimi i ngjarjeve mund të jetë i rëndësishëm për sinjalet e lëvizjes së shpejtë, eksperimentet e gjurmimit, ngarkesat optike me vonesë të ulët dhe kërkimin e shkrirjes së sensorëve. Sistemi ende duhet të plotësojë kërkesat e platformës si sinkronizimi, ndërfaqet përcaktuese, dizajni mjedisor, regjistrimi, siguria kibernetike dhe vlefshmëria. Ndjeshmëria e ngjarjeve është një komponent i zinxhirit të misionit, jo një zgjidhje e plotë perceptimi në vetvete.
Kur një arkitekturë hibride e kamerës është më e mirë
Shumë sisteme praktike përfitojnë nga kombinimi i modaliteteve. Kornizat mund të ofrojnë kontekst semantik dhe imazhe të lexueshme nga njeriu, ndërsa ngjarjet kontribuojnë në detaje kohore. Sensorët termikë, inercialë ose të diapazonit mund të shtojnë qëndrueshmëri. Fusion është veçanërisht i dobishëm kur aplikacioni ka nevojë për të dyja "çfarë është?" dhe "saktësisht kur dhe si lëvizi?"
Për sistemet hibride, koha e përbashkët është thelbësore. Aktivizuesit e harduerit, domenet e vulave kohore dhe kalibrimi duhet të merren parasysh përpara se të finalizohen algoritmet.
Një arkitekturë praktike referimi e vizionit e bazuar në ngjarje
Një sistem referimi mund të vendosë filtrimin përcaktues dhe punën e vulës kohore në një FPGA, përfundimin e AI në një NPU ose përshpejtues, shërbimet e aplikacionit në një MPU dhe mbikëqyrjen në një bërthamë MCU ose në kohë reale. Ndarja e saktë varet nga shpejtësia e ngjarjeve, arkitektura e modelit, gjerësia e brezit të kujtesës dhe ndërfaqet e jashtme. Jonë FPGA vs NPU vs MPU edge AI udhëzues shpjegon më hollësisht këtë ndarje.
Lista kontrolluese e përzgjedhjes
- Përcaktoni vonesën maksimale të pranueshme nga sensori në vendim.
- Matni shpejtësinë e pritshme të lëvizjes, diapazonin e ndriçimit dhe aktivitetin e skenës në rastin më të keq.
- Vendosni nëse kërkohet intensiteti absolut i imazhit, ngjyra ose video e lexueshme nga njeriu.
- Vlerësoni gjerësinë e brezit dhe lëvizjen e kujtesës për skenat tipike dhe ato më të këqija.
- Konfirmo maturimin e algoritmit, grupit të të dhënave dhe vizionit të bazuar në ngjarje SDK.
- Planifikoni sinkronizimin me korniza, burime termike, inerciale ose të jashtme të ndezjes.
- Benchmark tubacionin e plotë përpara se të ngrini llogaritjen, transportuesin dhe modelin termik.
Zgjidhni rreth vëzhgimit që i nevojitet aplikacionit
| Pyetja e aplikimit | Qasja për të vlerësuar së pari | Çfarë të testoni |
|---|---|---|
| A është e saktë etiketa ose ngjyra e printuar? | Imazhi i bazuar në kornizë | Rezolucioni, ndriçimi, ekspozimi dhe saktësia e inspektimit |
| Kur një skaj që lëviz me shpejtësi kaloi një rajon? | Ndjeshmëri e bazuar në ngjarje | Cilësia e kohës, aktiviteti i skenës, ngjarjet e rreme dhe vonesa e plotë e daljes |
| Cili objekt është i pranishëm dhe sa saktë po lëviz? | Një kornizë hibride dhe tubacion ngjarjesh | Kalibrimi, koha e përbashkët, përfaqësimi dhe përfitimi i shkrirjes |
| A do të funksionojë sistemi me ndryshimin e dritës apo dridhjeve? | Të dy kandidatët në të njëjtat kushte përfaqësuese | Saktësia e aplikacionit, shkalla e ngjarjeve ose cilësia e kornizës dhe përdorimi i burimeve |
Përdorni të njëjtën detyrë dhe skenë kur krahasoni kandidatët. Një vizualizim i mprehtë nuk është në vetvete një rezultat zbulimi dhe një numër i lartë i ngjarjeve nuk është dëshmi e informacionit të dobishëm. Pajtohuni me metrikën e daljes përpara se të regjistroni krahasimin.
Një mënyrë praktike për të ndërtuar buxhetin e vonesës
Me 60 korniza për sekondë, intervali i kuadrove është afërsisht 16.7 ms. Sipas një modeli të thjeshtuar në të cilin ndryshimi i skenës ndodh në mënyrë të njëtrajtshme ndërmjet mostrave të menjëhershme, pritja mesatare për mostrën tjetër është rreth 8.3 ms. Ekspozimi, leximi, transporti dhe përpunimi janë efekte shtesë. Kjo aritmetikë përshkruan një interval kampionimi; nuk është një vonesë e matur e kamerës.
Një tubacion ngjarjesh ka gjithashtu zgjedhje të projektimit që shtojnë vonesën. Nëse një aplikacion pret që një dritare e ngjarjes 5 ms të mbyllet përpara përpunimit, një ngjarje afër fillimit të asaj dritareje mund të presë pothuajse 5 ms vetëm në atë fazë. Vulat kohore të imta të sensorëve nuk e heqin atë zgjedhje buffering. Përdorni këta shembuj për të identifikuar fazat që ia vlen të maten, jo për të pretenduar një avantazh fiks për asnjërin sensor.
| Kufiri | Tubacioni i kornizës | Tubacioni i ngjarjes |
|---|---|---|
| Vëzhgimi | Ekspozimi dhe koha e mostrës | Përgjigja e ndryshimit të shkëlqimit dhe gjenerimi i vulës kohore |
| Transporti | Lexoni, lidhjet dhe buferat e hostit | Buferët e kodimit të ngjarjeve, lidhjeve dhe dekoderit |
| Përgatitja | Konvertimi i imazhit, ndryshimi i madhësisë dhe përgatitja e tensorit | Filtrimi, dritaret kohore dhe ndërtimi i përfaqësimit |
| Vendimi | Algoritmi dhe planifikimi i daljes | Algoritmi dhe planifikimi i daljes |
Matni moshën e prodhimit me një marrëdhënie të vlefshme midis orës së vëzhgimit dhe orës së rezultatit. Një vulë kohore e softuerit në fund të një telefonate të lexuar nga kamera nuk përfaqëson domosdoshmërisht kohën e ekspozimit. Po kështu, një vulë kohore e saktë e ngjarjes mund t'i përkasë një ore që nuk është ende në linjë me hostin.
Hartoni një krahasim që një inxhinier tjetër mund ta riprodhojë
- Përcaktoni detyrën, lëvizjen e synuar, diapazonin e ndriçimit dhe daljen e kërkuar përpara se të zgjidhni cilësimet.
- Optika e dokumentit, fusha e shikimit, cilësimet e sensorit, versionet e softuerit dhe kalibrimi.
- Regjistroni kushtet përfaqësuese, duke përfshirë skena të vështira si dridhje ose dridhje aty ku është e përshtatshme.
- Vlerësoni saktësinë e detyrës, vonesën e daljes, shpejtësinë e të dhënave dhe ngarkesën e qëndrueshme të përpunimit së bashku.
- Ruani regjistrimet dhe skedarët e konfigurimit në mënyrë që ndryshimet e algoritmit të mund të krahasohen në të njëjtat hyrje.
Për fazën e zbatimit tonë softueri i kamerës së ngjarjeve dhe udhëzuesi SDK mbulon paraqitjet, regjistrimin dhe vendosjen e të dhënave. Përdorni udhëzues për sinkronizimin e kohës kur kombinohen modalitetet.
Cila kamerë duhet të vlerësoni për inspektimin e cilësisë?
Filloni me defektin që duhet të vëzhgoni. Një komponent i munguar, etiketë e printuar ose shenjë sipërfaqësore mund të jetë e përshtatshme për imazhet konvencionale të kornizës me optikë dhe ndriçim të kontrolluar. Kur sinjali i rëndësishëm është lëvizja e shpejtë ose koha e saktë e një ndryshimi, vlerësoni ndjeshmërinë e ngjarjes kundrejt të njëjtës detyrë.
Shkruani tiparin më të vogël përkatës, shpejtësinë e objektit, fushën e shikimit, ndryshimin e ndriçimit dhe kohën e disponueshme të vendimit. Mbani variacionet normale të prodhimit në vlerësim: grupe të ndryshme, ndërrime, përfundime të sipërfaqes dhe pozicione të pjesëve. Krahasoni defektet e humbura dhe refuzimet e rreme, si dhe shpejtësinë e përpunimit.
Ndjeshmëria e ngjarjeve është një kandidat për të testuar, jo një kërkesë për çdo sistem inspektimi. Shih tonën vizion industrial dhe zgjidhje të kontrollit të cilësisë për integrimin nga kamera në makinë dhe planifikimin pilot.
Pyetjet e shpeshta të vizionit të bazuar në ngjarje
Çfarë është vizioni i bazuar në ngjarje?
Vizioni i bazuar në ngjarje është një qasje ndijuese në të cilën pikselët raportojnë ndryshimet e ndriçimit lokal në mënyrë asinkrone në vend që të presin për një kornizë të plotë imazhi. Çdo ngjarje zakonisht mbart koordinatat e pikselit, polaritetin dhe një vulë kohore, duke lejuar që informacioni i lidhur me lëvizjen të arrijë tubacionin e përpunimit me rezolucion të mirë kohor.
Cili është ndryshimi midis vizionit të bazuar në ngjarje dhe vizionit të makinës duke përdorur kornizat e imazhit?
vizioni i makinës duke përdorur kornizat e imazheve kap imazhe të plota në intervale fikse, ndërsa vizioni i bazuar në ngjarje raporton ndryshimet kur ndodhin. Kamerat me kornizë sigurojnë kontekst të dendur hapësinor dhe me ngjyra; Sensorët e ngjarjeve mund të reduktojnë të dhënat e tepërta të skenës statike dhe të përmirësojnë kohën për lëvizje të shpejtë. Arkitektura më e mirë varet nga detyra, ndriçimi, grumbulli i softuerit dhe vonesa e kërkuar e vendimit.
Çfarë softueri ose SDK nevojitet për vizionin e bazuar në ngjarje?
Softueri i vizionit i bazuar në ngjarje duhet të trajtojë rrjedhat e ngjarjeve asinkrone dhe jo vetëm tensorët e zakonshëm të imazhit. Një SDK praktik duhet të mbështesë konfigurimin e sensorit, filtrimin e ngjarjeve, trajtimin e vulave kohore, vizualizimin, regjistrimin, riprodhimin, kalibrimin, sinkronizimin dhe konvertimin në përfaqësime të kërkuara nga përcjellja ose tubacionet e rrjetit nervor.
Ku përdoret vizioni i bazuar në ngjarje?
Aplikacionet tipike të vizionit të bazuara në ngjarje përfshijnë robotikën me shpejtësi të lartë, gjurmimin e lëvizjes, sistemet autonome, monitorimin industrial dhe sensorin ku ndryshimet e shpejta të skenës ose ndriçimi i vështirë e bëjnë kohën të rëndësishme. Ai gjithashtu mund të plotësojë kamerat konvencionale në sistemet e perceptimit hibrid.
Si mund të përdoret vizioni i bazuar në ngjarje në platformat e mbrojtjes?
Për platformat mbrojtëse dhe autonome, sensorët e ngjarjeve mund të mbështesin sinjalet e lëvizjes me vonesë të ulët, gjurmimin dhe perceptimin nën diapazonin e lartë dinamik ose lëvizjen e shpejtë. Një sistem i vendosshëm kërkon ende vulosje përcaktuese kohore, ndërfaqe të forta, bashkim të sinkronizuar të të dhënave të sensorëve, softuer të vlefshëm dhe matje të kujdesshme të normave të ngjarjeve në rastin më të keq.
A është gjithmonë një sensor imazhi i bazuar në ngjarje me gjerësi bande më të ulët?
Jo. Skenat statike mund të gjenerojnë pak të dhëna, por dridhjet, dridhjet ose lëvizjet me teksturë të lartë mund të krijojnë transmetime të dendura ngjarjesh. Prandaj, dizajni i ndërfaqes dhe i memories duhet të përdorë normat e matura të ngjarjeve të rastit më të keq në vend që të supozohet se sensori i ngjarjeve është gjithmonë me gjerësi bande të ulët.
Pamja e makinës, imazhi termik dhe pyetja e inspektimit
Vizioni kompjuterik është fusha e gjerë e nxjerrjes së informacionit të dobishëm nga të dhënat vizuale. Në vizionin e makinerive industriale, sistemi duhet gjithashtu të japë një rezultat të përsëritshëm inspektimi nën kufizimet e ndriçimit, lëvizjes dhe kohës së linjës. Zgjidhni midis ndjeshmërisë së bazuar në kornizë dhe asaj të bazuar në ngjarje duke testuar defektin ose veçorinë e lëvizjes që aplikacioni në të vërtetë duhet të vëzhgojë.
Imazhi termik shton një dimension tjetër matjeje: rrezatim infra të kuq që lidhet me temperaturën e sipërfaqes. Një aparat fotografik i dukshëm mund të zbulojë defekte të montimit ose sipërfaqes, ndërsa një aparat fotografik termik zbulon modele të temperaturës. Këto modalitete mund të jenë plotësuese, por asnjëra nuk garanton dukshmërinë e çdo defekti. Përcaktoni shtrirjen, kushtet e matjes dhe rregullat e vendimmarrjes përpara se t'i kombinoni në një sistem inspektimi.
Eksploroni inspektimin vizual dhe termik të cilësisë
Referencat teknike
- Gallego et al.: Vizioni i bazuar në ngjarje - Një sondazh
- Profeti: transmetimi i ngjarjeve dhe aksesi me dritare
Shembujt e kohës janë llogaritje ilustruese. Pretendimet e vonesës dhe zbulimit të nivelit të produktit kërkojnë matje të zbatimit të plotë.
Vlerësoni vizionin e bazuar në ngjarje në ciklin tuaj aktual të vendimit.
Ndani objektivin, profilin e lëvizjes, ndërfaqet, mjedisin dhe sasinë e pilotit. Ne mund ta hartojmë kërkesën në një sensor, FPGA dhe arkitekturë të llogaritjes lokale.