Mi az a keretalapú látás?
A képkocka-alapú látás teljes képként rögzíti a jelenetet rendszeres időközönként, például 30, 60 vagy 120 képkockaként másodpercenként. Minden képkocka sűrű térinformációkat tartalmaz, ami a hagyományos kamerákat természetes módon illeszkedik az objektumfelismeréshez, a színelemzéshez, az ellenőrzéshez, a térképezéshez és a képtenzorok köré épített nagy szoftveres ökoszisztémához.
A kompromisszum az, hogy minden képkocka egy teljes képet mozgat a csővezetéken, függetlenül attól, hogy a jelenet megváltozott-e vagy sem. A gyors döntési ciklus érdekében az expozíciós idő, a képkocka periódusa, az érzékelő kiolvasása, az átvitel, a képátalakítás és a következtetés egyaránt hozzájárul a végpontok közötti késleltetéshez. A nagy képkockasebesség csökkenti a mintavételezési intervallumot, de általában növeli a sávszélességet, a memóriaforgalmat, az energiát és a hőterhelést.
Mi az az eseményalapú jövőkép?
Az eseményalapú látás eseményalapú képérzékelőt használ, amelynek képpontjai aszinkron módon reagálnak a fényerő változásaira. Ahelyett, hogy rögzített ütemű téglalap alakú képet adna le, az érzékelő pixelkoordinátákat, polaritást és pontos időbélyegeket tartalmazó adatfolyamot állít elő. A statikus régiók ezért kevés vagy egyáltalán nem generálnak adatot, míg a mozgó élek nagyon finom időbeli felbontású eseményeket hozhatnak létre.
Ez az ábrázolás akkor hasznos, ha a mozgás időzítése fontosabb, mint a teljes kép ismételt fogadása. Támogathatja az alacsony késleltetésű követést, a nagy sebességű robotikát és a nehéz világítási átmeneteket, de az eseményfolyam nem egy normál fénykép. Az algoritmusokat, a vizualizációt, a rögzítést és az érvényesítési eszközöket az adatmodell köré kell megtervezni.
Hogyan változtatja meg egy eseményalapú képérzékelő az adatútvonalat
Egy hasznos referenciarendszer feltárja a teljes utat az érzékelőgyűjtéstől a szűrésen és feldolgozáson át az alkalmazás kimenetéig. Mérje fel ezeket a határokat, hogy a késleltetési és adatsebesség-követelések végpontokig kiértékelhetők legyenek.
A legfontosabb építészeti különbség nem egyszerűen a „gyorsabb kamera a lassabb kamerával szemben”. A hagyományos képcsatorna gyakran teljes képpufferrel kezdődik. Az eseményalapú folyamat azonnal megkezdheti az egyes események vagy kis eseményablak feldolgozását, amint megérkeznek. Ez lehetővé teszi a szűrést, az időbélyeg-igazítást, az érdeklődési terület logikáját és a mozgási funkciókat, hogy az érzékelő közelében futhassanak anélkül, hogy megvárnák a teljes képkockát.
Az eseményadatok azonban sűrűvé válhatnak erősen texturált jelenetekben, illetve vibráció és villogás hatására. A rendszertervezésnek ezért a legrosszabb eseményarányt, az interfész kihasználtságát és a memória sávszélességét kell mérnie, nem pedig azt feltételezni, hogy az eseményérzékelés mindig alacsony sávszélességet jelent.
Eseményalapú látás kontra keret alapú látásmód
| Méret | Keret alapú látásmód | Eseményalapú látásmód |
|---|---|---|
| Érzékelő kimenet | Sűrű képek meghatározott időközönként | Aszinkron fényerő-változási események |
| Idő információ | Az expozíció és a képkockafordulat korlátozza | Az egyes eseményekhez kapcsolódó finom időbélyegek |
| Statikus jelenetadatok | Folyamatosan érkeznek a teljes képkockák | Kevés tevékenység változatlan régiókból |
| Térbeli/színes kontextus | Erős; abszolút képintenzitás és érett színes képalkotás | Közvetett; Az eseményfolyam a változásokat írja le, nem pedig egy hagyományos kép |
| Nagy sebességű mozgás | Megfelelő expozíciót és képkockasebességet igényel | Jól alkalmazkodik a gyors időbeli változásokhoz |
| Szoftver ökoszisztéma | Nagyon kiforrott önéletrajz és mélytanulási eszközök | Speciálisabb algoritmusok, reprezentációk és adatkészletek |
| Legjobb illeszkedés | Általános képalkotás, felismerés, textúra és ember által olvasható képek | Gyors dinamika, időbeli jellemzők és alacsony késleltetésű mozgásérzékelés |
Késleltetési idő: az érzékelőtől a döntésig mérni, nem egy komponenst
Az eseménykamerákat gyakran alacsony késleltetésű észlelésre választják, de az érzékelő időbélyegének felbontása nem azonos az alkalmazás késleltetésével. Hasznos mérnöki mérőszám a valós változástól a rendszerfelületen megjelenő döntésig eltelt idő. Ez az útvonal magában foglalja a szenzorválaszt, a szállítást, a pufferelést, az előfeldolgozást, a következtetést vagy a követést, a szoftverütemezést és a kimeneti kommunikációt.
Ugyanez a szabály vonatkozik a keretes kamerára is. Egy jól megtervezett, nagy képkockasebességű adatfolyam közvetlen memóriaútvonalakkal felülmúlhatja a rosszul integrált eseményfolyamat teljesítményét. Az építészetet ezért reprezentatív mozgással, világítással és algoritmusokkal kell összehasonlítani.
Eseményalapú látásszoftver és SDK szempontok
Az eseményalapú látásszoftver-verem általában eszközkonfigurációt, eseménydekódolást, időbélyeg-kezelést, szűrést, vizualizációt, rögzítést és visszajátszást igényel. A hasznos eseményalapú SDK-nek a külső triggerek és egyéb érzékelők szinkronizálását, az események gyakoriságának ellenőrzését és a rögzített sorozatok reprodukálását is egyszerűvé kell tennie az algoritmus fejlesztése során.
Éles rendszerek esetén a szoftvernek túl kell nyúlnia az asztali SDK-n. A csapatoknak meg kell határozniuk, hogy az események hogyan helyezhetők át a FPGA, MCU, MPU vagy NPU erőforrásokba; a kalibráció tárolásának módja; hogyan történik az idő szinkronizálása; és hogyan lehet visszajátszani a mezőnaplókat. Ha egy algoritmus az eseményeket felhalmozott keretekké alakítja, a felhalmozási ablak explicit késleltetés és információ kompromisszummá válik.
Ahol hasznos az eseményalapú látás
A tipikus eseményalapú látási alkalmazások közé tartozik a nagysebességű célkövetés, a robotizált manipuláció, az optikai áramlás, a rezgés- vagy mozgáselemzés, a gyors ipari ellenőrzés és az autonóm érzékelés nagy fényerő-változásokkal járó jelenetekben. A legerősebb felhasználási esetek általában azok, ahol a finom időszerkezet közvetlenül javítja a döntést, nem pedig pusztán egy hagyományos kamera cseréje.
Eseményalapú vízió a védelemről és az autonóm platformokról
A védelmi, biztonsági és autonóm rendszerekben az eseményérzékelés releváns lehet a gyors mozgási jelzések, a nyomkövetési kísérletek, az alacsony késleltetésű optikai hasznos terhelések és az érzékelő-fúziós kutatások szempontjából. A rendszernek továbbra is meg kell felelnie az olyan platformkövetelményeknek, mint a szinkronizálás, a determinisztikus interfészek, a környezeti tervezés, a rögzítés, a kiberbiztonság és az érvényesítés. Az eseményérzékelés a küldetéslánc egyik összetevője, önmagában nem teljes észlelési megoldás.
Amikor egy hibrid kamera architektúra jobb
Számos gyakorlati rendszer számára előnyös a modalitások kombinálása. A keretek szemantikai kontextust és ember által olvasható képeket biztosíthatnak, míg az események időbeli részletességgel járulnak hozzá. A hő-, inerciális vagy távolságmérő érzékelők robusztusságot adhatnak. A Fusion különösen akkor hasznos, ha az alkalmazásnak szüksége van mindkettőre: „mi ez?” és "pontosan mikor és hogyan mozdult?"
A hibrid rendszerekben elengedhetetlen a közös idő. Az algoritmusok véglegesítése előtt figyelembe kell venni a hardveres triggereket, az időbélyeg-tartományokat és a kalibrációt.
Praktikus eseményalapú vízió-referencia architektúra
A referenciarendszer determinisztikus szűrést és időbélyegző munkát helyezhet el egy FPGA-ben, mesterséges intelligencia következtetést NPU-re vagy gyorsítóra, alkalmazásszolgáltatásokat egy MPU-re, és felügyeletet egy MCU-re vagy valós idejű magra. A megfelelő partíció az eseménysebességtől, a modell architektúrától, a memória sávszélességétől és a külső interfészektől függ. A miénk FPGA vs NPU vs MPU Edge AI útmutató részletesebben elmagyarázza ezt a particionálást.
Kiválasztási ellenőrző lista
- Határozza meg az érzékelőtől a döntésig tartó maximális elfogadható késleltetést.
- Mérje meg a várható mozgási sebességet, a megvilágítási tartományt és a legrosszabb jelenettevékenységet.
- Döntse el, hogy abszolút képintenzitású, színes vagy ember által olvasható videó szükséges.
- Becsülje meg a sávszélességet és a memória mozgását a tipikus és a legrosszabb jelenetek esetében is.
- Erősítse meg az algoritmus, az adatkészlet és az eseményalapú látás SDK érettségét.
- Tervezze meg a szinkronizálást keret-, hő-, inerciális vagy külső indítóforrásokkal.
- Végezze el a teljes csővezeték összehasonlítását, mielőtt lefagyasztja a számításokat, az alaplapokat és a termikus tervezést.
Válasszon azon megfigyelések közül, amelyekre az alkalmazásnak szüksége van
| Pályázati kérdés | Az első megközelítés az értékeléshez | Mit kell tesztelni |
|---|---|---|
| A nyomtatott címke vagy szín megfelelő? | Keret alapú képalkotás | Felbontás, világítás, expozíció és ellenőrzési pontosság |
| Mikor keresztezte a gyorsan mozgó él egy régiót? | Esemény alapú érzékelés | Időzítés minősége, jelenettevékenység, hamis események és teljes kimeneti késleltetés |
| Milyen objektum van jelen, és milyen pontosan mozog? | Hibrid keret és eseményfolyamat | Kalibrálás, megosztott idő, reprezentáció és fúziós előnyök |
| Működni fog a rendszer változó fénnyel vagy rezgéssel? | Mindkét jelölt azonos reprezentatív feltételekkel | Az alkalmazás pontossága, az eseménysebesség vagy a keret minősége és az erőforrás-felhasználás |
Használja ugyanazt a feladatot és jelenetet a jelöltek összehasonlításakor. Az éles megjelenítés önmagában nem észlelési eredmény, és a magas eseményszám nem bizonyíték a hasznos információkra. Az összehasonlítás rögzítése előtt állapodjon meg a kimeneti mérőszámban.
Praktikus módja a késleltetési költségkeret felépítésének
60 képkocka/másodperc esetén a képkocka-intervallum hozzávetőlegesen 16.7 ms. Egy egyszerűsített modellben, amelyben a jelenetváltás egyenletesen megy végbe a pillanatnyi minták között, az átlagos várakozási idő a következő mintára körülbelül 8.3 ms. Az expozíció, a kiolvasás, a szállítás és a feldolgozás további hatások. Ez az aritmetika egy mintavételi intervallumot ír le; ez nem mért kamera késleltetés.
Az eseményfolyamat olyan tervezési lehetőségeket is tartalmaz, amelyek késleltetést okoznak. Ha egy alkalmazás a feldolgozás előtt arra vár, hogy egy 5 ms eseményablak bezáruljon, akkor az ablak elejéhez közeli esemény csaknem 5 ms-t várhat egyedül ebben a szakaszban. Az érzékelő finom időbélyegei nem szüntetik meg ezt a pufferelési lehetőséget. Használja ezeket a példákat a mérésre érdemes szakaszok azonosítására, ne pedig arra, hogy fix előnyt igényeljen egyik érzékelő számára sem.
| Határ | Keret csővezeték | Eseménycsatorna |
|---|---|---|
| Megfigyelés | Expozíció és minta időzítése | Fényerő-változási válasz és időbélyeg generálása |
| Közlekedés | Kiolvasási, hivatkozási és gazdagéppufferek | Eseménykódolás, link és dekódoló pufferek |
| Előkészítés | Képkonverzió, átméretezés és tenzor előkészítés | Szűrés, időablakok és ábrázolásépítés |
| határozat | Algoritmus és kimenet ütemezése | Algoritmus és kimenet ütemezése |
Mérje meg a kimeneti kort a megfigyelési óra és az eredmény óra közötti érvényes kapcsolattal. A szoftveres időbélyeg a kameraolvasási hívás végén nem feltétlenül jelenti az expozíciós időt. Hasonlóképpen, egy pontos eseményidőbélyeg tartozhat olyan órához, amely még nincs igazítva a gazdagéphez.
Tervezzen egy összehasonlítást, amelyet egy másik mérnök reprodukálhat
- A beállítások kiválasztása előtt határozza meg a feladatot, a célmozgást, a megvilágítási tartományt és a szükséges teljesítményt.
- Dokumentumoptika, látómező, szenzorbeállítások, szoftververziók és kalibrálás.
- Rögzítse a reprezentatív körülményeket, beleértve a nehéz jeleneteket, például a vibrálást vagy a vibrációt, ahol releváns.
- Értékelje együtt a feladat pontosságát, a kimeneti késleltetést, az adatsebességet és a tartós feldolgozási terhelést.
- Őrizze meg a felvételeket és a konfigurációs fájlokat, hogy az algoritmusok változásait össze lehessen hasonlítani ugyanazokon a bemeneteken.
A megvalósítás szakaszában a mi esemény-kamera szoftver és SDK útmutató kiterjed az adatok megjelenítésére, rögzítésére és telepítésére. Használja a időszinkronizálási útmutató modalitások kombinálásakor.
Melyik kamerát érdemes értékelni a minőségellenőrzés során?
Kezdje azzal a hibával, amelyet meg kell figyelnie. Egy hiányzó alkatrész, nyomtatott címke vagy felületi jel jól illeszkedik a hagyományos keretes képalkotáshoz, szabályozott optikával és megvilágítással. Ha a fontos jel a gyors mozgás vagy a változás pontos időzítése, értékelje az eseményérzékelést ugyanazon feladat alapján.
Jegyezze fel a legkisebb releváns jellemzőt, az objektum sebességét, a látómezőt, a világítás változásait és a rendelkezésre álló döntési időt. Tartsa be a normál gyártási eltéréseket az értékelésben: különböző tételek, műszakok, felületkezelések és alkatrészpozíciók. Hasonlítsa össze a kihagyott hibákat és a hamis elutasításokat, valamint a feldolgozási sebességet.
Az eseményérzékelést tesztelni kell, nem minden ellenőrző rendszer követelménye. Lásd a mi ipari látás és minőségellenőrzési megoldás kamera-gép integrációhoz és kísérleti tervezéshez.
Eseményalapú jövőkép GYIK
Mi az az eseményalapú jövőkép?
Az eseményalapú látás egy olyan érzékelési megközelítés, amelyben a képpontok aszinkron módon jelentik a helyi fényerő-változásokat, ahelyett, hogy a teljes képkockára várnának. Minden esemény jellemzően pixelkoordinátákat, polaritást és időbélyeget hordoz, lehetővé téve, hogy a mozgással kapcsolatos információk finom időbeli felbontással érjék el a feldolgozó folyamatot.
Mi a különbség az eseményalapú látásmód és a keretalapú látásmód között?
A képkocka-alapú látás meghatározott időközönként teljes képeket rögzít, míg az eseményalapú látásmódosítások a bekövetkezésükkor. A keretes kamerák sűrű térbeli és színkontextust biztosítanak; Az eseményérzékelők csökkenthetik a redundáns statikus jelenetadatokat, és javíthatják a gyors mozgás időzítését. A legjobb architektúra a feladattól, a világítástól, a szoftververemtől és a szükséges döntési késleltetéstől függ.
Milyen szoftverre vagy SDK-re van szükség az eseményalapú látáshoz?
Az eseményalapú látásszoftvernek a hagyományos képtenzorok helyett aszinkron eseményfolyamokat kell kezelnie. A praktikus SDK-nek támogatnia kell az érzékelőkonfigurációt, az eseményszűrést, az időbélyegek kezelését, a vizualizációt, a rögzítést, a lejátszást, a kalibrálást, a szinkronizálást és a nyomkövető vagy neurális hálózati csővezetékek által igényelt reprezentációkká alakítását.
Hol alkalmazzák az eseményalapú látást?
A tipikus eseményalapú látásalkalmazások közé tartozik a nagy sebességű robotika, a mozgáskövetés, az autonóm rendszerek, az ipari megfigyelés és érzékelés, ahol a gyors jelenetváltások vagy a nehéz megvilágítás fontossá teszik az időzítést. Kiegészítheti a hagyományos kamerákat is a hibrid érzékelési rendszerekben.
Hogyan használható az eseményalapú látás a védelmi platformokon?
Védelmi és autonóm platformokon az eseményérzékelők támogatják az alacsony késleltetésű mozgásjelzéseket, a követést és az érzékelést nagy dinamikatartományban vagy gyors mozgásban. A telepíthető rendszer továbbra is determinisztikus időbélyegzést, robusztus interfészeket, szinkronizált szenzorfúziót, validált szoftvert és a legrosszabb esetek arányának gondos mérését igényel.
Az eseményalapú képérzékelő mindig kisebb sávszélességű?
Nem. A statikus jelenetek kevés adatot generálhatnak, de a vibráció, a vibrálás vagy az erősen texturált mozgás sűrű eseményfolyamokat hozhat létre. Az interfész és a memória tervezésénél ezért a mért legrosszabb eset arányát kell használni, ahelyett, hogy azt feltételeznénk, hogy az eseményérzékelés mindig alacsony sávszélességű.
Műszaki referenciák
Az időzítési példák szemléltető számítások. A termékszintű késleltetési és észlelési állításokhoz a teljes megvalósítás mérésére van szükség.
Értékelje az eseményalapú jövőképet a tényleges döntési körben.
Ossza meg a célt, a mozgásprofilt, az interfészeket, a környezetet és a pilóta mennyiségét. A követelményt leképezhetjük érzékelőre, FPGA-re és helyi számítási architektúrára.