Какво е визия, базирана на рамка?
Визията, базирана на кадри, улавя сцената като цялостни изображения на редовни интервали, например 30, 60 или 120 кадъра в секунда. Всеки кадър съдържа плътна пространствена информация, което прави конвенционалните камери естествено подходящи за разпознаване на обекти, анализ на цветовете, проверка, картографиране и голямата софтуерна екосистема, изградена около тензори на изображения.
Компромисът е, че всеки кадър премества пълно изображение през тръбопровода, независимо дали сцената се е променила или не. За бърз цикъл на вземане на решения времето на експозиция, периодът на кадрите, отчитането на сензора, транспортът, преобразуването на изображението и изводът допринасят за латентността от край до край. Високата честота на кадрите намалява интервала на семплиране, но обикновено увеличава честотната лента, трафика на паметта, мощността и термичното натоварване.
Какво е визия, базирана на събития?
Визията, базирана на събития, използва сензор за изображения, базиран на събития, чиито пиксели реагират асинхронно на промените в яркостта. Вместо да доставя правоъгълно изображение с фиксиран каданс, сензорът произвежда поток, съдържащ пикселни координати, полярност и точни времеви отпечатъци. Следователно статичните региони генерират малко или никакви данни, докато движещите се ръбове могат да генерират събития с много фина времева разделителна способност.
Това представяне е полезно, когато времето на движение е по-важно от многократното получаване на пълно изображение. Може да поддържа проследяване с ниска латентност, високоскоростна роботика и трудни преходи на осветлението, но потокът от събития не е нормална снимка. Алгоритмите, инструментите за визуализация, запис и валидиране трябва да бъдат проектирани около модела на данни.
Как базиран на събитие сензор за изображения променя пътя на данните
Полезна референтна система разкрива пълния път от придобиване на сензор през филтриране и обработка до изхода на приложението. Инструментирайте тези граници, така че твърденията за латентност и скорост на данни да могат да бъдат оценени от край до край.
Ключовата архитектурна разлика не е просто „по-бърза камера срещу по-бавна камера“. Един конвенционален визуален тръбопровод често започва с пълен буфер на изображението. Конвейер, базиран на събития, може да започне да обработва отделни събития или малки прозорци на събития веднага щом пристигнат. Това позволява филтриране, подравняване на времево клеймо, логика на региона на интерес и функции за движение да работят близо до сензора, без да чакат пълен кадър.
Данните за събития обаче могат да станат гъсти в силно текстурирани сцени или при вибрации и трептене. Следователно дизайнът на системата трябва да измерва честотата на събитията в най-лошия случай, използването на интерфейса и честотната лента на паметта, вместо да приема, че отчитането на събития винаги означава ниска честотна лента.
Визия, базирана на събития срещу визия, базирана на рамка
| Измерение | Рамкова визия | Визия, базирана на събития |
|---|---|---|
| Сензорен изход | Плътни изображения на фиксирани интервали | Асинхронни събития за промяна на яркостта |
| Информация за времето | Ограничено от експозиция и каданс на кадрите | Фини времеви клейма, свързани с отделни събития |
| Данни за статична сцена | Продължават да пристигат цели рамки | Слаба активност от непроменени региони |
| Пространствен / цветен контекст | Силен; абсолютен интензитет на изображението и зряло цветно изображение | Косвени; потокът от събития описва промените, а не конвенционален образ |
| Високоскоростно движение | Изисква подходяща експозиция и кадрова честота | Подходящ за бързи времеви промени |
| Софтуерна екосистема | Много зряло CV и инструменти за задълбочено обучение | По-специализирани алгоритми, представяния и набори от данни |
| Най-добро прилягане | Общо изображение, разпознаване, текстура и четливи изображения | Бърза динамика, времеви характеристики и възприемане на движение с ниска латентност |
Латентност: измервайте от сензора до решението, а не от един компонент
Камерите за събития често се избират за възприемане с ниска латентност, но резолюцията на клеймото на сензора не е същата като латентността на приложението. Полезна инженерна метрика е времето от промяна в реалния свят до решението, което се появява в системния интерфейс. Този път включва реакция на сензора, транспортиране, буфериране, предварителна обработка, извод или проследяване, софтуерно планиране и изходна комуникация.
Същото правило важи и за камера с рамка. Добре проектиран конвейер с висока честота на кадрите с директни пътища към паметта може да превъзхожда лошо интегрирания конвейер за събития. Следователно архитектурата трябва да бъде сравнена с представително движение, осветление и алгоритми.
Софтуер за визия, базиран на събития, и съображения за SDK
Софтуерният стек за визуализация, базиран на събития, обикновено се нуждае от конфигурация на устройството, декодиране на събития, обработка на времеви щампи, филтриране, визуализация, запис и възпроизвеждане. Полезната визия, базирана на събития, SDK също трябва да улесни синхронизирането на външни тригери и други сензори, да инспектира честотата на събитията и да възпроизвежда заснета последователност по време на разработването на алгоритъм.
За производствените системи софтуерът трябва да надхвърля десктопа SDK. Екипите трябва да определят как събитията се преместват в FPGA, MCU, MPU или NPU ресурси; как се съхранява калибрирането; как се синхронизира времето; и как могат да се възпроизвеждат дневниците на полето. Ако даден алгоритъм преобразува събития в натрупани рамки, прозорецът за натрупване се превръща в явен компромис между латентност и информация.
Къде е полезна визия, базирана на събития
Типичните приложения за визия, базирани на събития, включват високоскоростно проследяване на целта, роботизирана манипулация, оптичен поток, анализ на вибрации или движение, бърза индустриална инспекция и автономно възприятие в сцени с големи промени в яркостта. Най-силните случаи на употреба обикновено са тези, при които фината времева структура директно подобрява решението, вместо просто да замени конвенционална камера.
Базирана на събития визия за защита и автономни платформи
В системите за отбрана, сигурност и автономни системи отчитането на събития може да бъде подходящо за сигнали за бързо движение, експерименти за проследяване, оптични полезни товари с ниска латентност и изследвания за синтез на сензори. Системата все още трябва да отговаря на изискванията на платформата като синхронизация, детерминистични интерфейси, екологичен дизайн, запис, киберсигурност и валидиране. Отчитането на събития е един компонент от веригата на мисията, а не цялостно решение за възприятие само по себе си.
Когато хибридната архитектура на камерата е по-добра
Много практически системи се възползват от комбинирането на модалности. Рамките могат да осигурят семантичен контекст и четими за човека изображения, докато събитията допринасят за временни детайли. Термичните, инерционните или сензорите за обхват могат да добавят устойчивост. Fusion е особено полезен, когато приложението се нуждае от двете „какво е това?“ и "точно кога и как се е преместил?"
За хибридните системи споделеното време е от съществено значение. Преди да бъдат финализирани алгоритмите, трябва да се вземат предвид хардуерните задействания, домейните на клеймото за време и калибрирането.
Практична референтна архитектура на визия, базирана на събития
Една референтна система може да постави детерминистично филтриране и времеви печат в FPGA, AI изводи в NPU или ускорител, приложни услуги в MPU и надзор в MCU или ядро в реално време. Правилният дял зависи от честотата на събитията, архитектурата на модела, честотната лента на паметта и външните интерфейси. Нашите FPGA срещу NPU срещу MPU edge AI ръководство обяснява това разделяне по-подробно.
Контролен списък за избор
- Определете максимално допустимото забавяне от сензора до вземането на решение.
- Измерете очакваната скорост на движение, обхвата на осветлението и активността на сцената в най-лошия случай.
- Решете дали е необходим абсолютен интензитет на изображението, цвят или четимо за хора видео.
- Оценете честотната лента и движението на паметта както за типични, така и за най-лоши сцени.
- Потвърдете зрелостта на алгоритъма, набора от данни и базираната на събития визия SDK.
- Планирайте синхронизация с рамкови, термични, инерционни или външни източници на задействане.
- Сравнете пълния тръбопровод, преди да замразите изчисленията, носещия и топлинния дизайн.
Изберете около наблюдението, от което се нуждае приложението
| Въпрос за кандидатстване | Подход, за да оцените първо | Какво да тествам |
|---|---|---|
| Правилен ли е отпечатаният етикет или цвят? | Рамково базирано изображение | Разделителна способност, осветление, експозиция и точност на проверката |
| Кога бързо движещ се ръб пресича регион? | Отчитане на базата на събития | Качество на времето, активност на сцената, фалшиви събития и пълно забавяне на изхода |
| Какъв обект присъства и колко точно се движи? | Хибридна рамка и канал за събития | Предимства за калибриране, споделено време, представяне и синтез |
| Ще работи ли системата с променяща се светлина или вибрация? | И двамата кандидати при еднакви представителни условия | Точност на приложението, честота на събития или качество на рамката и използване на ресурси |
Използвайте една и съща задача и сцена, когато сравнявате кандидати. Ясната визуализация сама по себе си не е резултат от откриване, а високият брой събития не е доказателство за полезна информация. Съгласете изходния показател, преди да запишете сравнението.
Практичен начин за изграждане на бюджет за забавяне
При 60 кадъра в секунда интервалът на кадъра е приблизително 16.7 ms. При опростен модел, в който промяната на сцената се случва равномерно между моментните проби, средното изчакване до следващата проба е около 8.3 ms. Експониране, отчитане, транспорт и обработка са допълнителни ефекти. Тази аритметика описва интервал на вземане на проби; това не е измерена латентност на камерата.
Конвейерът за събития също има дизайнерски решения, които добавят забавяне. Ако дадено приложение изчаква 5 ms прозорец за събитие да се затвори преди обработка, събитие близо до началото на този прозорец може да изчака почти 5 ms само на този етап. Фините времеви отпечатъци на сензора не премахват този избор за буфериране. Използвайте тези примери, за да идентифицирате етапи, които си струва да бъдат измерени, а не да претендирате за фиксирано предимство за всеки сензор.
| граница | Рамков тръбопровод | Конвейер за събития |
|---|---|---|
| Наблюдение | Експозиция и време на пробите | Реакция на промяна на яркостта и генериране на времеви щампи |
| транспорт | Буфери за четене, връзка и хост | Кодиране на събития, буфери за връзка и декодер |
| Подготовка | Преобразуване на изображения, преоразмеряване и подготовка на тензор | Филтриране, времеви прозорци и изграждане на представяне |
| Решение | Алгоритъм и планиране на изхода | Алгоритъм и планиране на изхода |
Измерете изходящата възраст с валидна връзка между часовника за наблюдение и часовника за резултата. Софтуерното времево клеймо в края на повикване за четене от камерата не представлява непременно време на експозиция. По същия начин точен времеви печат на събитие може да принадлежи на часовник, който все още не е съгласуван с хоста.
Проектирайте сравнение, което друг инженер може да възпроизведе
- Определете задачата, целевото движение, обхвата на осветлението и необходимия изход, преди да изберете настройки.
- Документирайте оптика, зрително поле, настройки на сензора, версии на софтуера и калибриране.
- Запишете представителни условия, включително трудни сцени като трептене или вибрация, където е уместно.
- Оценявайте заедно точността на задачата, забавянето на изхода, скоростта на данни и продължително натоварване при обработка.
- Запазете записите и конфигурационните файлове, така че промените в алгоритъма да могат да се сравняват на едни и същи входове.
За етапа на изпълнение, нашият софтуер за камери за събития и ръководство за SDK обхваща представяне на данни, запис и внедряване. Използвайте ръководство за синхронизиране на времето при комбиниране на модалности.
Коя камера трябва да оцените за проверка на качеството?
Започнете с дефекта, който трябва да наблюдавате. Липсващ компонент, отпечатан етикет или повърхностна маркировка може да са подходящи за конвенционално рамково изображение с контролирана оптика и осветяване. Когато важният сигнал е бързо движение или точният момент на промяна, оценете разпознаването на събитие спрямо същата задача.
Запишете най-малката подходяща характеристика, скоростта на обекта, зрителното поле, вариацията на осветлението и наличното време за вземане на решение. Поддържайте нормални производствени вариации в оценката: различни партиди, смени, повърхностни покрития и позиции на частите. Сравнете пропуснатите дефекти и фалшивите отхвърляния, както и скоростта на обработка.
Разпознаването на събития е кандидат за тестване, а не изискване за всяка система за проверка. Вижте нашите индустриална визия и решение за контрол на качеството за интеграция от камера към машина и планиране на пилотен проект.
ЧЗВ за визия, базирана на събития
Какво е визия, базирана на събития?
Визията, базирана на събития, е сензорен подход, при който пикселите съобщават за локални промени в яркостта асинхронно, вместо да чакат пълна рамка на изображението. Всяко събитие обикновено носи пикселни координати, полярност и клеймо за време, което позволява на информацията, свързана с движението, да достигне до тръбопровода за обработка с фина времева разделителна способност.
Каква е разликата между визия, базирана на събития, и визия, базирана на рамка?
Визията, базирана на рамка, улавя пълни изображения на фиксирани интервали, докато визия, базирана на събития, отчита промените, когато се случват. Рамковите камери осигуряват плътен пространствен и цветен контекст; сензорите за събития могат да намалят излишните данни за статична сцена и да подобрят времето за бързо движение. Най-добрата архитектура зависи от задачата, осветлението, софтуерния стек и необходимото забавяне на решението.
Какъв софтуер или SDK е необходим за визия, базирана на събития?
Софтуерът за визуализация, базиран на събития, трябва да обработва асинхронни потоци от събития, а не само конвенционални тензори на изображения. Практичният SDK трябва да поддържа конфигурация на сензори, филтриране на събития, обработка на времеви щампи, визуализация, запис, възпроизвеждане, калибриране, синхронизиране и преобразуване в представяния, изисквани от проследяване или конвейери на невронни мрежи.
Къде се използва визия, базирана на събития?
Типичните приложения за визия, базирани на събития, включват високоскоростна роботика, проследяване на движение, автономни системи, промишлен мониторинг и засичане, където бързите промени на сцената или трудното осветление правят времето важно. Може също така да допълва конвенционалните камери в хибридни системи за възприемане.
Как може да се използва визия, базирана на събития, в отбранителни платформи?
За отбранителни и автономни платформи сензорите за събития могат да поддържат сигнали за движение с ниска латентност, проследяване и възприемане при висок динамичен обхват или бързо движение. Една разгръщаема система все още изисква детерминистично маркиране на времето, здрави интерфейси, синхронизиран сливане на сензорни данни, валидиран софтуер и внимателно измерване на честотата на най-лошите събития.
Сензорът за изображения, базиран на събития, винаги ли е с по-ниска честотна лента?
Не. Статичните сцени може да генерират малко данни, но вибрациите, трептенето или силно текстурираното движение могат да създадат плътни потоци от събития. Следователно дизайнът на интерфейса и паметта трябва да използва измерени честоти на събития в най-лошия случай, вместо да приема, че отчитането на събития винаги е с ниска честотна лента.
машинно зрение, термовизионно изобразяване и въпросът за проверка
Компютърното зрение е широко поле за извличане на полезна информация от визуални данни. В индустриалния машинно зрение системата трябва също така да осигури повтарящ се резултат от инспекция при ограниченията на осветлението, движението и времето на линията. Изберете между базирано на рамка и базирано на събитие отчитане, като тествате функцията за дефект или движение, която приложението действително трябва да наблюдава.
термовизионно изобразяване добавя различно измерване: инфрачервено лъчение, свързано с повърхностната температура. Видимата камера може да разкрие монтажни или повърхностни дефекти, докато термалната камера разкрива температурни модели. Тези модалности могат да се допълват, но нито една от тях не гарантира видимост на всяка грешка. Определете подравняване, условия на измерване и правила за вземане на решения, преди да ги комбинирате в система за инспекция.
Разгледайте визуална и термична проверка на качеството
Технически справки
- Галего и др.: Визия, базирана на събития — Проучване
- Prophesee: стрийминг на събития и достъп през прозорец
Примерите за време са илюстративни изчисления. Твърденията за забавяне и откриване на ниво продукт изискват измервания на пълното внедряване.
Оценете визията, базирана на събития, във вашия действителен цикъл на вземане на решения.
Споделете целта, профила на движение, интерфейсите, околната среда и пилотен проект количеството. Можем да картографираме изискването в сензор, FPGA и локална компютърна архитектура.