Вид заснован на догађајима и вид заснован на кадровима: практично поређење

Шта је машински вид помоћу оквира за слике?

машински вид помоћу оквира слике снима сцену као комплетне слике у редовним интервалима, на пример 30, 60 или 120 кадрова у секунди. Сваки оквир садржи густе просторне информације, што чини конвенционалне камере природним прикладним за препознавање објеката, анализу боја, инспекцију, мапирање и велики софтверски екосистем изграђен око тензора слике.

Компромис је у томе што сваки кадар помера комплетну слику кроз цевовод без обзира да ли се сцена променила или не. За брзу петљу одлучивања, време експозиције, период кадра, очитавање сензора, транспорт, конверзија слике и закључивање доприносе латенцији од краја до краја. Висока брзина кадрова смањује интервал узорковања, али обично повећава пропусни опсег, меморијски саобраћај, снагу и топлотно оптерећење.

Шта је визија заснована на догађајима?

Визија заснована на догађајима користи сензор слике заснован на догађају чији пиксели асинхроно реагују на промене у осветљености. Уместо да испоручује правоугаону слику са фиксном каденцом, сензор производи ток који садржи координате пиксела, поларитет и прецизне временске ознаке. Статички региони стога генеришу мало или нимало података док покретне ивице могу произвести догађаје са веома фином временском резолуцијом.

Ова репрезентација је корисна када је време кретања важније од сталног добијања комплетне слике. Може да подржи праћење са малим кашњењем, роботику велике брзине и тешке прелазе осветљења, али ток догађаја није нормална фотографија. Алгоритми, алати за визуализацију, снимање и валидацију морају бити дизајнирани око модела података.

Како сензор слике заснован на догађају мења путању података

Користан референтни систем открива цео пут од аквизиције сензора преко филтрирања и обраде до излаза апликације. Инструментирајте те границе тако да захтеви за кашњење и брзину података могу да се процене од краја до краја.

Кључна архитектонска разлика није само „бржа камера у односу на спорију камеру“. Конвенционални цевовод за вид често почиње пуним бафером слике. Цјевовод заснован на догађајима може почети да обрађује појединачне догађаје или мале прозоре догађаја чим стигну. То омогућава филтрирање, поравнање временске ознаке, логику региона од интереса и функције кретања да се приближе сензору без чекања на комплетан кадар.

Међутим, подаци о догађајима могу постати густи у сценама са високом текстуром или под вибрацијама и треперењем. Дизајн система би стога требало да мери стопу догађаја у најгорем случају, искоришћеност интерфејса и пропусни опсег меморије уместо да претпоставља да детекција догађаја увек значи ниску пропусност.

Визија заснована на догађајима у односу на машински вид помоћу оквира слика

Латенција: мери од сензора до одлуке, а не једне компоненте

Камере за догађаје се често бирају за перцепцију са малим кашњењем, али резолуција временске ознаке сензора није иста као латенција апликације. Корисна инжењерска метрика је време од промене у стварном свету до одлуке која се појављује на интерфејсу система. Тај пут укључује одговор сензора, транспорт, баферовање, претходну обраду, закључивање или праћење, софтверско заказивање и излазну комуникацију.

Исто правило важи и за камеру са оквиром. Добро дизајниран цевовод велике брзине кадрова са директним меморијским путањама може надмашити лоше интегрисани цевовод догађаја. Архитектура би стога требало да буде упоредна са репрезентативним кретањем, осветљењем и алгоритмима.

Софтвер за визију заснован на догађајима и SDK разматрања

Софтверски сто заснован на догађају обично захтева конфигурацију уређаја, декодирање догађаја, руковање временском ознаком, филтрирање, визуелизацију, снимање и понављање. Корисна визија заснована на догађајима SDK такође би требало да олакша синхронизацију спољних окидача и других сензора, прегледа стопе догађаја и репродукује снимљену секвенцу током развоја алгоритма.

За производне системе, софтвер мора да се протеже даље од десктопа SDK. Тимови треба да дефинишу како се догађаји премештају у ресурсе FPGA, MCU, MPU или NPU; како се калибрација чува; како је време синхронизовано; и како се записници поља могу поново репродуковати. Ако алгоритам конвертује догађаје у акумулиране оквире, прозор акумулације постаје експлицитни компромис између кашњења и информација.

Где је визија заснована на догађајима корисна

Типичне апликације за вид засноване на догађајима укључују брзо праћење циља, роботску манипулацију, оптички ток, анализу вибрација или покрета, брзу индустријску инспекцију и аутономну перцепцију у сценама са великим променама осветљености. Најјачи случајеви употребе су обично они где фина временска структура директно побољшава одлуку, а не само да замени конвенционалну камеру.

Визија заснована на догађајима за одбрану и аутономне платформе

У одбрамбеним, безбедносним и аутономним системима, откривање догађаја може бити релевантно за брзе сигнале покрета, експерименте праћења, оптичка оптерећења са малим кашњењем и истраживање фузије сензора. Систем још увек мора да задовољи захтеве платформе као што су синхронизација, детерминистички интерфејси, дизајн окружења, снимање, сајбер безбедност и валидација. Откривање догађаја је једна компонента ланца мисије, а не само по себи комплетно решење перцепције.

Када је архитектура хибридне камере боља

Многи практични системи имају користи од комбиновања модалитета. Оквири могу да обезбеде семантички контекст и човеку читљиве слике, док догађаји доприносе временским детаљима. Топлотни, инерцијски сензори или сензори домета могу додати робусност. Фусион је посебно корисна када је апликацији потребно и „шта је то?“ и „тачно када и како се кретао?“

За хибридне системе, заједничко време је од суштинског значаја. Хардверске окидаче, домене временске ознаке и калибрацију треба размотрити пре финализације алгоритама.

Практична референтна архитектура визије заснована на догађајима

Референтни систем може да постави детерминистичко филтрирање и рад са временском ознаком у FPGA, АИ закључивање на NPU или акцелератор, услуге апликација на MPU и надзор на MCU или језгро у реалном времену. Исправна партиција зависи од брзине догађаја, архитектуре модела, пропусног опсега меморије и екстерних интерфејса. Наше FPGA вс NPU вс MPU edge AI водич објашњава ову партицију детаљније.

Контролна листа за избор

• Дефинишите максимално прихватљиво кашњење сензора до одлуке.
• Измерите очекивану брзину кретања, домет осветљења и активност сцене у најгорем случају.
• Одлучите да ли је потребан апсолутни интензитет слике, боја или видео читљив за људе.
• Процените пропусни опсег и кретање меморије за типичне и најгоре сцене.
• Потврдите зрелост алгоритма, скупа података и визије засноване на догађајима SDK.
• Планирајте синхронизацију са оквиром, термичким, инерцијским или спољним изворима окидача.
• Упоредите комплетан цевовод пре замрзавања прорачуна, носача и термалног дизајна.

Машински вид, термовизија и инспекцијско питање

Компјутерски вид је широко поље извлачења корисних информација из визуелних података. У индустријској машинској визији, систем такође мора да пружи поновљиве резултате инспекције под ограничењима осветљења, кретања и времена линије. Бирајте између сенсинга заснованог на фрејму и сенсинга заснованог на догађају тестирањем дефекта или функције кретања коју апликација заправо треба да посматра.

Топлотно снимање додаје другачију димензију мерења: инфрацрвено зрачење повезано са температуром површине. Видљива камера може открити дефекте склопа или површине, док термална камера открива температурне обрасце. Ови модалитети могу бити комплементарни, али ни један не гарантује видљивост сваке грешке. Дефинишите поравнање, услове мерења и правила одлучивања пре него што их комбинујете у систем инспекције.

Истражите визуелну и термичку инспекцију квалитета