Kamery zdarzeniowe a klatkowe: porównanie

Co to jest widzenie oparte na ramkach?

Widzenie oparte na klatkach rejestruje scenę jako pełne obrazy w regularnych odstępach czasu, na przykład klatki 30, 60 lub 120 na sekundę. Każda klatka zawiera gęstą informację przestrzenną, co sprawia, że ​​konwencjonalne kamery w naturalny sposób nadają się do rozpoznawania obiektów, analizy kolorów, inspekcji, mapowania i dużego ekosystemu oprogramowania zbudowanego wokół tensorów obrazu.

Kompromis polega na tym, że każda klatka przenosi cały obraz przez potok, niezależnie od tego, czy scena uległa zmianie, czy nie. W przypadku szybkiej pętli decyzyjnej czas ekspozycji, okres klatek, odczyt z czujnika, transport, konwersja obrazu i wnioskowanie przyczyniają się do kompleksowego opóźnienia. Wysoka liczba klatek na sekundę zmniejsza interwał próbkowania, ale zwykle zwiększa przepustowość, ruch w pamięci, moc i obciążenie termiczne.

Czym jest wizja oparta na zdarzeniach?

Wizja oparta na zdarzeniach wykorzystuje czujnik obrazu oparty na zdarzeniach, którego piksele reagują asynchronicznie na zmiany jasności. Zamiast dostarczać prostokątny obraz ze stałą częstotliwością, czujnik wytwarza strumień zawierający współrzędne pikseli, polaryzację i dokładne znaczniki czasu. Dlatego regiony statyczne generują niewiele danych lub nie generują ich wcale, podczas gdy ruchome krawędzie mogą generować zdarzenia z bardzo dobrą rozdzielczością czasową.

Ta reprezentacja jest przydatna, gdy czas ruchu ma większe znaczenie niż wielokrotne otrzymanie pełnego obrazu. Może obsługiwać śledzenie z niskim opóźnieniem, szybką robotykę i trudne przejścia oświetlenia, ale strumień zdarzeń nie jest normalną fotografią. Algorytmy, narzędzia do wizualizacji, rejestrowania i walidacji muszą być zaprojektowane wokół modelu danych.

Jak czujnik obrazu oparty na zdarzeniach zmienia ścieżkę danych

Przydatny system odniesienia udostępnia pełną ścieżkę od pozyskania czujnika, poprzez filtrowanie i przetwarzanie, aż do danych wyjściowych aplikacji. Instrumentuj te granice, aby można było kompleksowo oceniać roszczenia dotyczące opóźnień i szybkości transmisji danych.

Kluczowa różnica w architekturze nie polega po prostu na „szybszej kamerze w porównaniu z wolniejszą kamerą”. Konwencjonalny potok wizyjny często zaczyna się od pełnego bufora obrazu. Potok oparty na zdarzeniach może rozpocząć przetwarzanie pojedynczych zdarzeń lub małych okien zdarzeń natychmiast po ich przybyciu. Umożliwia to filtrowanie, dopasowywanie znaczników czasu, logikę obszaru zainteresowania i funkcje ruchu blisko czujnika bez czekania na pełną klatkę.

Jednak dane zdarzeń mogą stać się gęste w scenach o dużej teksturze lub w przypadku wibracji i migotania. Dlatego projekt systemu powinien mierzyć częstotliwość najgorszych przypadków, wykorzystanie interfejsu i przepustowość pamięci, zamiast zakładać, że wykrywanie zdarzeń zawsze oznacza małą przepustowość.

Wizja oparta na zdarzeniach a wizja oparta na ramkach

Opóźnienie: mierz czujnik do decyzji, a nie jeden komponent

Kamery zdarzeń są często wybierane pod kątem percepcji o małych opóźnieniach, ale rozdzielczość sygnatury czasowej czujnika nie jest taka sama, jak opóźnienie aplikacji. Przydatną metryką inżynierską jest czas od rzeczywistej zmiany do decyzji pojawiającej się w interfejsie systemu. Ścieżka ta obejmuje reakcję czujnika, transport, buforowanie, przetwarzanie wstępne, wnioskowanie lub śledzenie, planowanie oprogramowania i komunikację wyjściową.

Ta sama zasada dotyczy aparatu ramowego. Dobrze zaprojektowany potok o dużej liczbie klatek na sekundę z bezpośrednimi ścieżkami pamięci może przewyższać słabo zintegrowany potok zdarzeń. Dlatego architekturę należy porównać z reprezentatywnym ruchem, oświetleniem i algorytmami.

Oprogramowanie wizyjne oparte na zdarzeniach i zagadnienia związane z SDK

Stos oprogramowania wizyjnego opartego na zdarzeniach zazwyczaj wymaga konfiguracji urządzenia, dekodowania zdarzeń, obsługi znaczników czasu, filtrowania, wizualizacji, nagrywania i odtwarzania. Przydatna wizja oparta na zdarzeniach SDK powinna również ułatwiać synchronizację zewnętrznych wyzwalaczy i innych czujników, sprawdzać częstotliwość zdarzeń i odtwarzać przechwyconą sekwencję podczas opracowywania algorytmu.

W przypadku systemów produkcyjnych oprogramowanie musi wykraczać poza komputer stacjonarny SDK. Zespoły powinny zdefiniować sposób przenoszenia zdarzeń do zasobów FPGA, MCU, MPU lub NPU; sposób przechowywania kalibracji; jak czas jest synchronizowany; oraz w jaki sposób można odtwarzać dzienniki terenowe. Jeśli algorytm konwertuje zdarzenia na skumulowane ramki, okno akumulacji staje się wyraźnym kompromisem między opóźnieniem a informacją.

Gdzie przydatna jest wizja oparta na zdarzeniach

Typowe zastosowania wizyjne oparte na zdarzeniach obejmują szybkie śledzenie celów, manipulację robotyczną, przepływ optyczny, analizę wibracji lub ruchu, szybką inspekcję przemysłową i autonomiczną percepcję w scenach o dużych zmianach jasności. Najsilniejsze przypadki użycia to zazwyczaj te, w których delikatna struktura czasowa bezpośrednio poprawia decyzję, a nie tylko zastępuje konwencjonalną kamerę.

Oparta na zdarzeniach wizja platform obronnych i autonomicznych

W systemach obronnych, bezpieczeństwa i autonomicznych wykrywanie zdarzeń może mieć zastosowanie w przypadku sygnałów szybkiego ruchu, eksperymentów ze śledzeniem, ładunków optycznych o niskim opóźnieniu i badań nad fuzją czujników. System nadal musi spełniać wymagania platformy, takie jak synchronizacja, deterministyczne interfejsy, projektowanie środowiskowe, rejestracja, cyberbezpieczeństwo i walidacja. Wykrywanie zdarzeń to jeden z elementów łańcucha misji, a nie samo w sobie kompletne rozwiązanie w zakresie percepcji.

Kiedy hybrydowa architektura aparatu jest lepsza

Wiele praktycznych systemów korzysta z łączenia modalności. Ramki mogą zapewniać kontekst semantyczny i obrazy czytelne dla człowieka, podczas gdy zdarzenia dostarczają szczegółów czasowych. Czujniki termiczne, bezwładnościowe lub dalmierzowe mogą zwiększyć niezawodność. Fuzja jest szczególnie przydatna, gdy aplikacja potrzebuje zarówno pytania „co to jest?” oraz „dokładnie kiedy i jak się przesunął?”

W przypadku systemów hybrydowych niezbędny jest wspólny czas. Przed sfinalizowaniem algorytmów należy rozważyć wyzwalacze sprzętowe, domeny znaczników czasu i kalibrację.

Praktyczna architektura referencyjna wizji oparta na zdarzeniach

System referencyjny może umieścić deterministyczne filtrowanie i pracę znacznika czasu w FPGA, wnioskowanie AI w NPU lub akceleratorze, usługi aplikacyjne w MPU i nadzór w MCU lub rdzeniu czasu rzeczywistego. Wybór prawidłowej partycji zależy od częstotliwości zdarzeń, architektury modelu, przepustowości pamięci i interfejsów zewnętrznych. Nasz Przewodnik po FPGA vs NPU vs MPU Edge AI wyjaśnia ten podział bardziej szczegółowo.

Lista kontrolna wyboru

• Zdefiniuj maksymalne dopuszczalne opóźnienie między czujnikiem a podjęciem decyzji.
• Zmierz oczekiwaną prędkość ruchu, zasięg oświetlenia i aktywność sceny w najgorszym przypadku.
• Zdecyduj, czy wymagana jest bezwzględna intensywność obrazu, kolor czy wideo czytelne dla człowieka.
• Oszacuj przepustowość i ruch pamięci zarówno dla typowych, jak i najgorszych scen.
• Potwierdź dojrzałość algorytmu, zestawu danych i wizji opartej na zdarzeniach SDK.
• Zaplanuj synchronizację ze źródłami wyzwalania ramowymi, termicznymi, inercyjnymi lub zewnętrznymi.
• Przed zatwierdzeniem układu obliczeniowego, płytki bazowej i konstrukcji termicznej zmierz wydajność całego toru przetwarzania.