Fuzja sensorów: kamera, LiDAR, IMU i synchronizacja czasu

Fuzja rozpoczyna się przed algorytmem

Kamera, czujniki termowizyjne, zdarzenia i inercyjne obserwują świat za pomocą różnych modeli próbkowania. Algorytm fuzji może je poprawnie połączyć tylko wtedy, gdy elektronika zachowuje datę wykonania każdej obserwacji i położenie czujników względem siebie.

Zbuduj model wspólnego czasu

Wyzwalacze sprzętowe, zdyscyplinowane zegary i znaczniki czasu wejścia rozwiązują różne części problemu. Architektura powinna definiować źródła zegara, błąd synchronizacji, lokalizację znacznika czasu i zachowanie po ponownym uruchomieniu lub przerwaniu łącza. Pomiar niepewności czasu jest bardziej użyteczny niż zakładanie, że każdy interfejs jest zsynchronizowany.

Traktuj kalibrację jako konfigurację zarządzaną

Kalibracja wewnętrzna opisuje indywidualny czujnik; kalibracja zewnętrzna wiąże czujniki ze sobą i z platformą. Temperatura, serwis mechaniczny i wymiana mogą zmienić te zależności. Dlatego zapisy kalibracyjne wymagają identyfikatorów, wersji i kontroli ważności, które są przesyłane wraz z danymi.

Podziel obciążenia według opóźnienia i kontekstu

Deterministyczne przetwarzanie wstępne i wyrównywanie znaczników czasu mogą należeć do rdzenia FPGA lub rdzenia czasu rzeczywistego, podczas gdy ekstrakcja cech i wnioskowanie przebiegają w NPU lub procesorze aplikacji. Przechowywanie surowych dowodów, danych dotyczących zdrowia i wybranych wyników pośrednich sprawia, że ​​decyzje dotyczące fuzji są raczej obserwowalne, a nie nieprzejrzyste.

Odnoszenie pomiarów do wspólnej chwili

Kamera dostarcza wygląd sceny, LiDAR odległość i geometrię, a IMU dane ruchu. Komunikaty odebrane jednocześnie mogą pochodzić z różnych chwil. Zachowaj czas pomiaru, różnice zegarów i transformacje przestrzenne. W lokalizacji robota lub SLAM testuj ruchome sceny, nieaktualne dane i utratę czujników. Każdy dodatkowy sensor powinien rozwiązywać mierzalny problem.