Sensoru datu apvienošana: kamera, LiDAR, IMU un laika sinhronizācija

Fusion sākas pirms algoritma

Kameras, siltuma, notikumu un inerces sensori novēro pasauli, izmantojot dažādus paraugu ņemšanas modeļus. Kodolsintēzes algoritms tos var pareizi apvienot tikai tad, ja elektronika saglabā katra novērojuma veikšanas laiku un to, kā sensori ir novietoti viens pret otru.

Izveidojiet kopīga laika modeli

Aparatūras trigeri, disciplinēti pulksteņi un ieejas laikspiedoli atrisina dažādas problēmas daļas. Arhitektūrai jādefinē pulksteņa avoti, sinhronizācijas kļūda, laikspiedola atrašanās vieta un uzvedība pēc restartēšanas vai saites pārtraukuma. Laika nenoteiktības mērīšana ir noderīgāka nekā pieņemšana, ka katra saskarne ir sinhronizēta.

Apstrādājiet kalibrēšanu kā pārvaldītu konfigurāciju

Iekšējā kalibrēšana apraksta atsevišķu sensoru; Ārējā kalibrēšana saista sensorus savā starpā un platformā. Temperatūra, mehāniskā apkope un nomaiņa var mainīt šīs attiecības. Tāpēc kalibrēšanas ierakstiem ir nepieciešami identifikatori, versijas un derīguma pārbaudes, kas ceļo kopā ar datiem.

Darba slodzes sadalīšana pēc latentuma un konteksta

Deterministiskā priekšapstrāde un laikspiedolu izlīdzināšana var ietvert FPGA vai reāllaika kodolu, savukārt funkciju izvilkšana un secinājumi tiek veikti ar NPU vai lietojumprogrammu procesoru. Saglabājot neapstrādātus pierādījumus, veselības datus un atlasītos starprezultātus, kodolsintēzes lēmumi ir novērojami, nevis nepārredzami.

Kādi ir kameras, LiDAR un IMU mērījumi

Redzamās gaismas kamera nodrošina izskatu informāciju datora redzei. LiDAR mēra ainas ģeometriju, izmantojot diapazona novērojumus. Inerciālā mērvienība mēra ar kustību saistītus lielumus, piemēram, leņķisko ātrumu un paātrinājumu. Šiem avotiem ir dažādi rādītāji, trokšņa raksturlielumi un atteices režīmi; lai tās apvienotu, ir nepieciešams šo atšķirību modelis.

Izvēlieties sensorus atbilstoši darbības videi un nepieciešamajam aprēķinam: objekta novietojums, mašīnas izlīdzināšana vai robota kustība. Vairāk sensoru var palielināt integrācijas izmaksas, neuzlabojot lēmumu. Sāciet ar izmērāmu atteices gadījumu esošajai uztveršanas pieejai, pēc tam novērtējiet, vai to atrisina cita modalitāte.

Budžeta uztveršanas laiks, transportēšanas aizkave un apstrādes latentums

Divi ziņojumi, kas nonāk kopā, var aprakstīt dažādus mirkļus. Saglabājiet uzņemšanas laikspiedolus, ja tie ir pieejami, un dokumentējiet, kā ierīces pulksteņi ir saistīti ar kopējo pulksteni. Transporta buferizācija, ekspozīcija un secinājumu aizkave ietilpst laika budžetā. Pārbaudiet kustīgus objektus un pagrieziena platformas, jo statiskās ainas var paslēpt sinhronizācijas kļūdas.

Ārējā kalibrēšana apraksta sensoru relatīvo stāvokli un orientāciju. Saglabājiet to kopā ar sensora konfigurāciju un programmatūras versiju. Pārvietota kamera vai rezerves kronšteins var padarīt nederīgu iepriekš noderīgu transformāciju; definējiet, kā instalācijas izmaiņas aktivizē kalibrēšanas pārbaudi.

Izmantojiet sensoru datu saplūšanu robotikā un lokalizācijā

Autonomam mobilajam robotam uztverei un lokalizācijai ir saistīti, bet atšķirīgi rezultāti. Šķēršļu aprēķins var nodrošināt vietējo plānošanu, savukārt LiDAR, kamera, riteņu odometrija un inerces dati var atbalstīt lokalizāciju vai SLAM atkarībā no izvēlētās arhitektūras. Definējiet koordinātu rāmjus, nenoteiktību un maksimālo datu vecumu katrā saskarnē.

ROS 2 nodrošina integrācijas rīkus, taču ar ziņojumu saderību vien nevar izveidot spēcīgu robotu. Apstipriniet sensora darbības pārtraukumu, aizkavētas paketes un pasliktinātu apgaismojumu paredzētajā instalācijā. Platformas un draivera savietojamība ir jāapstiprina konkrētajam projektam.

Izlasiet robotikas uztveres un vadības rokasgrāmatu

Tehniskā atsauce: Nav2: sensoru avoti un navigācijas ziņojumi