Gabungan Sensor: Kamera, LiDAR, IMU dan Penyegerakan Masa

Gabungan bermula sebelum algoritma

Penderia kamera, haba, peristiwa dan inersia memerhati dunia melalui model pensampelan yang berbeza. Algoritma gabungan hanya boleh menggabungkannya dengan betul apabila elektronik disimpan apabila setiap pemerhatian dibuat dan cara penderia diposisikan secara relatif antara satu sama lain.

Bina model masa kongsi

Pencetus perkakasan, jam berdisiplin dan cap masa kemasukan masing-masing menyelesaikan bahagian masalah yang berbeza. Seni bina harus menentukan sumber jam, ralat penyegerakan, lokasi cap masa dan gelagat selepas dimulakan semula atau gangguan pautan. Mengukur ketidakpastian masa adalah lebih berguna daripada mengandaikan setiap antara muka disegerakkan.

Anggap penentukuran sebagai konfigurasi terurus

Penentukuran intrinsik menerangkan penderia individu; penentukuran ekstrinsik mengaitkan penderia antara satu sama lain dan dengan platform. Suhu, perkhidmatan mekanikal dan penggantian boleh mengubah perhubungan tersebut. Oleh itu, rekod penentukuran memerlukan pengecam, versi dan semakan kesahihan yang dibawa bersama data.

Beban kerja pembahagian mengikut kependaman dan konteks

Penjajaran prapemprosesan dan cap masa yang menentukan mungkin tergolong dalam FPGA atau teras masa nyata, manakala pengekstrakan ciri dan inferens dijalankan pada NPU atau pemproses aplikasi. Menyimpan bukti mentah, data kesihatan dan keputusan perantaraan terpilih menjadikan keputusan gabungan boleh diperhatikan dan bukannya legap.

Mengaitkan ukuran kepada masa yang sama

Kamera memberikan maklumat rupa, LiDAR mengukur jarak dan geometri, manakala IMU mengukur pergerakan. Mesej yang tiba serentak mungkin dirakam pada masa berbeza. Simpan masa ukuran, perbezaan jam dan transformasi ruang. Bagi penyetempatan robot atau SLAM, uji adegan bergerak, data lapuk dan kehilangan sensor. Setiap sensor tambahan perlu menyelesaikan masalah yang boleh diukur.