感測器融合：相機、光達、IMU 和時間同步

融合在演演算法之前開始

相機、熱感應器、事件感應器和慣性感應器透過不同的取樣模型觀察世界。只有當電子裝置保留每次觀察的時間以及感測器相對於彼此的定位方式時，融合演演算法才能正確地將它們組合起來。

硬體觸發器、嚴格時鐘和入口時間戳記分別解決問題的不同部分。此架構應定義時脈來源、同步誤差、時間戳位置以及重啟或連結中斷後的行為。測量時間不確定性比假設每個介面都是同步的更有用。

本質校準描述了單一感測器；外部校準將感測器相互關聯並與平臺關聯。溫度、機械維修和更換可以改變這些關係。因此，校準記錄需要與資料一起傳輸的識別符號、版本和有效性檢查。

確定性預處理和時間戳對齊可能屬於 FPGA 或即時核心，而特徵提取和推理則在 NPU 或應用處理器上執行。保留原始證據、健康資料和選定的中間結果使融合決策可觀察而不是不透明。

可見光相機為電腦視覺提供外觀資訊。光達透過距離觀測來測量場景幾何形狀。慣性測量單元測量與運動相關的量，例如角速率和加速度。這些源具有不同的速率、噪音特性和故障模式；將它們結合起來需要這些差異的模型。

根據操作環境和您需要的估計來選擇感測器：物體位置、機器對準或機器人運動。更多感測器會增加整合成本，但不會改善決策。從現有感測方法的可測量故障案例開始，然後評估其他方式是否可以解決該問題。

一起到達的兩個訊息可能描述不同的時刻。保留可用的捕獲時間戳記並記錄裝置時鐘與公共時鐘的關係。傳輸緩衝、曝光和推理延遲屬於時序預算。測試移動物體和轉動平臺，因為靜態場景可能隱藏同步錯誤。

外部校準描述了感測器的相對位置和方向。將其與感測器配置和軟體版本一起儲存。移動相機或更換支架可能會使先前有用的變換失效；定義安裝變更如何觸發校準檢查。

對於自主移動機器人，感知和定位具有相關但不同的輸出。障礙物估計可以為本地規劃提供資訊，而光達、攝影機、車輪里程計和慣性資料可以支援定位或 SLAM，具體取決於所選的架構。定義每個介面的座標系、不確定性和最大資料期限。

ROS 2提供了整合工具，但僅靠訊息相容性並不能建立一個強大的機器人。驗證預期安裝中的感測器丟包、資料包延遲和照明退化情況。必須針對特定專案確認平臺和驅動程式相容性。

共享介面、環境、資料速率和決策指標。我們將把工程權衡對映到實際的系統配置。