传感器融合：相机、激光雷达、IMU 和时间同步

融合在算法之前开始

相机、热传感器、事件传感器和惯性传感器通过不同的采样模型观察世界。只有当电子设备保留每次观察的时间以及传感器相对于彼此的定位方式时，融合算法才能正确地将它们组合起来。

硬件触发器、严格时钟和入口时间戳分别解决问题的不同部分。该架构应定义时钟源、同步误差、时间戳位置以及重启或链路中断后的行为。测量时间不确定性比假设每个接口都是同步的更有用。

本质校准描述了单个传感器；外部校准将传感器相互关联并与平台关联。温度、机械维修和更换可以改变这些关系。因此，校准记录需要与数据一起传输的标识符、版本和有效性检查。

确定性预处理和时间戳对齐可能属于 FPGA 或实时核心，而特征提取和推理则在 NPU 或应用处理器上运行。保留原始证据、健康数据和选定的中间结果使融合决策可观察而不是不透明。

可见光相机为计算机视觉提供外观信息。激光雷达通过距离观测来测量场景几何形状。惯性测量单元测量与运动相关的量，例如角速率和加速度。这些源具有不同的速率、噪声特性和故障模式；将它们结合起来需要这些差异的模型。

根据操作环境和您需要的估计来选择传感器：物体位置、机器对准或机器人运动。更多传感器会增加集成成本，但不会改善决策。从现有传感方法的可测量故障案例开始，然后评估其他方式是否可以解决该问题。

一起到达的两条消息可能描述不同的时刻。保留可用的捕获时间戳并记录设备时钟与公共时钟的关系。传输缓冲、曝光和推理延迟属于时序预算。测试移动物体和转动平台，因为静态场景可能隐藏同步错误。

外部校准描述了传感器的相对位置和方向。将其与传感器配置和软件版本一起存储。移动相机或更换支架可能会使之前有用的变换失效；定义安装更改如何触发校准检查。

对于自主移动机器人，感知和定位具有相关但不同的输出。障碍物估计可以为本地规划提供信息，而激光雷达、摄像头、车轮里程计和惯性数据可以支持定位或 SLAM，具体取决于所选的架构。定义每个接口的坐标系、不确定性和最大数据期限。

ROS 2提供了集成工具，但仅靠消息兼容性并不能建立一个强大的机器人。验证预期安装中的传感器丢失、数据包延迟和照明退化情况。必须针对特定项目确认平台和驱动程序兼容性。

共享接口、环境、数据速率和决策指标。我们将把工程权衡映射到实际的系统配置。