センサーフュージョン: カメラ、LiDAR、IMU、時刻同期

アルゴリズムの前に融合が開始される

カメラ、熱画像、イベント、慣性センサーは、それぞれ異なるサンプリング方式で周囲を観測します。融合アルゴリズムで正しく組み合わせるには、各観測の時刻とセンサー間の相対位置を電子システム側で保持する必要があります。

共有時間モデルを構築

ハードウェアトリガ、基準に同期したクロック、入力時のタイムスタンプは、それぞれ異なる課題を解決します。クロック源、同期誤差、タイムスタンプを付与する位置、再起動や通信断後の動作をアーキテクチャで定義します。すべてのインターフェースが同期していると仮定するより、時刻の不確かさを測定することが重要です。

調整を管理された設定として扱う

内在的校正は個々のセンサを記述し,外在的校正はセンサ間やプラットフォームとの関係を記述する。 温度,機械的サービス,および交換はこれらの関係を変えることができる。 検量線記録にはデータと共に移動する識別子,バージョン,妥当性チェックが必要である。

遅延とコンテキストによるパーティションワークロード

決定論的前処理とタイムスタンプアライメントはFPGAまたはリアルタイムコアに属し,特徴抽出と推論はNPUまたはアプリケーションプロセッサで実行される。 原始的な証拠,健康データ,選択された中間結果を保持することにより,融合決定は不透明ではなく観察可能になる。

カメラ・LiDAR・IMUの測定から得られる情報

コンピュータビジョンに対して可視光カメラが外観情報を供給する。 LiDARは,距離観測を通して場所の幾何学を測定する。 慣性計測装置は角速度や加速度などの運動関連量を測定する。 これらの源は異なる速度,雑音特性,故障モードを持ち,それらを組み合わせるには,これらの差異のモデルが必要である。

動作環境と必要な推定値 (対象物の位置、機械の位置合わせ、またはロボットの動作) に基づいてセンサーを選択します。センサーを増やすと、意思決定が改善されずに統合コストが増加する可能性があります。既存のセンシングアプローチの測定可能な失敗事例から始めて、次に別のモダリティがそれを解決するかどうかを評価します。

予算の取得時間、転送遅延、処理遅延

一緒に到着した 2 つのメッセージは、異なる瞬間を説明している可能性があります。利用可能な場合はキャプチャのタイムスタンプを保存し、デバイスのクロックが共通のクロックとどのように関係するかを文書化します。トランスポート バッファリング、エクスポージャ、および推論遅延はタイミング バジェットに属します。静的なシーンでは同期エラーが隠れてしまう可能性があるため、移動するオブジェクトと回転プラットフォームをテストします。

外部キャリブレーションは、センサーの相対的な位置と方向を記述します。センサー構成およびソフトウェア リビジョンとともに保存します。カメラを移動したり、ブラケットを交換すると、以前は便利だった変換が無効になる可能性があります。インストールの変更がキャリブレーション チェックをトリガーする方法を定義します。

ロボット工学と位置特定にセンサー フュージョンを使用する

自律移動ロボットの場合、知覚と位置特定は関連していますが、異なる出力を持ちます。選択したアーキテクチャに応じて、LiDAR、カメラ、ホイール オドメトリ、および慣性データがローカリゼーションまたは SLAM をサポートできる一方で、障害物の推定値がローカル プランニングに役立ちます。各インターフェイスでの座標フレーム、不確実性、および最大データ寿命を定義します。

ROS 2 は統合ツールを提供しますが、メッセージの互換性だけでは堅牢なロボットを確立できません。意図した設置環境でセンサーのドロップアウト、パケットの遅延、照明の劣化を検証します。特定のプロジェクトについては、プラットフォームとドライバーの互換性を確認する必要があります。

ロボットの認識および制御ガイドを読む

技術リファレンス: Nav2: センサー ソースとナビゲーション メッセージ