イベントカメラとフレームカメラの比較

フレームベースの視覚とは何ですか?

フレームベースのビジョンは、シーンを一定の間隔 (たとえば、1 秒あたり 30、60、または 120 フレーム) で完全なイメージとしてキャプチャします。各フレームには高密度の空間情報が含まれているため、従来のカメラは物体認識、色分析、検査、マッピング、および画像テンソルを中心に構築された大規模なソフトウェア エコシステムに自然に適合します。

トレードオフは、シーンが変更されたかどうかに関係なく、すべてのフレームがパイプラインを通じて完全な画像を移動することです。高速な決定ループの場合、露光時間、フレーム期間、センサーの読み出し、転送、画像変換、および推論はすべて、エンドツーエンドの遅延に寄与します。フレーム レートが高いとサンプリング間隔は短くなりますが、通常は帯域幅、メモリ トラフィック、電力、熱負荷が増加します。

イベントベースのビジョンとは何ですか?

イベントベースのビジョンでは、ピクセルが明るさの変化に非同期で応答するイベントベースのイメージ センサーを使用します。センサーは、固定されたリズムで長方形の画像を配信する代わりに、ピクセル座標、極性、正確なタイムスタンプを含むストリームを生成します。したがって、静的領域ではデータがほとんどまたはまったく生成されませんが、移動エッジでは非常に細かい時間分解能でイベントが生成される可能性があります。

この表現は、完全な画像を繰り返し受信することよりも、動きのタイミングが重要な場合に役立ちます。低遅延の追跡、高速ロボット工学、困難な照明の遷移をサポートできますが、イベント ストリームは通常の写真ではありません。アルゴリズム、視覚化、記録および検証ツールは、データ モデルを中心に設計する必要があります。

イベントベースのイメージセンサーがデータパスを変更する仕組み

有用な参照システムは、センサーの取得からフィルタリングと処理を経てアプリケーション出力に至るまでの完全なパスを公開します。レイテンシーとデータレートの要求をエンドツーエンドで評価できるように、これらの境界を計測します。

アーキテクチャ上の主な違いは、単に「高速なカメラと低速なカメラ」だけではありません。従来のビジョン パイプラインは、多くの場合、完全な画像バッファーから始まります。イベントベースのパイプラインは、個々のイベントまたは小さなイベント ウィンドウが到着するとすぐに処理を開始できます。これにより、フィルタリング、タイムスタンプの調整、関心領域ロジック、およびモーション機能を、完全なフレームを待たずにセンサーの近くで実行できるようになります。

ただし、高度にテクスチャーのあるシーンや、振動やちらつきがある環境では、イベント データが高密度になる可能性があります。したがって、システム設計では、イベント センシングが常に低帯域幅を意味すると仮定するのではなく、最悪の場合のイベント レート、インターフェイス使用率、およびメモリ帯域幅を測定する必要があります。

イベントベースのビジョンとフレームベースのビジョン

レイテンシ: 1 つのコンポーネントではなく、センサーから意思決定までを測定します

イベント カメラは低遅延の認識のために選択されることがよくありますが、センサーのタイムスタンプの解像度はアプリケーションの遅延と同じではありません。有用なエンジニアリング指標は、現実世界の変更からシステム インターフェイスに表示される決定までの時間です。そのパスには、センサーの応答、トランスポート、バッファリング、前処理、推論または追跡、ソフトウェアのスケジューリング、および出力通信が含まれます。

同じルールがフレーム カメラにも適用されます。ダイレクト メモリ パスを備えた適切に設計された高フレーム レートのパイプラインは、統合が不十分なイベント パイプラインよりも優れたパフォーマンスを発揮する可能性があります。したがって、アーキテクチャは、代表的なモーション、照明、アルゴリズムでベンチマークされる必要があります。

イベントベースのビジョン ソフトウェアと SDK に関する考慮事項

イベントベースのビジョン ソフトウェア スタックには通常、デバイス構成、イベント デコード、タイムスタンプ処理、フィルタリング、視覚化、記録および再生が必要です。便利なイベントベースのビジョン SDK により、外部トリガーやその他のセンサーの同期、イベント レートの検査、アルゴリズム開発中のキャプチャされたシーケンスの再現も簡単になります。

実稼働システムの場合、ソフトウェアはデスクトップ SDK を超えて拡張する必要があります。チームは、イベントを FPGA、MCU、MPU、または NPU リソースに移動する方法を定義する必要があります。キャリブレーションの保存方法。時間がどのように同期されるか。フィールドログを再生する方法についても説明します。アルゴリズムがイベントを蓄積されたフレームに変換する場合、蓄積ウィンドウはレイテンシと情報の明示的なトレードオフになります。

イベントベースのビジョンが役立つ場合

一般的なイベントベースのビジョン アプリケーションには、高速ターゲット追跡、ロボット操作、オプティカル フロー、振動または動作分析、高速工業検査、および明るさが大きく変化するシーンでの自律認識が含まれます。通常、最も強力な使用例は、単に従来のカメラを置き換えるのではなく、微細な時間構造によって決定が直接改善される場合です。

防衛および自律プラットフォームのためのイベントベースのビジョン

防衛、セキュリティ、自律システムでは、イベント センシングは、急速な動きの合図、追跡実験、低遅延の光学ペイロード、センサー フュージョンの研究に関連する可能性があります。システムは依然として、同期、決定論的インターフェイス、環境設計、記録、サイバーセキュリティ、検証などのプラットフォーム要件を満たす必要があります。イベント センシングはミッション チェーンの 1 つのコンポーネントであり、それ自体では完全な認識ソリューションではありません。

ハイブリッド カメラ アーキテクチャが優れている場合

実際のシステムの多くは、モダリティを組み合わせることで恩恵を受けます。フレームは意味論的なコンテキストと人間が判読できる画像を提供し、イベントは時間的な詳細を提供します。熱センサー、慣性センサー、または測距センサーを使用すると、堅牢性を高めることができます。 Fusion は、アプリケーションが「それは何ですか?」の両方を必要とする場合に特に役立ちます。 「正確にいつ、どのように動いたのですか?」

ハイブリッド システムでは、時間を共有することが不可欠です。アルゴリズムが最終決定される前に、ハードウェア トリガー、タイムスタンプ ドメイン、およびキャリブレーションを考慮する必要があります。

実用的なイベントベースのビジョンリファレンスアーキテクチャ

リファレンス システムは、FPGA で決定論的フィルタリングとタイムスタンプ作業を、NPU またはアクセラレータで AI 推論を、MPU でアプリケーション サービスを、MCU またはリアルタイム コアで監視を配置できます。正しいパーティションは、イベント レート、モデル アーキテクチャ、メモリ帯域幅、外部インターフェイスによって異なります。私たちの FPGA 対 NPU 対 MPU Edge AI ガイド このパーティショニングについて詳しく説明します。

選択チェックリスト

• センサーから判定までの最大許容待ち時間を定義します。
• 予想される動作速度、照明範囲、最悪の場合のシーンのアクティビティを測定します。
• 絶対的な画像強度、色、または人間が判読できるビデオが必要かどうかを決定します。
• 典型的なシーンと最悪の場合の両方のシーンの帯域幅とメモリの移動を推定します。
• アルゴリズム、データセット、イベントベースのビジョン SDK の成熟度を確認します。
• フレーム、熱、慣性、または外部トリガー ソースとの同期を計画します。
• コンピューティング、ベースボード、熱設計を凍結する前に、パイプライン全体のベンチマークを実行します。

マシンビジョン、サーマルイメージング、および検査に関する質問

コンピューター ビジョンは、視覚データから有用な情報を抽出する幅広い分野です。産業用マシンビジョンでは、システムはラインの照明、動き、タイミングの制約の下で再現可能な検査結果を提供する必要もあります。アプリケーションが実際に観察する必要がある欠陥または動きの特徴をテストすることにより、フレームベースのセンシングとイベントベースのセンシングのどちらかを選択します。

サーマル イメージングでは、表面温度に関連する赤外線放射という別の測定次元が追加されます。可視カメラはアセンブリまたは表面の欠陥を明らかにすることができ、一方、サーマルカメラは温度パターンを明らかにします。これらのモダリティは補完的ですが、どちらもすべての障害の可視性を保証するものではありません。検査システムに組み込む前に、アライメント、測定条件、決定ルールを定義します。

視覚的および熱的品質検査を検討する