FPGA vs NPU vs MPU: Edge AI のハードウェアの選択

AI MPU とは何ですか?

AI 対応の MPU プラットフォームは、アプリケーション マイクロプロセッサと、機械学習ワークロードに必要なソフトウェアおよびアクセラレーション リソースを組み合わせています。まず、どのタスクが CPU に属し、どのタスクがサポートされているアクセラレータの恩恵を受けるかを特定します。

MPU (アプリケーション マイクロプロセッサ) は、通常、組み込み Linux システムのソフトウェア センターです。 「AI MPU」は、NPU、GPU、DSP、FPGA などのアクセラレーション リソースを含む、または密接に連携する MPU プラットフォームほど別個のプロセッサ カテゴリではありません。 MPU は、Linux、ネットワーキング、ストレージ、セキュリティ サービス、アプリケーション ロジック、および AI ワークロードを調整するランタイムをホストします。

MPU 機械学習の場合、実際的な問題は CPU 速度だけではありません。メモリ帯域幅、アクセラレータのサポート、カメラと高速 I/O、Linux BSP の品質、長期可用性、熱設計、モデル ツールチェーンの成熟度は、多くの場合、見出しの TOPS 値よりも重要です。

MPU が優れた人工知能プラットフォームとなる理由は何ですか?

人工知能に最適な MPU はワークロード固有です。ビジョン ゲートウェイは、MIPI CSI、ハードウェア ビデオ パイプライン、および NPU を優先する場合があります。堅牢なミッション コンピューターには、PCIe、複数の Ethernet ポート、確定的なコンパニオン コア、および強力なセキュリティ機能が必要な場合があります。産業用プラットフォームは、長い製品寿命、TSN、CAN-FD、安定した Linux エコシステムを重視する場合があります。

実際のモデルをベンチマークし、前処理チェーンを完了します。宣伝されているアクセラレータの数値が低いプラットフォームでも、メモリのコピーを回避し、必要な演算子をサポートし、センサーから結果へのパスの効率を維持できれば、勝つことができます。

NPU: デバイス上でローカルに効率的なニューラル推論

エッジ NPU は、畳み込み、行列演算、一般的なアクティベーション関数などのニューラル ネットワーク オペレーターを高速化します。電力と持続的な推論スループットが重要な場合、これは通常、サポートされる検出、分類、セグメンテーション、および特徴抽出モデルにとって最も効率的な場所です。

NPU のパフォーマンスは、コンパイルとオペレーターのカバレッジによって異なります。サポートされていないレイヤーは、CPU または別のアクセラレータにフォールバックする可能性があります。量子化要件、テンソル レイアウト、入力解像度、メモリの移動によっても、現実世界のパフォーマンスが劇的に変化する可能性があります。理論上の TOPS だけに依存するのではなく、常に運用グラフのベンチマークを行ってください。

FPGA: 柔軟性が重要な決定論的パイプラインと AI 推論

FPGA は、確定的なデータ移動、カスタム インターフェイス、および超並列パイプラインに優れています。ローカル処理用のシステムでは、センサーの逆シリアル化、タイムスタンプの調整、データのフィルター処理、対象領域の生成、画像の前処理の実行、予測可能な遅延でアクセラレータに供給することができます。 FPGA AI 推論は、モデルが利用可能な DSP、メモリ、ベンダー アクセラレーション スタックに適切にマッピングされている場合にも可能です。

トレードオフはエンジニアリングの労力です。 RTL または HLS の設計、シミュレーション、タイミング クロージャ、検証、および更新戦略を計画する必要があります。 FPGA を選択する必要があるのは、単純に演算を実行できるためではなく、決定論的な動作またはカスタム並列処理によってシステム価値が生み出されるためです。

Edge AI の NPU 対 FPGA

NPU 対 FPGA の決定は、多くの場合、誤ったバイナリです。一般に、サポートされているニューラル ネットワークとワットあたりのパフォーマンスが優れている場合は、NPU の方が簡単な選択です。 FPGA は、システムがカスタム センサー インターフェイス、決定論的な前処理、珍しいデータ形式、または推論の前後に厳密に制御されたパイプラインを必要とする場合に強力です。

一般的なアーキテクチャでは、センサーの取り込みと前処理に FPGA、ニューラル ネットワークに NPU、Linux オーケストレーションに MPU の両方が使用されます。これにより、1 つのプロセッサに強制される不規則な作業の量が削減されます。

エッジコンピューティング

1. 期限を設定して開始: どの信号がタイミングが必要か 最大のセンサから動作への遅延を特定する
2. データ転送量を整理する： センサースループット 中間テンソルサイズ 最悪の場合のメモリトラフィックを計算します
3. インターフェースに近い決定論的なインジェクトを保持する: FPGA,DMAエンジン,リアルタイムコアがよく適している。
4. 支援するニューラルモデルを NPU に置く: 対応する演算子の範囲と、コンパイル後の実際の性能を検証します。
5. システムの MPU を使う: ネットワーク、ストレージ、アップデート、ログ、API、アプリケーションポリシーは Linuxに自然に属します。
6. リアルタイム制御のリソースを確保する： 必要な場合は,MCUまたは決定的コアが,時間的に重要なアクチュエーションとプラットフォームの健康状態を監視する。

多くの場合、メモリ帯域幅が隠れたボトルネックになります

多くのエッジAI設計は計算ピークに焦点を当て,後にコピー,色変換,テンソル再構成,共有DDRが遅延を支配することを発見する。 ゼロコピーまたは低コピーパス,DMAトポロジー,キャッシュ挙動,加速器メモリアクセスは早期に評価すべきである。 熱的ストールは強いベンチマークを弱い持続性能に変える。

これは,複数のカメラ,レーダ,イベントセンサ,高速イーサネットストリームが同じメモリサブシステムを共有する場合に特に重要である。

リファレンスアーキテクチャの例

ビジョン/イベントセンサパイプライン

センサ→FPGA入力とタイムスタンプ→NPU推論→MPU決定サービス→CAN‐FDまたはイーサネット出力。 これは低遅延知覚に対する強いパターンであり,我々の知覚の理論に直接結びついている。 .

組み込み型AIコンピュータ

高速I/O→DMA/アクセラレータ経路→NPUまたはGPU推論→Linuxアプリケーションサービス→ストレージおよびネットワークAPI。 うる 組み込みコンピュータモジュール そして ローカル処理用の頑丈なコンピューター 製品クラスは、このタイプのパーティショニングを中心に構築されています。

産業用決定論的ゲートウェイ

CAN-FD / シリアル / Ethernet インターフェイス → FPGA または MCU タイムスタンプとプロトコル処理 → MPU サービス → オプションの NPU 分析。ここでは、決定論的な I/O と長期的なソフトウェアの保守性が、最大の AI スループットよりも重要になる可能性があります。

FPGA、NPU、MPU の選択方法

プロセッサーのラベルではなく、完全なワークロードから選択します。主な問題がニューラル推論である場合は、NPU の互換性から始めてください。カスタム I/O と決定論的前処理が優勢な場合は、FPGA リソースを評価します。 Linux サービス、ネットワーキング、およびアプリケーション ソフトウェアが大半を占める場合は、MPU 機能から始めます。ローカル処理用の高性能プラットフォームのほとんどは、これらのリソースのうち少なくとも 2 つを組み合わせます。

ハードウェアをコミットする前に、対象のソフトウェア スタックを通じて代表的なストリームを実行し、エンドツーエンドの遅延、電力、メモリ帯域幅、および熱を測定します。その証拠は、一般的なアクセラレータのランキングよりも価値があります。

TinyML がローカル コンピューティングに適合する場所

ローカル コンピューティングは、データ ソースの近くでの処理を表します。 Edge AI はそこに機械学習推論を適用します。 TinyML は、多くの場合、メモリと電力が限られたマイクロコントローラー上での、より制約のあるクラスの展開に対応します。したがって、小型の振動分類器とマルチカメラ認識パイプラインでは、両方が Edge AI であっても、非常に異なるハードウェア予算が必要になります。

マイクロコントローラー ターゲットの場合は、モデル サイズ、ランタイム メモリ、サポートされている演算子、取得オーバーヘッドを確認してください。 NPU または FPGA ベースのデザインの場合は、メモリの移動と、高速化された作業と非高速化された作業の間の分割も評価します。テクノロジーの頭字語だけから選択するのではなく、測定されたタスクとリカバリの要件を満たす最小のアーキテクチャを選択してください。