Apa yang dimaksud dengan “field programmable array”?
Istilah lengkapnya adalah Field Programmable Gate Array atau FPGA, yaitu susunan gerbang logika yang dapat diprogram. FPGA menerapkan logika digital yang dapat dikonfigurasi; NPU mempercepat operasi jaringan saraf yang didukung. Pilihannya bergantung pada jalur sinyal yang sebenarnya. Pemrosesan sinyal dengan FPGA dapat berguna untuk antarmuka paralel atau akuisisi yang sensitif terhadap waktu, sedangkan NPU dapat mempermudah inferensi yang kompatibel.
Dari papan pengembangan FPGA ke produk khusus
Papan FPGA hanya membuktikan sebagian sistem. Rancangan khusus juga memerlukan urutan aktivasi daya, distribusi clock, antarmuka memori, rancangan termal, dan metode uji yang dapat diulang. Bandingkan upaya desain serta verifikasi FPGA dengan MPU atau arsitektur SoC FPGA. Biaya FPGA mencakup rekayasa, alat pengembangan, kompleksitas papan, dan pengujian produksi selain cip itu sendiri.
Apa itu MPU AI?
Platform MPU berkemampuan AI menggabungkan mikroprosesor aplikasi dengan perangkat lunak dan sumber daya akselerasi yang diperlukan untuk beban kerja pembelajaran mesin. Mulailah dengan mengidentifikasi tugas mana yang termasuk dalam CPU dan mana yang mendapat manfaat dari akselerator yang didukung.
MPU, atau mikroprosesor aplikasi, biasanya merupakan pusat perangkat lunak dari sistem Linux tertanam. “AI MPU” bukanlah kategori prosesor terpisah, melainkan platform MPU yang mencakup, atau bekerja erat dengan, sumber daya akselerasi seperti NPU, GPU, DSP, atau FPGA. MPU menampung Linux, jaringan, penyimpanan, layanan keamanan, logika aplikasi, dan runtime yang mengoordinasikan beban kerja AI.
Untuk pembelajaran mesin MPU, pertanyaan praktisnya bukan hanya kecepatan CPU. Bandwidth memori, dukungan akselerator, kamera dan I/O berkecepatan tinggi, kualitas Linux BSP, ketersediaan jangka panjang, desain termal, dan kematangan model-rantai alat seringkali lebih penting daripada nilai TOPS utama.
Apa yang membuat MPU menjadi platform kecerdasan buatan yang baik?
MPU terbaik untuk kecerdasan buatan bersifat spesifik terhadap beban kerja. Vision gateway dapat memprioritaskan MIPI CSI, pipeline video perangkat keras, dan NPU. Komputer misi yang tangguh mungkin memerlukan PCIe, beberapa port Ethernet, inti pendamping deterministik, dan fitur keamanan yang lebih kuat. Platform industri mungkin menghargai umur produk yang panjang, TSN, CAN-FD, dan ekosistem Linux yang stabil.
Tolok ukur model aktual dan rantai prapemrosesan lengkap. Sebuah platform dengan angka akselerator yang diiklankan lebih rendah dapat menang jika menghindari salinan memori, mendukung operator yang diperlukan, dan menjaga jalur sensor-ke-hasil tetap efisien.
NPU: inferensi saraf yang efisien di edge
NPU edge mempercepat operator jaringan saraf seperti konvolusi, operasi matriks, dan fungsi aktivasi umum. Ini biasanya merupakan tempat paling efisien untuk mendukung model deteksi, klasifikasi, segmentasi, dan ekstraksi fitur ketika kekuatan dan throughput inferensi berkelanjutan penting.
Performa NPU bergantung pada kompilasi dan jangkauan operator. Lapisan yang tidak didukung mungkin kembali ke CPU atau akselerator lain. Persyaratan kuantisasi, tata letak tensor, resolusi input, dan pergerakan memori juga dapat mengubah performa dunia nyata secara dramatis. Selalu lakukan benchmark pada grafik produksi daripada hanya mengandalkan TOPS teoritis saja.
FPGA: jalur pipa deterministik dan inferensi AI yang mengutamakan fleksibilitas
FPGA unggul dalam pergerakan data deterministik, antarmuka khusus, dan jalur pipa paralel besar-besaran. Dalam sistem edge, ia dapat melakukan deserialisasi sensor, menyelaraskan stempel waktu, memfilter data, menghasilkan wilayah yang diinginkan, melakukan prapemrosesan gambar, dan memberi makan akselerator dengan latensi yang dapat diprediksi. Inferensi AI FPGA juga dimungkinkan ketika model memetakan dengan baik ke DSP, memori, dan tumpukan akselerasi vendor yang tersedia.
Imbalannya adalah upaya rekayasa. Desain RTL atau HLS, simulasi, waktu penutupan, verifikasi dan strategi pembaruan harus direncanakan. FPGA harus dipilih karena perilaku deterministik atau paralelisme khusus menciptakan nilai sistem—bukan hanya karena dapat menjalankan aritmatika.
NPU vs FPGA untuk edge AI
Keputusan NPU vs FPGA seringkali merupakan biner yang salah. NPU umumnya merupakan pilihan yang lebih mudah untuk jaringan saraf yang didukung dan kinerja per watt yang kuat. FPGA lebih kuat ketika sistem memerlukan antarmuka sensor khusus, prapemrosesan deterministik, format data yang tidak biasa, atau saluran yang dikontrol dengan ketat sebelum dan sesudah inferensi.
Arsitektur umum menggunakan keduanya: FPGA untuk penyerapan dan prapemrosesan sensor, NPU untuk jaringan saraf, dan MPU untuk orkestrasi Linux. Hal ini mengurangi jumlah pekerjaan tidak teratur yang dipaksakan pada satu prosesor.
| Sumber daya | Beban kerja yang paling sesuai | Kendala utama |
|---|---|---|
| FPGA | Saluran pipa deterministik, I/O khusus, stempel waktu, pemrosesan awal, akselerasi khusus | Upaya RTL/HLS, verifikasi, sumber daya perangkat |
| NPU | Inferensi saraf yang didukung dengan kinerja per watt yang baik | Dukungan operator, compiler/runtime, kuantisasi dan pergerakan memori |
| MPU | Aplikasi Linux, jaringan, penyimpanan, keamanan siber, orkestrasi | Eksekusi yang kurang deterministik; overhead tujuan umum |
| Inti MCU/RT | Loop kontrol, pengawasan keselamatan, pengurutan daya, I/O deterministik | Memori terbatas dan komputasi tingkat tinggi |
Komputasi tepi
- Mulailah dengan tenggat waktu: mengidentifikasi sinyal mana yang memiliki persyaratan pengaturan waktu yang sulit dan penundaan sensor-ke-tindakan maksimum.
- Kecepatan data peta: menghitung throughput sensor, ukuran tensor menengah, dan lalu lintas memori kasus terburuk.
- Pertahankan penyerapan deterministik di dekat antarmuka: FPGA, mesin DMA, atau inti real-time sering kali sesuai.
- Tempatkan model saraf yang didukung pada NPU: memvalidasi cakupan operator dan kinerja aktual yang dikompilasi.
- Gunakan MPU untuk sistem: jaringan, penyimpanan, pembaruan, logging, API, dan kebijakan aplikasi secara alami ada di Linux.
- Cadangan kontrol waktu nyata: MCU atau inti deterministik harus mengawasi aktuasi waktu kritis dan kesehatan platform jika diperlukan.
Bandwidth memori sering kali menjadi hambatan tersembunyi
Banyak desain edge AI berfokus pada puncak komputasi dan kemudian menemukan bahwa penyalinan, konversi warna, pemformatan ulang tensor, atau DDR bersama mendominasi latensi. Jalur zero-copy atau low-copy, topologi DMA, perilaku cache, dan akses memori akselerator harus dievaluasi sejak dini. Pelambatan termal juga dapat mengubah tolok ukur yang kuat menjadi kinerja berkelanjutan yang lemah.
Hal ini sangat penting ketika beberapa kamera, radar, sensor peristiwa, atau aliran Ethernet berkecepatan tinggi berbagi subsistem memori yang sama.
Contoh arsitektur referensi
Saluran pipa sensor penglihatan/peristiwa
Sensor → Penyerapan FPGA dan stempel waktu → Inferensi NPU → Layanan keputusan MPU → CAN-FD atau output Ethernet. Ini adalah pola yang kuat untuk persepsi latensi rendah dan terhubung langsung dengan persepsi kita .
Komputer AI tertanam
I/O berkecepatan tinggi → jalur DMA / akselerator → inferensi NPU atau GPU → layanan aplikasi Linux → API penyimpanan dan jaringan. Kami modul komputasi tertanam dan komputer tepi yang kokoh kelas produk dibangun berdasarkan jenis partisi ini.
Gerbang deterministik industri
Antarmuka CAN-FD / serial / Ethernet → cap waktu dan penanganan protokol FPGA atau MCU → layanan MPU → analitik NPU opsional. Di sini I/O deterministik dan pemeliharaan perangkat lunak jangka panjang bisa menjadi lebih penting daripada throughput AI maksimum.
Bagaimana memilih antara FPGA, NPU dan MPU
Pilih dari beban kerja lengkap, bukan label prosesor. Jika masalah yang dominan adalah inferensi saraf, mulailah dari kompatibilitas NPU. Jika I/O khusus dan prapemrosesan deterministik mendominasi, evaluasi sumber daya FPGA. Jika layanan Linux, jaringan dan perangkat lunak aplikasi mendominasi, mulailah dengan kemampuan MPU. Sebagian besar platform edge berkinerja tinggi akan menggabungkan setidaknya dua sumber daya ini.
Sebelum melakukan perangkat keras, jalankan aliran perwakilan melalui tumpukan perangkat lunak yang dimaksud dan ukur latensi ujung ke ujung, daya, bandwidth memori, dan termal. Bukti tersebut lebih berharga daripada pemeringkatan akselerator umum.
Contoh yang berhasil: empat kamera dan anggaran memori bersama
Pertimbangkan contoh perencanaan dengan empat aliran 1280 × 720 pada 30 frame per detik, direpresentasikan sebagai RGB dengan satu byte per saluran setelah konversi gambar. Gabungan muatan gambar logis mereka adalah 4 × 1280 × 720 × 30 × 3 = 331.776.000 byte per detik, sekitar 332 MB/s dalam satuan desimal. Ini bukan bitrate tautan kamera atau kinerja terukur dari produk Alvexis.
Satu salinan full-frame tambahan membaca dan menulis payload tersebut, menambahkan sekitar 664 MB/s lalu lintas memori sebelum mempertimbangkan perilaku cache atau operasi lainnya. Tensor model, konversi warna, logging, dan layanan serentak menambahkan lalu lintasnya sendiri. Hal ini menjelaskan mengapa suatu desain dapat dibatasi oleh pergerakan data meskipun peringkat akselerator judulnya tampak memadai.
| Bekerja ke tempatnya | Titik awal | Bukti sebelum melakukan |
|---|---|---|
| Penyerapan dan sinkronisasi kamera | Antarmuka SoC yang didukung, dengan FPGA atau perangkat pendamping jika diperlukan | Penangkapan aliran secara bersamaan, perilaku stempel waktu, dan kehilangan saat dimuat |
| Inferensi saraf | NPU ketika grafik dan presisi yang dipilih didukung | Akurasi konversi dan pengukuran aplikasi pada perangkat yang berkelanjutan |
| Layanan dan rekaman Linux | Sumber daya MPU dan jalur penyimpanan yang dianggarkan secara eksplisit | Perilaku CPU, memori, dan I/O saat inferensi aktif |
| Kontrol eksternal yang kritis terhadap waktu | Pengontrol waktu nyata yang sesuai atau implementasi deterministik yang tervalidasi | Bukti waktu respons pada beban kerja kasus terburuk yang relevan |
Tujuan dari partisi adalah untuk membuat setiap waktu dan kebutuhan sumber daya menjadi eksplisit. Ini tidak berarti bahwa setiap desain memerlukan empat prosesor berbeda. Mulailah dengan arsitektur paling sederhana yang memenuhi persyaratan, lalu tambahkan sumber daya jika pengukuran atau batasan antarmuka membenarkannya.
Rencana validasi untuk memilih campuran prosesor
- Bekukan kontrak masukan: sensor, format data, model, resolusi, dan kondisi pengoperasian.
- Verifikasi dukungan model dan kualitas keluaran sebelum membandingkan throughput akselerator.
- Ukur akuisisi, prapemrosesan, inferensi, dan pengiriman secara terpisah, lalu ukur jalur lengkapnya.
- Ulangi di bawah beban termal berkelanjutan dengan perekaman, jaringan, dan semua sensor yang dimaksudkan aktif.
- Catat usia antrean, masukan yang hilang, dan latensi ekor, sehingga tingkat rata-rata yang tinggi tidak menyembunyikan penundaan yang terputus-putus.
Simpan revisi papan, gambar perangkat lunak, versi rantai alat, dan masukan pengujian beserta hasilnya. Untuk implementasi Rockchip, Panduan penerapan model RK3588 mengembangkan alur kerja ini. Untuk data kamera peristiwa, gunakan panduan integrasi perangkat lunak untuk menentukan stempel waktu dan representasi sebelum memilih jalur inferensi.
Setelah beban kerja dikarakterisasi, bandingkan Opsi integrasi SoM dan SBC. Keputusan tersebut menghubungkan arsitektur komputasi ke konektor, daya, enclosure, dan pekerjaan produksi.
Dari pemilihan prosesor hingga produk yang dapat dibangun
Daftar pilihan prosesor hanya berguna jika cocok dengan produk lengkap. Sebelum memesan papan khusus, ubah beban kerja menjadi ringkasan teknis singkat:
- Masukan: jumlah sensor, antarmuka, laju sampel, dan persyaratan sinkronisasi.
- Beban kerja AI: model sebenarnya, didukung presisi dan kualitas keluaran yang dapat diterima.
- Kendala fisik: dimensi, sumber daya, pendinginan dan lingkungan pengoperasian.
- Pengiriman: kuantitas prototipe, volume produksi, kepemilikan perangkat lunak, dan uji penerimaan.
Untuk stasiun inspeksi, sambungkan saluran kamera ke pemicu saluran, pengidentifikasi bagian, dan antarmuka hasil. Kami visi mesin industri dan solusi kontrol kualitas menjelaskan bagaimana persyaratan tersebut menjadi percontohan.
FAQ MPU, NPU, dan FPGA edge AI
Apa itu MPUAI?
MPU AI menggambarkan beban kerja kecerdasan buatan yang diterapkan pada platform mikroprosesor tertanam, biasanya dengan Linux dan sering kali dengan akselerasi terintegrasi atau pendamping seperti NPU, GPU, atau FPGA. MPU biasanya mengelola aplikasi, jaringan, penyimpanan, keamanan, dan orkestrasi di sekitar jalur inferensi.
Bisakah MPU menjalankan pembelajaran mesin?
Ya. Beban kerja pembelajaran mesin MPU dapat berjalan pada inti CPU atau menggunakan akselerator terintegrasi. Untuk sistem produksi, dukungan model, bandwidth memori, termal berkelanjutan, dan latensi end-to-end lebih penting daripada TOPS utama saja.
NPU vs FPGA: mana yang lebih baik untuk edge AI?
NPU biasanya merupakan pilihan sederhana untuk inferensi jaringan saraf yang didukung dengan kinerja per watt yang kuat. FPGA lebih disukai ketika antarmuka sensor khusus, prapemrosesan deterministik, format data yang tidak biasa, atau jalur pipa khusus merupakan inti dari desain. Banyak sistem menggunakan keduanya.
Bisakah Anda menjalankan beban kerja NPU pada FPGA?
FPGA dapat mengimplementasikan akselerator jaringan saraf atau saluran inferensi, namun tidak secara otomatis setara dengan NPU khusus. Perdagangan ini melibatkan sumber daya logika yang dapat diprogram, memori, kematangan rantai alat, dukungan model, upaya verifikasi, dan kekuatan.
Kapan inferensi FPGA AI masuk akal?
Inferensi AI FPGA menarik ketika inferensi harus digabungkan secara erat dengan prapemrosesan deterministik, antarmuka khusus, atau pergerakan data khusus. Hal ini sangat berguna ketika runtime NPU standar tidak sesuai dengan jalur sensor atau batasan latensi.
Referensi teknis
- Rockchip: Komponen perangkat lunak RKNN dan alat penerapannya
- Rockchip: konversi model dan contoh inferensi
- Gallego dkk.: Visi Berbasis Peristiwa — Sebuah Survei
Contoh bandwidth adalah penghitungan eksplisit, bukan tolok ukur produk. Validasi arsitektur yang dipilih pada beban kerja yang diinginkan.
Partisi beban kerja AI edge Anda yang sebenarnya.
Kirim antarmuka sensor, tipe model, kecepatan data, cakupan daya, dan batasan penerapan. Kita dapat memetakannya ke arsitektur MPU/NPU/FPGA dan kelas modul komputasi yang sesuai.