RK3588 NPU dasturiy ta'minot stegi bir-biriga qanday mos keladi
Rockchip ning RKNN dasturiy ta'minot to'plami model tayyorlashni qurilmada bajarilishidan ajratib turadi. RKNN-Toolkit2 konvertatsiya va baholash vositalarini taqdim etadi. RKNN-Toolkit-Lite2 qoʻllab-quvvatlanadigan maqsadli platformalarda Python interfeysini, RKNN Runtime esa C/C++ interfeyslarini taʼminlaydi. Yadro drayveri ish vaqtini NPU ga ulaydi. Ushbu komponentlarning modulingiz uchun taqdim etilgan platani qo'llab-quvvatlash paketi bilan mosligini tekshiring.
Foydali joylashtirish yozuvi plata va SoM tahrir, Linux tasvir, drayver, ish vaqti, konversiya vositasi versiyasi, original model va aylantirilgan modelni aniqlaydi. Qurilish skriptini va oldindan ishlov berish sozlamalarini model artefaktining yonida saqlang. Kabi fayl nomi detector.rknn yolg'iz o'zi nima uchun bir joylashtirish boshqasidan boshqacha harakat qilishini tushuntirib bera olmaydi.
1-qadam: konversiyadan oldin maʼlumotnoma oʻrnating
Asl modelni vakolatli tasdiqlash to'plamida ishga tushiring. Xom natijalarni va muhim bo'lgan ilova ko'rsatkichini saqlang: tasniflash aniqligi, aniqlash sifati yoki boshqa vazifaga xos o'lchov. Detektor uchun yorliqlar tartibini, ishonch chegaralarini va qayta ishlashdan keyingi sozlamalarni saqlang. Bu aylantirilgan model uchun taqqoslash nuqtasi bo'ladi.
To'liq kirish shartnomasini yozing. O'lchamlarni, partiya hajmini, RGB yoki BGR tartibini, tartibni, raqamli diapazonni, normallashtirishni, o'lchamini va to'ldirishni o'z ichiga oladi. To'g'ri model noto'g'ri natijalar berishi mumkin, agar ilova xat qutilari tasvirni o'qitishdan farq qilsa yoki ofsetni ikki marta ayirsa. Tarmoqdan tashqarida qayta ishlashni xuddi shunday ehtiyotkorlik bilan hujjatlashtirilgan holda saqlang.
Rockchip dan foydalaning RKNN Model hayvonot bog'i Agar u mos keladigan model va maqsadni o'z ichiga olgan bo'lsa, boshlang'ich nuqta sifatida. Uning konvertatsiya qilish va xulosa chiqarish misollari har qanday eksport qilinadigan tarmoq o'zgarishsiz ishlaydi deb taxmin qilishdan ko'ra foydaliroqdir. Ma'lum bo'lgan repository reviziyasini tanlang va ushbu maxsus misol uchun ko'rsatmalarga rioya qiling.
2-qadam: modelni aylantiring va operator yordamini tekshiring
- Maqsadga mos keling. RK3588 nishonni va moʻljallangan taxtali tasvirga mos asboblar zanjirini tanlang.
- Grafikni tekshiring. Eksport qilingan modeldagi shakllar, oldindan ishlov berish, chiqishlar va amaldagi operatsiyalarni qo'llab-quvvatlashni tasdiqlang.
- Malumot konvertatsiyasini yarating. Ushbu grafik va dasturiy ta'minot versiyasi tomonidan qo'llab-quvvatlanadigan aniqlik parametrlaridan foydalaning.
- To'liq qurilish jurnalini o'qing. Kamerani olish yoki foydalanuvchi interfeysini qo'shishdan oldin nosozliklarni hal qiling va ogohlantirishlarni tekshiring.
- Chiqishlarni solishtiring. Asl va o'zgartirilgan modellar orqali bir xil qayta ishlash bilan bir xil kirishlarni boshqaring.
Qo'llab-quvvatlanmaydigan operatsiya boshqa eksportni, grafikni qayta yozishni yoki aniq protsessorni qayta ishlash bosqichini talab qilishi mumkin. Ish vaqti har bir qo'llab-quvvatlanmaydigan qatlamni shaffof tarzda bajaradi deb o'ylamang. Agar ish yukining bir qismi protsessorga o'tsa, ishlashni o'lchashda uzatish va sinxronizatsiyani kiriting.
3-qadam: INT8 ni aniqlik talabingizga muvofiq baholang
Kvantlash raqamli tasvirni o'zgartiradi. Tanlangan konversiya oqimi kalibrlash ma'lumotlaridan foydalanganda, joylashtirishni ifodalovchi kirishlarni tanlang: yorug'lik, ob'ekt o'lchami, fon va ish sharoitlari. Natijani baholash uchun alohida tekshirish to'plamini saqlang. Muvaffaqiyatli yakunlangan konvertatsiya hali ham aniqlikni tekshirishni talab qiladi.
Ikki tensor o'rtasidagi farqni emas, balki dastur chiqishini solishtiring. Misol uchun, kichik raqamli o'zgarish aniqlashni ishonch chegarasidan o'tkazishi mumkin. Qiyin vaziyatlarni, bir nechta misollar va shartlar bilan sinflarni tekshiring, bu erda asl model allaqachon marginal edi. Agar aniqlik qabul qilish chegarasidan pastga tushsa, uskunani o'zgartirishdan oldin kalibrlash qamrovini va oldindan ishlov berishni qayta ko'rib chiqing.
The ONNX Ish vaqti kvantlash hujjatlari raqamli o'zaro kelishuvlar va aniqlikni tekshirish bo'yicha foydali ma'lumotdir. RKNN konvertatsiya opsiyalari va qoʻllab-quvvatlanadigan aniqlik hali ham tanlangan versiya uchun Rockchip oʻz hujjatlarida tekshirilishi kerak.
4-qadam: xulosa chiqarish vaqtidan ko'proq o'lchang
Isitishdan keyin va doimiy yugurish paytida yuklangan ish yukini o'lchang. Haroratni, quvvat rejimini, parallel jarayonlarni va korpus yoki sovutish tartibini yozib oling. Foydali natija - mahsulot ishlaydigan sharoitlarda aniqlik va kechikishlarni o'z ichiga olgan takrorlanadigan ishlash konvertidir.
| O'lchov | Nima javob beradi | Nima yozish kerak |
|---|---|---|
| Modelni bajarish muddati | Bu ish vaqti chaqiruvi qancha vaqt oladi? | Kirish shakli, aniqligi, vaqt chegaralari va ish vaqti versiyasi |
| Oxir-oqibat kechikish | Natija etkazilganda kuzatuv necha yoshda bo'ladi? | Qabul qilish vaqti, oldindan ishlov berish, navbat, xulosa chiqarish va chiqish vaqti |
| Barqaror o'tkazish qobiliyati | Vaqt o'tishi bilan qancha tugallangan natijalar beriladi? | Ishlash uzunligi, bajarilgan so'rovlar va o'tkazib yuborilgan yoki o'tkazib yuborilgan kirishlar |
| Ilovaning aniqligi | O'rnatilgan model vazifa talablariga javob beradimi? | Tasdiqlash to'plami, vazifa ko'rsatkichi va qaror chegaralari |
| Termal harakat | Tizim qizdirilgandan keyin natija barqarormi? | Atrof-muhit sharoitlari, sovutish, harorat va mavjud bo'lgan soatlar |
Tasviriy byudjet sifatida, har 40 msda yangi kadr oladigan ilova, agar u har bir kadrni qayta ishlasa, soniyasiga 25 kadrni ushlab turishi kerak. 12 ms xulosasi oʻlchovi bu byudjetning qolgan qismini faqat tegishli rejalashtirilgan dizaynda sotib olish, tayyorlash va yetkazib berish uchun qoldiradi. Bu kameradan natijaga 12 ms kechikishini isbotlamaydi. Bu raqamlar rejalashtirish misolidir, ForgeEdge unumdorligi oʻlchanmaydi.
Dasturiy ta'minot muddati uchun monotonik soatdan foydalaning. Bitta eng yaxshi kuzatuvdan ko'ra o'rtacha va oxirgi kechikish haqida xabar bering va xom o'lchovlarni saqlang. Bir nechta kameralar uchun barcha faol oqimlarning ish yukini, jumladan, dekodlash, tasvirni o'zgartirish, xotira harakati va yozishni hisobga oling. Sinov davomida o'sib boruvchi navbat o'rtacha sig'im kiruvchi ish yukidan past ekanligini ko'rsatadi.
Umumiy tarqatish belgilari
| Alomat | Birinchi tergov |
|---|---|
| To'g'ri model, noto'g'ri teglar yoki qutilar | Rang tartibi, normallashtirish, o'lchamini o'zgartirish/to'ldirish, chiqish tartibi va qayta ishlash |
| O'zgartirilgan model ishga tushirilmaydi | Maqsadni tanlash, ish vaqti/haydovchi mosligi va model artefakt yaxlitligi |
| Yaxshi qisqa benchmark, yomon barqaror ishlash | Harorat, quvvat rejimi, xotira bosimi va raqobatbardosh ish |
| Qabul qilinadigan xulosalar vaqti, ko'rinadigan darajada kechiktirilgan natijalar | Buferlash, navbat yoshi, nusxalar va chiqish rejalashtirish |
| INT8 chiqish foydali aniqlashlarni yo'qotadi | Kalibrlash qamrovi, qayta ishlashdan oldingi ekvivalentlik va vazifa darajasini tekshirish |
Prototipni takrorlanadigan mahsulotga aylantiring
Model, ish vaqti va dastur konfiguratsiyasini boshqariladigan versiya sifatida to'plang. Ishga tushirish tekshiruvlarini, xatolik haqida hisobot berishni, tiklashni va orqaga qaytish yo'lini belgilang. Kamerani ulashdan oldin noto'g'ri o'rnatishni aniqlashi mumkin bo'lgan kichik mos yozuvlar kiritish testini saqlang. Ushbu dasturiy ta'minot tekshiruvini kabellar, drayverlar va ta'sir qilish sozlamalari bilan shug'ullanadigan jismoniy sensor sinovidan ajrating.
Kengashga turli ulagichlar, quvvatni sozlash yoki sensor interfeyslari kerak bo'lganda, ko'rib chiqing SoM va SBC qaror va tashuvchi platani loyihalash jarayoni. Ushbu qarorlar muvaffaqiyatli model namoyishi qanday qilib barqaror tizimga aylanishini belgilaydi.
RK3588 NPU tarqatish savollari
Har bir ONNX modeli RK3588 NPU da ishlay oladimi?
Moslik haqiqiy grafik, shakllar, operatsiyalar va tanlangan asboblar zanjiriga bog'liq. Siz jo'natmoqchi bo'lgan modelni konvertatsiya qilish va qurilmada tekshirish orqali yordamni o'rnating.
E'lon qilingan tezlatgich reytingi dastur FPSni bashorat qiladimi?
Yo'q. Tarmoq, aniqlik, xotira harakati, oldindan ishlov berish va ish vaqti ilovaning o'lchangan o'tkazuvchanligini aniqlaydi. Platformalarni taqqoslashda maqsadli ish yukidan va uning toʻliq maʼlumotlar yoʻlidan foydalaning.
Avval neyron tarmoqni optimallashtirishim kerakmi?
Avval profil. Agar sotib olish, tasvirni o'zgartirish yoki navbat ustunlik qilsa, modelni bajarish vaqtini qisqartirish ilovaning natija yoshiga kam ta'sir qilishi mumkin.
To'liq kompyuterni ko'rish vazifasini taqqoslang
Ob'ektni aniqlash ilovasi uchun kamerani suratga olish, o'lchamini o'zgartirish va normallashtirish, NPU xulosa chiqarish, chiqish dekodlash va qarorni yetkazib berishni o'lchang. Vaqt natijasi bilan model versiyasi, kirish ruxsati, aniqlik, ishonch chegarasi va baholash ma'lumotlar to'plami haqida xabar bering. Aks holda, ikkita oʻxshash edge AI mezon turli vazifalarni tavsiflashi mumkin.
Model arxitekturasini yaratishdan oldin tanlangan RKNN asboblar zanjiri orqali eksport qilingan grafik va kerakli operatorlarni sinab koʻring. Kvantlashdan so'ng aniqlikni va doimiy bajarish paytida xatti-harakatlarni tekshiring, nafaqat konvertatsiya muvaffaqiyatli bo'ladimi yoki yo'qmi. Ob'ektni aniqlash, segmentatsiyalash va tasniflash har xil mahsulotni qayta ishlash xarajatlariga ega; loyiha uchun tanlangan haqiqiy ish yukini tasdiqlash.
FPGA, NPU va MPU dizayn rollarini solishtiring
Texnik ma'lumotnomalar
edge AI ta ish yukingizni qamrab oling.
Modelni, kirish ruxsatini, kamera interfeyslarini, kerakli natija tezligini va quvvat konvertini baham ko'ring. Biz RK3588 asosidagi chekka platforma atrofida integratsiya ishini baholashimiz mumkin.