RK3588 NPU бағдарламалық құрал стегі қалай үйлеседі
Rockchip RKNN бағдарламалық жасақтамасы үлгіні дайындауды құрылғыдағы орындалудан бөледі. RKNN-Toolkit2 түрлендіру және бағалау құралдарын ұсынады. RKNN-Toolkit-Lite2 қолдау көрсетілетін мақсатты платформаларда Python интерфейсін қамтамасыз етеді, ал RKNN Runtime C/C++ интерфейстерін қамтамасыз етеді. Ядро драйвері орындалу уақытын NPU-ге қосады. Модуль үшін берілген тақтаны қолдау пакетімен осы құрамдастардың үйлесімділігін тексеріңіз.
Пайдалы орналастыру жазбасы тақтаны және SoM түзетуді, Linux кескінді, драйверді, орындалу уақытын, түрлендіру құралының нұсқасын, бастапқы үлгіні және түрлендірілген үлгіні анықтайды. Құрастыру сценарийін және алдын ала өңдеу параметрлерін үлгі артефактісінің жанында сақтаңыз. сияқты файл атауы detector.rknn жалғыз өзі неге бір орналастыру басқасынан басқаша әрекет ететінін түсіндіре алмайды.
1-қадам: түрлендіру алдында сілтеме жасаңыз
Түпнұсқа үлгіні өкілді тексеру жиынында іске қосыңыз. Бастапқы нәтижелерді және маңызды қолданба метрикасын сақтаңыз: жіктеу дәлдігі, анықтау сапасы немесе тапсырмаға қатысты басқа шара. Детектор үшін жапсырма ретін, сенімділік шектерін және өңдеуден кейінгі параметрлерді сақтаңыз. Бұл түрлендірілген модель үшін салыстыру нүктесі болады.
Толық енгізу келісім-шартын жазыңыз. Өлшемдерді, топтама өлшемін, RGB немесе BGR ретін, орналасуды, сандық ауқымды, қалыпқа келтіруді, өлшемін өзгертуді және толтыруды қосыңыз. Қолданба кескінді оқудан басқаша орналастырса немесе ығысуды екі рет шегерсе, дұрыс үлгі нашар нәтижелер бере алады. Желіден тыс өңдеуді дәл осылай мұқият құжаттаңыз.
Rockchip пайдаланыңыз RKNN Модель хайуанаттар бағы ол сәйкес үлгі мен мақсатты қамтитын кезде бастапқы нүкте ретінде. Оның түрлендіру және қорытынды мысалдары кез келген экспортталған желі өзгеріссіз жұмыс істейді деп есептегеннен гөрі пайдалырақ. Белгілі репозиторий нұсқасын таңдап, нақты мысалға арналған нұсқауларды орындаңыз.
2-қадам: үлгіні түрлендіру және оператордың қолдауын тексеріңіз
- Мақсатты сәйкестендіріңіз. RK3588 мақсатты және жоспарланған тақта кескінімен үйлесімді құралдар тізбегін таңдаңыз.
- Графикті тексеріңіз. Экспортталған үлгідегі нақты әрекеттер үшін пішіндерді, алдын ала өңдеуді, шығыстарды және қолдауды растаңыз.
- Анықтамалық түрлендіруді құрастырыңыз. Сол график пен бағдарламалық құрал нұсқасы қолдайтын дәлдік опцияларын пайдаланыңыз.
- Толық құрастыру журналын оқыңыз. Камераны алуды немесе пайдаланушы интерфейсін қоспас бұрын сәтсіздіктерді шешіп, ескертулерді зерттеңіз.
- Шығаруларды салыстыру. Түпнұсқа және түрлендірілген үлгілер арқылы бірдей кірістерді бірдей кейінгі өңдеумен іске қосыңыз.
Қолдау көрсетілмейтін операция басқа экспорттауды, графикті қайта жазуды немесе нақты процессорды өңдеу кезеңін қажет етуі мүмкін. Орындау уақыты әрбір қолдау көрсетілмейтін қабатты мөлдір түрде орындайды деп ойламаңыз. Егер жұмыс жүктемесінің бір бөлігі орталық процессорға ауысса, өнімділікті өлшеуге тасымалдаулар мен синхрондауды қосыңыз.
3-қадам: INT8 дәлдік талаптарына сәйкес бағалаңыз
Кванттау сандық көріністі өзгертеді. Таңдалған түрлендіру ағыны калибрлеу деректерін пайдаланғанда, орналастыруды көрсететін кірістерді таңдаңыз: жарықтандыру, нысан өлшемі, фон және жұмыс жағдайлары. Нәтижені бағалау үшін бөлек тексеру жинағын сақтаңыз. Сәтті аяқталған түрлендіру әлі де дәлдікті тексеруді қажет етеді.
Екі тензор арасындағы айырмашылықты ғана емес, қолданбаның шығысын салыстырыңыз. Мысалы, шағын сандық өзгеріс анықтауды сенімділік шегінен жылжыта алады. Күрделі жағдайларды, бірнеше мысалдармен және бастапқы үлгі маргиналды болған жағдайлармен сыныптарды тексеріңіз. Дәлдік қабылдау шегінен төмен түссе, аппараттық құралды өзгертпес бұрын калибрлеуді қамту және алдын ала өңдеуді қайта қараңыз.
The ONNX Орындау уақытының кванттау құжаттамасы сандық айырбастау және дәлдікті зерттеу туралы пайдалы ақпарат болып табылады. RKNN түрлендіру опциялары мен қолдау көрсетілетін дәлдік әлі таңдалған шығарылым үшін Rockchip құжаттамасында тексерілуі керек.
4-қадам: қорытынды уақытынан көбірек өлшеңіз
Жылытылғаннан кейін және ұзақ жүгіру кезінде қайтадан орналастырылған жұмыс жүктемесін өлшеңіз. Температураны, қуат режимін, қатар жүретін процестерді және қоршауды немесе салқындату тәртібін жазып алыңыз. Пайдалы нәтиже өнім жұмыс істейтін жағдайларда дәлдік пен кешіктіруді қоса, қайталанатын өнімділік конверті болып табылады.
| Өлшеу | Ол не деп жауап береді | Не жазу керек |
|---|---|---|
| Үлгінің орындалу ұзақтығы | Бұл жұмыс уақыты қоңырауы қанша уақыт алады? | Енгізу пішіні, дәлдік, уақыт шекаралары және орындау уақыты нұсқасы |
| Ақырғы кідіріс | Нәтиже берілгенде бақылау қанша жаста? | Түсіру уақыты, алдын ала өңдеу, кезек, қорытынды және шығару уақыты |
| Тұрақты өткізу қабілеті | Уақыт өте келе қанша аяқталған нәтижелер жеткізіледі? | Орындау ұзақтығы, аяқталған сұраулар және түсірілген немесе өткізіп алынған енгізулер |
| Қолдану дәлдігі | Орналастырылған үлгі тапсырма талаптарына сәйкес келе ме? | Тексеру жиыны, тапсырма метрикасы және шешім шегі |
| Жылулық мінез-құлық | Жүйе қызған соң нәтиже тұрақты ма? | Қоршаған орта жағдайлары, салқындату, температуралар және қолжетімді жерде сағаттар |
Көрсеткіш бюджет ретінде әрбір 40 мс сайын жаңа кадр алатын қолданба әрбір кадрды өңдейтін болса, секундына 25 кадрға сәйкес келуі керек. 12 мс қорытынды өлшемі осы бюджеттің қалған бөлігін сатып алу, дайындау және жеткізу үшін тек сәйкес жоспарланған дизайнда қалдырады. Ол камерадан нәтижеге дейін 12 мс кешігуін дәлелдемейді. Бұл сандар ForgeEdge өнімділігі өлшенбеген, жоспарлау мысалы болып табылады.
Бағдарламалық қамтамасыз ету ұзақтығы үшін монотонды сағатты пайдаланыңыз. Жалғыз ең жақсы бақылаудың орнына медиана мен кідіріс туралы хабарлаңыз және өңделмеген өлшемдерді сақтаңыз. Бірнеше камералар үшін декодтауды, кескінді түрлендіруді, жадты жылжытуды және жазуды қоса алғанда, барлық белсенді ағындардың жұмыс жүктемесін есепке алыңыз. Сынақ барысында өсетін кезек орташа сыйымдылықтың кіріс жұмыс жүктемесінен төмен екенін көрсетеді.
Жалпы орналастыру белгілері
| Симптом | Алғашқы тергеу |
|---|---|
| Дұрыс үлгі, қате белгілер немесе қораптар | Түс реті, қалыпқа келтіру, өлшемін өзгерту/толтыру, шығару орналасуы және кейінгі өңдеу |
| Түрлендірілген үлгіні инициализациялау мүмкін емес | Мақсатты таңдау, орындау уақыты/драйвер үйлесімділігі және модель артефакті тұтастығы |
| Жақсы қысқа көрсеткіш, нашар тұрақты өнімділік | Температура, қуат режимі, жад қысымы және бәсекелес жұмыс |
| Қолайлы қорытынды уақыты, көрінетін кешіктірілген нәтижелер | Буферлеуді, кезек жасын, көшірмелерді және шығыс кестесін түсіріңіз |
| INT8 шығыс пайдалы анықтауларды жоғалтады | Калибрлеуді қамту, алдын ала өңдеу эквиваленттілігі және тапсырма деңгейінің валидациясы |
Прототипті қайталанатын өнімге айналдырыңыз
Үлгіні, орындалу уақытын және қолданба конфигурациясын басқарылатын шығарылым ретінде бумалаңыз. Іске қосу тексерулерін, қате туралы есеп беруді, қалпына келтіруді және кері қайтару жолын анықтаңыз. Камера қосылмай тұрып, дұрыс емес орналастыруды анықтай алатын шағын анықтамалық енгізу сынамасын сақтаңыз. Бұл бағдарламалық құралды тексеруді кабельді, драйверлерді және экспозиция параметрлерін орындайтын физикалық сенсор сынағынан бөліңіз.
Тақтаға әртүрлі қосқыштар, қуат кондиционерлері немесе сенсор интерфейстері қажет болғанда, мынаны қарап шығыңыз SoM қарсы SBC шешім және тасымалдаушы тақтаны жобалау процесі. Бұл шешімдер сәтті үлгі көрсетудің қолдау көрсетілетін жүйеге айналу жолын анықтайды.
RK3588 NPU орналастыру сұрақтары
Әрбір ONNX үлгісі RK3588 NPU жүйесінде жұмыс істей ала ма?
Үйлесімділік нақты графикке, пішіндерге, операцияларға және таңдалған құралдар тізбегіне байланысты. Жеткізгіңіз келетін үлгіні түрлендіру және құрылғыда тексеру арқылы қолдауды орнатыңыз.
Жарнамаланған үдеткіш рейтингі FPS қолданбасын болжайды ма?
Жоқ. Желі, дәлдік, жад әрекеті, алдын ала өңдеу және орындалу уақыты қолданбаның өлшенген өткізу қабілетін анықтайды. Платформаларды салыстыру кезінде мақсатты жұмыс жүктемесін және оның толық деректер жолын пайдаланыңыз.
Алдымен нейрондық желіні оңтайландыруым керек пе?
Алдымен профиль. Егер алу, кескінді түрлендіру немесе кезекке қою басым болса, үлгіні орындау уақытын қысқарту қолданбада болатын нәтиже жасына аз әсер етуі мүмкін.
Толық компьютерлік көру тапсырмасын салыстырыңыз
Нысанды анықтау қолданбасы үшін камераны түсіруді, өлшемін өзгертуді және қалыпқа келтіруді, NPU қорытындыны, шығыс декодтауын және шешімді жеткізуді өлшеңіз. Үлгі нұсқасын, кіріс рұқсатын, дәлдікті, сенімділік шегін және бағалау деректер жинағын уақыт нәтижесімен бірге хабарлаңыз. Әйтпесе, екі ұқсас edge AI эталон әртүрлі тапсырмаларды сипаттауы мүмкін.
Модель архитектурасына тапсырмас бұрын таңдалған RKNN құралдар тізбегі арқылы экспортталған графикті және қажетті операторларды сынап көріңіз. Кванттаудан кейінгі дәлдікті және түрлендіру сәтті болатынын ғана емес, тұрақты орындау кезіндегі әрекетті тексеріңіз. Объектіні анықтау, сегменттеу және жіктеу өнімді өңдеудің әртүрлі шығындарына ие; жоба үшін таңдалған нақты жұмыс жүктемесін растау.
FPGA, NPU және MPU дизайн рөлдерін салыстыру
Техникалық анықтамалар
edge AI жұмыс жүктемеңізді қамту.
Үлгіні, кіріс ажыратымдылығын, камера интерфейстерін, қажетті нәтиже жылдамдығын және қуат конвертін бөлісіңіз. Біз RK3588 негізіндегі шеткі платформаның айналасындағы интеграция жұмысын бағалай аламыз.