AI MPU дегеніміз не?
AI мүмкіндігі бар MPU платформасы қолданбалы микропроцессорды бағдарламалық жасақтамамен және машинада оқу жұмыс жүктемесіне қажетті жеделдету ресурстарымен біріктіреді. Орталық процессорға қандай тапсырмалар тиесілі екенін және қолдау көрсетілетін үдеткіштің қайсысы пайдалы екенін анықтаудан бастаңыз.
MPU немесе қолданбалы микропроцессор әдетте ендірілген Linux жүйесінің бағдарламалық орталығы болып табылады. "AI MPU" жеке процессор санаты емес, ол NPU, GPU, DSP немесе FPGA сияқты жеделдету ресурстарын қамтитын немесе олармен тығыз жұмыс істейтін MPU платформасы сияқты. MPU хосттары Linux, желі, сақтау, қауіпсіздік қызметтері, қолданба логикасы және AI жұмыс жүктемелерін үйлестіретін орындалу уақыты.
MPU машиналық оқыту үшін практикалық мәселе тек процессордың жылдамдығы емес. Жад өткізу қабілеті, үдеткіш қолдауы, камера және жоғары жылдамдық I/O, Linux BSP сапасы, ұзақ мерзімді қолжетімділік, термиялық дизайн және үлгі-құралдар тізбегінің жетілуі жиі тақырып TOPS мәнінен маңыздырақ.
MPU жақсы жасанды интеллект платформасы не етеді?
Жасанды интеллект үшін ең жақсы MPU жұмыс жүктемесіне байланысты. Көру шлюзі MIPI CSI, аппараттық бейне құбырлары және NPU басымдылығы болуы мүмкін. Күрделі миссия компьютеріне PCIe, бірнеше Ethernet порттар, детерминирленген серіктес ядролар және күштірек қауіпсіздік мүмкіндіктері қажет болуы мүмкін. Өнеркәсіптік платформа өнімнің ұзақ қызмет ету мерзімін, TSN, CAN-FD және тұрақты Linux экожүйесін бағалауы мүмкін.
Нақты үлгіні салыстырыңыз және алдын ала өңдеу тізбегін аяқтаңыз. Жарнамаланған үдеткіш фигурасы төмен платформа жад көшірмелерін болдырмаса, қажетті операторларға қолдау көрсетсе және сенсордан нәтижеге дейінгі жолды тиімді ұстаса жеңуі мүмкін.
NPU: шеттегі тиімді нейрондық қорытынды
NPU жиегі конвульсиялар, матрицалық операциялар және жалпы белсендіру функциялары сияқты нейрондық желі операторларын жылдамдатады. Бұл әдетте қуат пен тұрақты қорытынды өткізу қабілеті маңызды болған кезде қолдау көрсетілетін анықтау, жіктеу, сегменттеу және мүмкіндіктерді шығару үлгілері үшін ең тиімді орын болып табылады.
NPU өнімділігі компиляция мен оператордың қамтуына байланысты. Қолдау көрсетілмейтін қабаттар процессорға немесе басқа үдеткішке қайта түсуі мүмкін. Кванттау талаптары, тензорлық орналасулар, кіріс рұқсаты және жад қозғалысы да нақты әлемдегі өнімділікті түбегейлі өзгерте алады. Тек теориялық TOPS ғана емес, әрқашан өндіріс графигін салыстырыңыз.
FPGA: икемділік маңызды жерде детерминирленген конвейерлер және AI қорытындысы
FPGA детерминирленген деректер қозғалысы, теңшелетін интерфейстер және жаппай параллель құбыр желілері бойынша керемет. Шеткі жүйелерде ол сенсорларды сериядан ажырата алады, уақыт белгілерін туралайды, деректерді сүзеді, қызығушылық аймақтарын жасайды, кескінді алдын ала өңдеуді жүзеге асырады және болжамды кідіріспен үдеткішті бере алады. FPGA Модель қолжетімді DSP, жад және жеткізушінің жеделдету стекімен жақсы салыстырылғанда, AI қорытындысы да мүмкін болады.
Сауда - бұл инженерлік күш. RTL немесе HLS дизайны, модельдеу, уақытты жабу, тексеру және жаңарту стратегиясын жоспарлау керек. FPGA таңдалуы керек, себебі детерминирленген мінез-құлық немесе теңшелетін параллелизм жүйе мәнін жасайды, ол жай арифметикалық жұмыс істей алатындықтан емес.
edge AI үшін NPU қарсы FPGA
NPU және FPGA шешімі көбінесе жалған екілік болып табылады. NPU әдетте қолдау көрсетілетін нейрондық желілер және бір ватт үшін күшті өнімділік үшін оңай таңдау болып табылады. Жүйеге реттелетін сенсор интерфейстері, детерминирленген алдын ала өңдеу, әдеттен тыс деректер пішімдері немесе қорытындыға дейін және одан кейін қатаң бақыланатын құбыр қажет болғанда FPGA күштірек болады.
Жалпы архитектура екеуін де пайдаланады: сенсорды қабылдау және алдын ала өңдеу үшін FPGA, нейрондық желі үшін NPU және Linux оркестрлеу үшін MPU. Бұл кез келген процессорға мәжбүрлеп орындалатын тұрақты емес жұмыс көлемін азайтады.
| Ресурс | Ең қолайлы жұмыс жүктемелері | Негізгі шектеулер |
|---|---|---|
| FPGA | Детерминистік конвейерлер, реттелетін I/O, уақыт белгісі, алдын ала өңдеу, арнайы жеделдету | RTL/HLS күш-жігері, тексеру, құрылғы ресурстары |
| NPU | Бір ватт үшін жақсы өнімділікпен қолдау көрсетілетін нейрондық қорытынды | Операторды қолдау, компилятор/орындау уақыты, кванттау және жады қозғалысы |
| MPU | Linux қолданбалар, желі, сақтау, киберқауіпсіздік, ұйымдастыру | Аз детерминирленген орындалу; жалпы мақсаттағы үстеме шығындар |
| MCU / RT ядросы | Басқару циклдері, қауіпсіздікті қадағалау, қуат реттілігі, детерминирленген I/O | Шектеулі жады және жоғары деңгейлі есептеу |
Шеткі есептеулер
- Мерзімдерден бастаңыз: қай сигналдарға қиын уақыт талаптары бар екенін және сенсордың әрекетке максималды кідірісін анықтаңыз.
- Карта деректерінің жылдамдығы: сенсордың өткізу қабілетін, аралық тензор өлшемдерін және ең нашар жады трафигін есептеңіз.
- Детерминирленген қабылдауды интерфейске жақын ұстаңыз: FPGA, DMA қозғалтқыштары немесе нақты уақыттағы ядролар жиі қолайлы.
- Қолдау көрсетілетін нейрондық үлгілерді NPU ішіне орналастырыңыз: операторды қамтуды және нақты құрастырылған өнімділікті растау.
- Жүйе үшін MPU пайдаланыңыз: желі, сақтау, жаңартулар, журнал жүргізу, API және қолданба саясаты табиғи түрде Linux ішіне жатады.
- Нақты уақыттағы резервті бақылау: MCU немесе детерминирленген ядро қажет болған жағдайда уақыт бойынша маңызды іске қосуды және платформаның күйін қадағалауы керек.
Жад өткізу қабілеттілігі көбінесе жасырын кедергі болып табылады
Көптеген edge AI дизайндары есептеу шыңдарына назар аударады және кейінірек көшірмелер, түс түрлендіру, тензорды қайта пішімдеу немесе ортақ DDR кідіріс басым болатынын анықтайды. Нөлдік көшірме немесе аз көшірме жолдары, DMA топологиясы, кэш әрекеті және жеделдеткіш жадыға қол жеткізу ертерек бағалануы керек. Термиялық дроссель күшті көрсеткішті әлсіз тұрақты өнімділікке айналдыра алады.
Бұл әсіресе бірнеше камералар, радарлар, оқиға сенсорлары немесе жоғары жылдамдықты Ethernet ағындары бір жад ішкі жүйесін ортақ пайдаланған кезде өте маңызды.
Анықтамалық архитектура мысалдары
Көру / оқиға сенсорының құбыры
Сенсор → FPGA қабылдау және уақыт белгісі → NPU қорытынды → MPU шешім қызметтері → CAN-FD немесе Ethernet шығыс. Бұл кідіріссіз қабылдаудың күшті үлгісі және біздің қабылдауымызға тікелей қосылады .
Енгізілген AI компьютері
Жоғары жылдамдықты I/O → DMA / үдеткіш жолы → NPU немесе GPU қорытындысы → Linux қолданба қызметтері → сақтау және желі API интерфейстері. Біздің ендірілген есептеу модулі және берік компьютер өнім сыныптары бөлудің осы түріне негізделген.
Өнеркәсіптік детерминирленген шлюз
CAN-FD / сериялық / Ethernet интерфейстер → FPGA немесе MCU уақыт белгілеу және протоколды өңдеу → MPU қызметтер → қосымша NPU аналитика. Мұнда детерминирленген I/O және бағдарламалық жасақтаманың ұзақ мерзімді техникалық қызмет көрсету мүмкіндігі максималды AI өткізу қабілетінен маңыздырақ болуы мүмкін.
FPGA, NPU және MPU арасында қалай таңдауға болады
Процессор белгісін емес, толық жұмыс жүктемесін таңдаңыз. Егер басым мәселе нейрондық қорытынды болса, NPU үйлесімділіктен бастаңыз. Арнаулы I/O және детерминирленген алдын ала өңдеу басым болса, FPGA ресурстарын бағалаңыз. Linux қызметтері, желі және қолданбалы бағдарламалық құрал басым болса, MPU мүмкіндігінен бастаңыз. Көптеген өнімділігі жоғары шеткі платформалар осы ресурстардың кем дегенде екеуін біріктіреді.
Аппараттық құралдарды орындамас бұрын, ұсынылған бағдарламалық құрал стегі арқылы өкілдік ағындарды іске қосыңыз және соңғы күту уақытын, қуатты, жад өткізу қабілетін және термалды өлшеңіз. Бұл дәлел жалпы акселератор рейтингтерінен құндырақ.
Жұмыс мысалы: төрт камера және ортақ жад бюджеті
Кескінді түрлендіруден кейін әр арнаға бір байтпен RGB түрінде ұсынылған секундына 30 кадрмен төрт 1280 × 720 ағыны бар жоспарлау мысалын қарастырыңыз. Олардың біріктірілген логикалық кескіннің пайдалы жүктемесі 4 × 1280 × 720 × 30 × 3 = секундына 331,776,000 байт, ондық бірлікте шамамен 332 MB/с. Бұл ALVEXIS өнімінің камера сілтемесінің бит жылдамдығы немесе өлшенген өнімділігі емес.
Қосымша бір толық кадрлы көшірме сол пайдалы жүктемені оқиды және жазады, кэш әрекетін немесе басқа әрекеттерді қарастырмас бұрын шамамен 664 MB/с жад трафигін қосады. Модельдік тензорлар, түстерді түрлендіру, журналды тіркеу және бір мезгілде қызметтері өздерінің жеке трафигін қосады. Бұл дизайнның тақырыптық үдеткіш рейтингі жеткілікті болып көрінсе де, деректер қозғалысымен шектелуі мүмкін екенін түсіндіреді.
| Орынға жұмыс | Бастапқы нүкте | Жасалмас бұрын дәлел |
|---|---|---|
| Камераны қабылдау және синхрондау | Қажет болса, FPGA немесе қосымша құрылғысы бар қолдау көрсетілетін SoC интерфейстері | Бір мезгілде ағынды түсіру, уақыт белгісінің әрекеті және жүктеме кезінде жоғалту |
| Нейрондық қорытынды | NPU таңдалған график пен дәлдікке қолдау көрсетілгенде | Түрлендіру дәлдігі және құрылғыдағы қолданбаның тұрақты өлшемдері |
| Linux қызметтер және жазу | MPU ресурстар және нақты бюджеттелген сақтау жолы | Қорытынды белсенді болған кезде CPU, жад және I/O әрекеті |
| Уақыт өте маңызды сыртқы бақылау | Сәйкес нақты уақыттағы контроллер немесе расталған детерминирленген іске асыру | Тиісті ең нашар жұмыс жүктемесі бойынша жауап беру уақытының дәлелі |
Бөлудің мақсаты - әрбір уақыт пен ресурс талаптарын анық ету. Бұл әр дизайнға төрт түрлі процессор қажет дегенді білдірмейді. Талаптарға сәйкес келетін қарапайым архитектурадан бастаңыз, содан кейін өлшемдер немесе интерфейс шектеулері оларды негіздейтін ресурстарды қосыңыз.
Процессор қоспасын таңдауға арналған валидация жоспары
- Енгізу келісім-шартын тоқтатыңыз: сенсорлар, деректер пішімдері, модель, ажыратымдылық және жұмыс шарттары.
- Үдеткіштің өткізу қабілетін салыстыру алдында үлгі қолдауы мен шығыс сапасын тексеріңіз.
- Сатып алуды, алдын ала өңдеуді, қорытындыны және жеткізуді бөлек өлшеңіз, содан кейін толық жолды өлшеңіз.
- Жазу, желі және барлық жоспарланған сенсорлар белсенді болған кезде тұрақты термиялық жүктеме кезінде қайталаңыз.
- Кезек жасын, жоғалған кірістерді және күту уақытын жазыңыз, сондықтан жоғары орташа жылдамдық үзіліссіз кешігулерді жасырмайды.
Тақтаны қайта қарауды, бағдарламалық құрал кескінін, құралдар тізбегі нұсқаларын және сынақ кірістерін нәтижелермен бірге сақтаңыз. Rockchip іске асыру үшін RK3588 үлгіні орналастыру нұсқаулығы бұл жұмыс процесін дамытады. Оқиға камерасы деректері үшін пайдаланыңыз бағдарламалық құралды біріктіру нұсқаулығы қорытынды жолды таңдаудан бұрын уақыт белгілерін және көріністерді анықтау.
Жұмыс көлемін сипаттағаннан кейін салыстырыңыз SoM және SBC біріктіру опциялары. Бұл шешім есептеу архитектурасын қосқыштарға, қуатқа, қоршауға және өндіріс жұмысына қосады.
Процессорды таңдаудан бастап құрастырылатын өнімге дейін
Процессордың қысқа тізімі толық өнімге сәйкес келгенде ғана пайдалы болады. Теңшелетін тақтаға тапсырыс бермес бұрын, жұмыс көлемін қысқаша инженерлік анықтамаға айналдырыңыз:
- Кірістері: сенсорлар саны, интерфейстер, үлгі жылдамдығы және синхрондау талаптары.
- AI жұмыс жүктемесі: нақты үлгі, қолдау көрсетілетін дәлдік және қолайлы шығыс сапасы.
- Физикалық шектеулер: өлшемдері, қуат көзі, салқындату және жұмыс ортасы.
- Жеткізу: прототип саны, өндіріс көлемі, бағдарламалық қамтамасыз етуді иелену және қабылдау сынақтары.
Тексеру станциясы үшін камера құбырын желі триггеріне, бөлік идентификаторына және нәтиже интерфейсіне қосыңыз. Біздің өнеркәсіптік машинаны көру және сапаны бақылау шешімі бұл талаптардың ұшқышқа қалай айналатынын түсіндіреді.
MPU, NPU және FPGA edge AI ЖҚС
MPU AI дегеніміз не?
MPU AI әдетте Linux және көбінесе NPU, GPU немесе FPGA сияқты біріктірілген немесе қосымша жеделдету арқылы ендірілген микропроцессорлық платформада орналастырылған жасанды интеллект жұмыс жүктемелерін сипаттайды. MPU әдетте қолданбаларды, желіні, сақтауды, қауіпсіздікті және қорытынды құбырының айналасындағы ұйымдастыруды басқарады.
MPU машиналық оқытуды іске қоса ала ма?
Иә. MPU машинаны оқыту жұмыс жүктемелері процессордың өзектерінде жұмыс істей алады немесе біріктірілген үдеткіштерді пайдалана алады. Өндіріс жүйелері үшін үлгіні қолдау, жад өткізу қабілеттілігі, тұрақты термалдар және соңғы кідіріс тек TOPS тақырыбына қарағанда маңызды.
NPU және FPGA: edge AI үшін қайсысы жақсы?
NPU әдетте бір ваттқа жоғары өнімділігі бар қолдау көрсетілетін нейрондық желі қорытындысы үшін қарапайым таңдау болып табылады. Теңшелетін сенсор интерфейстері, детерминирленген алдын ала өңдеу, әдеттен тыс деректер пішімдері немесе арнайы конвейерлер дизайн үшін орталық болған кезде FPGA қолайлы. Көптеген жүйелер екеуін де пайдаланады.
FPGA құрылғысында NPU жұмыс жүктемесін іске қоса аласыз ба?
FPGA нейрондық желі үдеткіштерін немесе қорытынды шығару жолын іске асыра алады, бірақ ол автоматты түрде арнайы NPU баламасы емес. Сауда бағдарламаланатын логикалық ресурстарды, жадты, құралдар тізбегінің жетілуін, үлгіні қолдауды, тексеру күштерін және қуатты қамтиды.
FPGA AI тұжырымы қашан мағыналы болады?
FPGA AI қорытындысы детерминирленген алдын ала өңдеумен, реттелетін интерфейстермен немесе арнайы деректер қозғалысымен тығыз байланысты болуы керек кезде тартымды болады. Бұл стандартты NPU жұмыс уақыты сенсор жолына немесе кідіріс шектеулеріне сәйкес келмегенде әсіресе пайдалы.
TinyML шеттік есептеулерге сәйкес келетін жерде
Edge computing деректер көзінің жанында өңдеуді сипаттайды; edge AI машинаны үйрену туралы қорытындыны қолданады. TinyML жады мен қуаты шектеулі микроконтроллерлерде жиі қолданудың шектелген класын қарастырады. Кішкентай діріл классификаторы мен көп камералы қабылдау құбыры, сондықтан екеуі де edge AI болуы мүмкін болса да, әртүрлі аппараттық бюджеттерді қажет етеді.
Микроконтроллер мақсаты үшін үлгі өлшемін, орындалу жадын, қолдау көрсетілетін операторларды және сатып алу шығындарын тексеріңіз. NPU немесе FPGA негізіндегі дизайн үшін жад қозғалысын және жеделдетілген және жеделдетілмеген жұмыс арасындағы бөлімді де бағалаңыз. Технологияны оның аббревиатурасынан таңдаудың орнына, өлшенген тапсырма мен қалпына келтіру талаптарын қанағаттандыратын ең кіші архитектураны таңдаңыз.
Техникалық анықтамалар
- Rockchip: RKNN бағдарламалық құрал құрамдастары және орналастыру құралдары
- Rockchip: үлгі түрлендіру және қорытынды мысалдар
- Gallego және т.б.: Оқиғаға негізделген көрініс — сауалнама
- TensorFlow Lite Micro: жады шектеулі құрылғылар туралы қорытынды
Өткізу қабілетінің мысалы өнімнің эталоны емес, нақты есептеу болып табылады. Таңдалған архитектураны жоспарланған жұмыс жүктемесінде растаңыз.
Нақты edge AI жұмыс жүктемеңізді бөліңіз.
Сенсор интерфейстерін, үлгі түрін, деректер жылдамдығын, қуат конвертін және орналастыру шектеулерін жіберіңіз. Біз оларды MPU/NPU/FPGA архитектурасына және сәйкес есептеу модулі класына салыстыра аламыз.