RK3588 NPU மென்பொருள் அடுக்கு எவ்வாறு ஒன்றாகப் பொருந்துகிறது
Rockchip இன் RKNN சாஃப்ட்வேர் ஸ்டாக் மாதிரி தயாரிப்பை சாதனத்தில் செயல்படுத்துவதில் இருந்து பிரிக்கிறது. RKNN-டூல்கிட்2 மாற்று மற்றும் மதிப்பீட்டு கருவிகளை வழங்குகிறது. RKNN-Toolkit-Lite2 ஆதரிக்கப்படும் இலக்கு இயங்குதளங்களில் ஒரு பைதான் இடைமுகத்தை வழங்குகிறது, அதே நேரத்தில் RKNN இயக்க நேரம் C/C++ இடைமுகங்களை வழங்குகிறது. கர்னல் இயக்கி இயக்க நேரத்தை NPU உடன் இணைக்கிறது. உங்கள் தொகுதிக்கு வழங்கப்பட்ட போர்டு ஆதரவு தொகுப்புடன் இந்த கூறுகளின் இணக்கத்தன்மையை சரிபார்க்கவும்.
ஒரு பயனுள்ள வரிசைப்படுத்தல் பதிவு பலகை மற்றும் SoM திருத்தம், Linux படம், இயக்கி, இயக்க நேரம், மாற்று கருவி பதிப்பு, அசல் மாதிரி மற்றும் மாற்றப்பட்ட மாதிரி ஆகியவற்றைக் கண்டறியும். மாதிரி கலைப்பொருளுக்கு அருகில் உருவாக்க ஸ்கிரிப்ட் மற்றும் முன் செயலாக்க அமைப்புகளைச் சேமிக்கவும். போன்ற ஒரு கோப்பு பெயர் detector.rknn ஒரு வரிசைப்படுத்தல் மற்றொன்றிலிருந்து ஏன் வித்தியாசமாக செயல்படுகிறது என்பதை மட்டும் விளக்க முடியாது.
படி 1: மாற்றுவதற்கு முன் ஒரு குறிப்பை நிறுவவும்
ஒரு பிரதிநிதி சரிபார்ப்பு தொகுப்பில் அசல் மாதிரியை இயக்கவும். முக்கிய வெளியீடுகள் மற்றும் பயன்பாட்டு அளவீடுகளைச் சேமிக்கவும்: வகைப்பாடு துல்லியம், கண்டறிதல் தரம் அல்லது பணி சார்ந்த மற்றொரு நடவடிக்கை. டிடெக்டருக்கு, லேபிள் வரிசைப்படுத்துதல், நம்பிக்கை வரம்புகள் மற்றும் பிந்தைய செயலாக்க அமைப்புகளைப் பாதுகாக்கவும். இது மாற்றப்பட்ட மாதிரியின் ஒப்பீட்டு புள்ளியாக மாறும்.
முழு உள்ளீட்டு ஒப்பந்தத்தையும் எழுதுங்கள். பரிமாணங்கள், தொகுதி அளவு, RGB அல்லது BGR வரிசைப்படுத்துதல், தளவமைப்பு, எண் வரம்பு, இயல்பாக்கம், மறுஅளவாக்கம் மற்றும் திணிப்பு ஆகியவை அடங்கும். ஒரு சரியான மாதிரியானது, விண்ணப்பம் லெட்டர்பாக்ஸ் ஒரு படத்தை பயிற்சியிலிருந்து வேறுபட்டு அல்லது இரண்டு முறை ஆஃப்செட்டைக் கழித்தால் மோசமான முடிவுகளைத் தரும். நெட்வொர்க்கிற்கு வெளியே பிந்தைய செயலாக்கத்தை கவனமாக ஆவணப்படுத்தவும்.
Rockchip ஐப் பயன்படுத்தவும் RKNN மாதிரி உயிரியல் பூங்கா ஒரு தொடக்கப் புள்ளியாக அது பொருந்தும் மாதிரி மற்றும் இலக்கை உள்ளடக்கியது. ஏற்றுமதி செய்யப்பட்ட எந்த நெட்வொர்க்கும் மாறாமல் வேலை செய்யும் என்று கருதுவதை விட அதன் மாற்றம் மற்றும் அனுமான எடுத்துக்காட்டுகள் மிகவும் பயனுள்ளதாக இருக்கும். அறியப்பட்ட களஞ்சிய திருத்தத்தைத் தேர்ந்தெடுத்து, குறிப்பிட்ட உதாரணத்திற்கான வழிமுறைகளைப் பின்பற்றவும்.
படி 2: மாதிரியை மாற்றி, ஆபரேட்டர் ஆதரவைச் சரிபார்க்கவும்
- இலக்கை பொருத்துங்கள். RK3588 இலக்கையும், உத்தேசித்துள்ள பலகைப் படத்துடன் இணக்கமான டூல்செயினையும் தேர்ந்தெடுக்கவும்.
- வரைபடத்தை ஆய்வு செய்யவும். ஏற்றுமதி செய்யப்பட்ட மாதிரியில் உண்மையான செயல்பாடுகளுக்கான வடிவங்கள், முன் செயலாக்கம், வெளியீடுகள் மற்றும் ஆதரவை உறுதிப்படுத்தவும்.
- குறிப்பு மாற்றத்தை உருவாக்கவும். அந்த வரைபடம் மற்றும் மென்பொருள் பதிப்பால் ஆதரிக்கப்படும் துல்லியமான விருப்பங்களைப் பயன்படுத்தவும்.
- முழுமையான உருவாக்க பதிவைப் படிக்கவும். கேமரா கையகப்படுத்தல் அல்லது பயனர் இடைமுகத்தைச் சேர்ப்பதற்கு முன் தோல்விகளைத் தீர்க்கவும் மற்றும் எச்சரிக்கைகளை ஆராயவும்.
- வெளியீடுகளை ஒப்பிடுக. அசல் மற்றும் மாற்றப்பட்ட மாதிரிகள் மூலம் அதே உள்ளீடுகளை அதே பிந்தைய செயலாக்கத்துடன் இயக்கவும்.
ஆதரிக்கப்படாத செயல்பாட்டிற்கு வேறு ஏற்றுமதி, வரைபடத்தை மீண்டும் எழுதுதல் அல்லது வெளிப்படையான CPU செயலாக்க நிலை தேவைப்படலாம். ஆதரிக்கப்படாத ஒவ்வொரு லேயரையும் இயக்க நேரம் வெளிப்படையாகச் செயல்படுத்தும் என்று நினைக்க வேண்டாம். பணிச்சுமையின் ஒரு பகுதி CPU க்கு நகர்ந்தால், செயல்திறன் அளவீட்டில் பரிமாற்றங்கள் மற்றும் ஒத்திசைவு ஆகியவை அடங்கும்.
படி 3: உங்கள் துல்லியத் தேவைக்கு ஏற்ப INT8ஐ மதிப்பிடவும்
அளவீடு எண் பிரதிநிதித்துவத்தை மாற்றுகிறது. தேர்ந்தெடுக்கப்பட்ட மாற்று ஓட்டம் அளவுத்திருத்தத் தரவைப் பயன்படுத்தும் போது, வரிசைப்படுத்தலின் பிரதிநிதி உள்ளீடுகளைத் தேர்ந்தெடுக்கவும்: ஒளி, பொருளின் அளவு, பின்னணி மற்றும் இயக்க நிலைமைகள். முடிவை மதிப்பிடுவதற்கு ஒரு தனி சரிபார்ப்பு தொகுப்பை வைத்திருங்கள். வெற்றிகரமாக முடிக்கும் மாற்றத்திற்கு இன்னும் துல்லியச் சரிபார்ப்பு தேவை.
இரண்டு டென்சர்களுக்கு இடையே உள்ள வித்தியாசத்தை மட்டும் இல்லாமல், பயன்பாட்டு வெளியீட்டை ஒப்பிடவும். எடுத்துக்காட்டாக, ஒரு சிறிய எண் மாற்றம், ஒரு நம்பிக்கை வரம்பில் கண்டறிதலை நகர்த்தலாம். கடினமான வழக்குகள், சில எடுத்துக்காட்டுகளுடன் வகுப்புகள் மற்றும் அசல் மாதிரி ஏற்கனவே ஓரங்கட்டப்பட்ட நிபந்தனைகளை ஆய்வு செய்யவும். ஏற்றுக்கொள்ளும் வரம்புக்குக் கீழே துல்லியம் குறைந்தால், வன்பொருளை மாற்றும் முன் அளவுத்திருத்த கவரேஜ் மற்றும் முன்செயலாக்கத்தை மீண்டும் பார்வையிடவும்.
தி ONNX இயக்க நேர அளவீட்டு ஆவணங்கள் எண்ணியல் வர்த்தகம் மற்றும் துல்லிய விசாரணையில் பயனுள்ள பின்னணி உள்ளது. தேர்ந்தெடுக்கப்பட்ட வெளியீட்டிற்கான RKNN மாற்று விருப்பங்கள் மற்றும் ஆதரிக்கப்படும் துல்லியம் இன்னும் Rockchip இன் சொந்த ஆவணத்தில் சரிபார்க்கப்பட வேண்டும்.
படி 4: அனுமான நேரத்தை விட அதிகமாக அளவிடவும்
வார்ம்-அப் செய்த பிறகும், மீண்டும் ஒரு தொடர்ச்சியான ஓட்டத்தின் போதும் பயன்படுத்தப்பட்ட பணிச்சுமையை அளவிடவும். வெப்பநிலை, சக்தி முறை, ஒரே நேரத்தில் செயல்முறைகள் மற்றும் உறை அல்லது குளிரூட்டும் ஏற்பாடு ஆகியவற்றை பதிவு செய்யவும். பயனுள்ள முடிவு, தயாரிப்பு செயல்படும் நிலைமைகளின் கீழ், துல்லியம் மற்றும் தாமதம் உட்பட, மீண்டும் உருவாக்கக்கூடிய செயல்திறன் உறை ஆகும்.
| அளவீடு | அது என்ன பதில் சொல்கிறது | என்ன பதிவு செய்ய வேண்டும் |
|---|---|---|
| மாதிரி செயல்படுத்தும் காலம் | இந்த இயக்க நேர அழைப்பு எவ்வளவு நேரம் எடுக்கும்? | உள்ளீட்டு வடிவம், துல்லியம், நேர எல்லைகள் மற்றும் இயக்க நேர பதிப்பு |
| முடிவில் இருந்து இறுதி தாமதம் | முடிவு வழங்கப்படும் போது கவனிப்பு எவ்வளவு பழையது? | பிடிப்பு நேரம், முன் செயலாக்கம், வரிசைப்படுத்துதல், அனுமானம் மற்றும் வெளியீட்டு நேரம் |
| நீடித்த செயல்திறன் | காலப்போக்கில் எத்தனை முடிக்கப்பட்ட முடிவுகள் வழங்கப்படுகின்றன? | ரன் நீளம், பூர்த்தி செய்யப்பட்ட கோரிக்கைகள் மற்றும் கைவிடப்பட்ட அல்லது தவிர்க்கப்பட்ட உள்ளீடுகள் |
| பயன்பாட்டின் துல்லியம் | பயன்படுத்தப்பட்ட மாதிரி பணித் தேவையைப் பூர்த்திசெய்கிறதா? | சரிபார்ப்பு தொகுப்பு, பணி அளவீடு மற்றும் முடிவு வரம்புகள் |
| வெப்ப நடத்தை | கணினி வெப்பமடைந்த பிறகு முடிவு நிலையானதா? | சுற்றுப்புற சூழ்நிலைகள், குளிர்ச்சி, வெப்பநிலை மற்றும் கடிகாரங்கள் கிடைக்கும் இடங்களில் |
விளக்கமான பட்ஜெட்டாக, ஒவ்வொரு 40 msக்கும் ஒரு புதிய ஃபிரேமைப் பெறும் பயன்பாடு, ஒவ்வொரு ஃப்ரேமையும் செயலாக்கினால், அது வினாடிக்கு 25 ஃப்ரேம்களை வைத்திருக்க வேண்டும். ஒரு 12 எம்எஸ் அனுமான அளவீடு, அந்த பட்ஜெட்டின் எஞ்சிய பகுதியை கையகப்படுத்துதல், தயாரித்தல் மற்றும் வழங்குதல் ஆகியவற்றிற்கு பொருத்தமான திட்டமிடப்பட்ட வடிவமைப்பில் மட்டுமே விட்டுச்செல்லும். இது 12 ms கேமராவிலிருந்து முடிவு தாமதத்தை நிரூபிக்கவில்லை. இந்த எண்கள் ஒரு திட்டமிடல் உதாரணம், ForgeEdge செயல்திறன் அளவிடப்படவில்லை.
மென்பொருள் காலத்திற்கு ஒரு மோனோடோனிக் கடிகாரத்தைப் பயன்படுத்தவும். ஒரு சிறந்த கவனிப்பைக் காட்டிலும் சராசரி மற்றும் வால் தாமதத்தைப் புகாரளித்து, மூல அளவீடுகளைப் பாதுகாக்கவும். பல கேமராக்களுக்கு, டிகோடிங், படத்தை மாற்றுதல், நினைவக இயக்கம் மற்றும் பதிவு செய்தல் உள்ளிட்ட அனைத்து செயலில் உள்ள ஸ்ட்ரீம்களின் பணிச்சுமையையும் கணக்கில் எடுத்துக் கொள்ளுங்கள். சோதனை முழுவதும் வளரும் வரிசை சராசரி திறன் உள்வரும் பணிச்சுமைக்குக் கீழே இருப்பதைக் குறிக்கிறது.
பொதுவான வரிசைப்படுத்தல் அறிகுறிகள்
| அறிகுறி | முதல் விசாரணை |
|---|---|
| சரியான மாதிரி, தவறான லேபிள்கள் அல்லது பெட்டிகள் | வண்ண வரிசை, இயல்பாக்கம், மறுஅளவிடுதல்/பேடிங், வெளியீடு தளவமைப்பு மற்றும் பிந்தைய செயலாக்கம் |
| மாற்றப்பட்ட மாதிரியை துவக்க முடியாது | இலக்கு தேர்வு, இயக்க நேரம்/இயக்கி இணக்கத்தன்மை மற்றும் மாதிரி கலைப்பொருள் ஒருமைப்பாடு |
| நல்ல குறுகிய அளவுகோல், மோசமான நீடித்த செயல்திறன் | வெப்பநிலை, சக்தி முறை, நினைவக அழுத்தம் மற்றும் போட்டியிடும் வேலை |
| ஏற்றுக்கொள்ளக்கூடிய அனுமான நேரம், தெளிவாகத் தாமதமான முடிவுகள் | இடையகப்படுத்தல், வரிசை வயது, பிரதிகள் மற்றும் வெளியீட்டு திட்டமிடல் ஆகியவற்றைப் பிடிக்கவும் |
| INT8 வெளியீடு பயனுள்ள கண்டறிதல்களை இழக்கிறது | அளவுத்திருத்த கவரேஜ், முன் செயலாக்க சமன்பாடு மற்றும் பணி நிலை சரிபார்ப்பு |
முன்மாதிரியை மீண்டும் மீண்டும் செய்யக்கூடிய தயாரிப்பாக மாற்றவும்
மாதிரி, இயக்க நேரம் மற்றும் பயன்பாட்டு உள்ளமைவை கட்டுப்படுத்தப்பட்ட வெளியீடாக தொகுக்கவும். தொடக்க சோதனைகள், தோல்வி அறிக்கை, மீட்பு மற்றும் திரும்பப்பெறும் பாதையை வரையறுக்கவும். கேமரா இணைக்கப்படுவதற்கு முன், தவறான வரிசைப்படுத்தலை அடையாளம் காணக்கூடிய சிறிய குறிப்பு உள்ளீட்டு சோதனையை வைத்திருங்கள். கேபிளிங், டிரைவர்கள் மற்றும் எக்ஸ்போஷர் அமைப்புகளையும் பயிற்சி செய்யும் இயற்பியல் சென்சார் சோதனையிலிருந்து அந்த மென்பொருள் சரிபார்ப்பைப் பிரிக்கவும்.
பலகைக்கு வெவ்வேறு இணைப்பிகள், பவர் கண்டிஷனிங் அல்லது சென்சார் இடைமுகங்கள் தேவைப்படும்போது, மதிப்பாய்வு செய்யவும் SoM மற்றும் SBC முடிவு மற்றும் தி கேரியர்-போர்டு வடிவமைப்பு செயல்முறை. வெற்றிகரமான மாதிரி ஆர்ப்பாட்டம் எவ்வாறு பராமரிக்கக்கூடிய அமைப்பாக மாறுகிறது என்பதை அந்த முடிவுகள் தீர்மானிக்கின்றன.
RK3588 NPU வரிசைப்படுத்தல் கேள்விகள்
ஒவ்வொரு ONNX மாடலும் RK3588 NPU இல் இயங்க முடியுமா?
பொருந்தக்கூடிய தன்மை உண்மையான வரைபடம், வடிவங்கள், செயல்பாடுகள் மற்றும் தேர்ந்தெடுக்கப்பட்ட கருவித்தொகுப்பைப் பொறுத்தது. நீங்கள் அனுப்ப உத்தேசித்துள்ள மாதிரியின் மாற்றம் மற்றும் சாதனத்தில் சரிபார்ப்பு மூலம் ஆதரவை நிறுவவும்.
விளம்பரப்படுத்தப்பட்ட முடுக்கி மதிப்பீடு FPS பயன்பாட்டைக் கணிக்குமா?
நெட்வொர்க், துல்லியம், நினைவக நடத்தை, முன் செயலாக்கம் மற்றும் இயக்க நேரம் ஆகியவை பயன்பாட்டின் அளவிடப்பட்ட செயல்திறனை தீர்மானிக்கிறது. தளங்களை ஒப்பிடும் போது இலக்கு பணிச்சுமை மற்றும் அதன் முழுமையான தரவு பாதையைப் பயன்படுத்தவும்.
நான் முதலில் நியூரல் நெட்வொர்க்கை மேம்படுத்த வேண்டுமா?
முதலில் சுயவிவரம். கையகப்படுத்தல், படத்தை மாற்றுதல் அல்லது வரிசைப்படுத்துதல் ஆகியவை ஆதிக்கம் செலுத்தினால், மாதிரி செயல்படுத்தும் நேரத்தைக் குறைப்பது பயன்பாடு அனுபவிக்கும் முடிவு வயதில் சிறிய விளைவை ஏற்படுத்தக்கூடும்.
முழுமையான கணினி பார்வை பணியை அளவுகோல்
ஒரு ஆப்ஜெக்ட்-கண்டறிதல் பயன்பாட்டிற்கு, கேமரா பிடிப்பு, அளவு மற்றும் இயல்பாக்கம், NPU அனுமானம், வெளியீடு டிகோடிங் மற்றும் முடிவின் டெலிவரி ஆகியவற்றை அளவிடவும். மாதிரி பதிப்பு, உள்ளீடு தீர்மானம், துல்லியம், நம்பிக்கை வரம்பு மற்றும் மதிப்பீட்டு தரவுத்தொகுப்பு ஆகியவற்றை நேர முடிவுடன் தெரிவிக்கவும். இல்லையெனில், ஒரே மாதிரியான இரண்டு edge AI வரையறைகள் வெவ்வேறு பணிகளை விவரிக்கலாம்.
ஏற்றுமதி செய்யப்பட்ட வரைபடத்தையும் தேவையான ஆபரேட்டர்களையும் தேர்ந்தெடுத்த RKNN கருவித்தொகுப்பின் மூலம் மாதிரிக் கட்டமைப்பைச் செய்வதற்கு முன் சோதிக்கவும். நிலையான செயல்பாட்டின் போது அளவீடு மற்றும் நடத்தைக்குப் பிறகு துல்லியத்தை சரிபார்க்கவும், மாற்றம் வெற்றிபெறுமா என்பது மட்டும் அல்ல. பொருள் கண்டறிதல், பிரிவு மற்றும் வகைப்பாடு ஆகியவை வெவ்வேறு வெளியீட்டு-செயலாக்க செலவுகளைக் கொண்டுள்ளன; திட்டத்திற்காக தேர்ந்தெடுக்கப்பட்ட உண்மையான பணிச்சுமையை சரிபார்க்கவும்.
FPGA, NPU மற்றும் MPU வடிவமைப்புப் பாத்திரங்களை ஒப்பிடுக
தொழில்நுட்ப குறிப்புகள்
உங்கள் edge AI பணிச்சுமையைக் கணக்கிடுங்கள்.
மாதிரி, உள்ளீடு தெளிவுத்திறன், கேமரா இடைமுகங்கள், தேவையான முடிவு விகிதம் மற்றும் ஆற்றல் உறை ஆகியவற்றைப் பகிரவும். ஒரு RK3588-அடிப்படையிலான எட்ஜ் பிளாட்ஃபார்மைச் சுற்றி ஒருங்கிணைப்புப் பணியை மதிப்பீடு செய்யலாம்.