RK3588 NPU proqram yığını bir-birinə necə uyğun gəlir
Rockchip-nin RKNN proqram stəmi modelin hazırlanmasını cihazda icradan ayırır. RKNN-Alətlər dəsti2 konvertasiya və qiymətləndirmə alətləri təqdim edir. RKNN-Toolkit-Lite2 dəstəklənən hədəf platformalarda Python interfeysini, RKNN Runtime isə C/C++ interfeyslərini təmin edir. Kernel sürücüsü işləmə müddətini NPU ilə əlaqələndirir. Bu komponentlərin modulunuz üçün təchiz edilmiş lövhə dəstəyi paketi ilə uyğunluğunu yoxlayın.
Faydalı yerləşdirmə qeydi lövhəni və SoM təftişi, Linux şəkli, sürücünü, icra müddətini, çevirmə aləti versiyasını, orijinal modeli və çevrilmiş modeli müəyyən edir. Quraşdırma skriptini və ilkin emal parametrlərini model artefaktının yanında saxlayın. kimi fayl adı detector.rknn bir yerləşdirmənin digərindən niyə fərqli davrandığını tək başına izah edə bilməz.
Addım 1: dönüşümdən əvvəl istinad yaradın
Orijinal modeli təmsil edən doğrulama dəstində işə salın. Təsnifat dəqiqliyi, aşkarlama keyfiyyəti və ya başqa bir tapşırıq üçün xüsusi ölçü: Xam çıxışları və vacib olan tətbiq metrikasını yadda saxlayın. Bir detektor üçün etiket sıralamasını, etibarlılıq hədlərini və emaldan sonrakı parametrləri qoruyun. Bu çevrilmiş model üçün müqayisə nöqtəsi olur.
Bütün giriş müqaviləsini yazın. Ölçüləri, toplu ölçüsünü, RGB və ya BGR sifarişini, tərtibatı, ədədi diapazonu, normallaşdırmanı, ölçüsünü dəyişməyi və doldurmanı daxil edin. Tətbiq şəkili təlimdən fərqli şəkildə yerləşdirirsə və ya ofseti iki dəfə çıxarırsa, düzgün model zəif nəticələr verə bilər. Şəbəkə xaricində postprocessing sənədlərini eyni dərəcədə diqqətlə saxlayın.
Rockchip-dən istifadə edin RKNN Model Zoopark ona uyğun model və hədəf daxil olduqda başlanğıc nöqtəsi kimi. Onun çevrilmə və nəticə çıxarma nümunələri hər hansı ixrac edilən şəbəkənin dəyişməz işləyəcəyini güman etməkdən daha faydalıdır. Məlum depo revizyonunu seçin və həmin xüsusi nümunə üçün təlimatlara əməl edin.
Addım 2: modeli çevirin və operator dəstəyini yoxlayın
- Hədəflə uyğunlaşın. RK3588 hədəfi və nəzərdə tutulan lövhə şəklinə uyğun alətlər silsiləsi seçin.
- Qrafiki yoxlayın. İxrac edilmiş modeldə formaları, ilkin emalları, çıxışları və faktiki əməliyyatlar üçün dəstəyi təsdiqləyin.
- İstinad çevrilməsi yaradın. Həmin qrafik və proqram versiyası tərəfindən dəstəklənən dəqiqlik seçimlərindən istifadə edin.
- Tam tikinti jurnalını oxuyun. Kamera əldə etmə və ya istifadəçi interfeysi əlavə etməzdən əvvəl uğursuzluqları həll edin və xəbərdarlıqları araşdırın.
- Çıxışları müqayisə edin. Orijinal və çevrilmiş modellər vasitəsilə eyni girişləri eyni postprocessing ilə işlədin.
Dəstəklənməyən əməliyyat fərqli ixrac, qrafikin yenidən yazılmasını və ya açıq CPU emal mərhələsini tələb edə bilər. İş vaxtının hər dəstəklənməyən təbəqəni şəffaf şəkildə icra edəcəyini düşünməyin. Əgər iş yükünün bir hissəsi CPU-ya keçirsə, performansın ölçülməsinə köçürmələri və sinxronizasiyanı daxil edin.
Addım 3: dəqiqlik tələbinizə uyğun olaraq INT8 qiymətləndirin
Kvantlaşdırma ədədi təmsili dəyişir. Seçilmiş çevirmə axını kalibrləmə məlumatlarından istifadə etdikdə, yerləşdirməni təmsil edən girişləri seçin: işıqlandırma, obyekt ölçüsü, fon və iş şəraiti. Nəticəni qiymətləndirmək üçün ayrıca yoxlama dəstini saxlayın. Uğurla tamamlanan çevrilmə hələ də dəqiqlik yoxlamasına ehtiyac duyur.
Yalnız iki tensor arasındakı fərqi deyil, tətbiqin çıxışını müqayisə edin. Məsələn, kiçik bir ədədi dəyişiklik aşkarlamanı etimad həddini keçə bilər. Çətin halları, bir neçə nümunə ilə sinifləri və orijinal modelin artıq marjinal olduğu şərtləri yoxlayın. Dəqiqlik qəbul limitindən aşağı olarsa, aparatı dəyişməzdən əvvəl kalibrləmə əhatə dairəsini və əvvəlcədən emalını yenidən nəzərdən keçirin.
The ONNX Runtime kvantlaşdırma sənədləri ədədi mübadilələr və dəqiqlik araşdırması üçün faydalı fondur. RKNN dönüşüm variantları və dəstəklənən dəqiqlik hələ də seçilmiş buraxılış üçün Rockchip-in öz sənədlərində yoxlanılmalıdır.
Addım 4: nəticə çıxarma vaxtından çoxunu ölçün
İstiləşmədən sonra və davamlı qaçış zamanı yenidən iş yükünü ölçün. Temperaturu, güc rejimini, paralel prosesləri və korpus və ya soyutma təşkilini qeyd edin. Faydalı nəticə məhsulun işləyəcəyi şərtlərdə dəqiqlik və gecikmə də daxil olmaqla təkrarlana bilən performans zərfidir.
| Ölçmə | Nə cavab verir | Nə qeyd etmək |
|---|---|---|
| Modelin icra müddəti | Bu iş vaxtı zəngi nə qədər çəkir? | Daxiletmə forması, dəqiqlik, vaxt sərhədləri və iş vaxtı versiyası |
| Başdan sona gecikmə | Nəticə verildikdə müşahidə neçə yaşındadır? | Çəkmə vaxtı, əvvəlcədən emal, növbə, nəticə və çıxış vaxtı |
| Davamlı ötürmə qabiliyyəti | Zamanla nə qədər tamamlanmış nəticələr verilir? | Run uzunluğu, tamamlanmış sorğular və buraxılmış və ya atlanmış girişlər |
| Tətbiq dəqiqliyi | Yerləşdirilmiş model tapşırıq tələbinə cavab verirmi? | Doğrulama dəsti, tapşırıq metrikası və qərar hədləri |
| Termal davranış | Sistem isindikdən sonra nəticə sabitdirmi? | Mühit şəraiti, soyutma, temperatur və mövcud saatlar |
İllüstrativ büdcə olaraq, hər 40 ms-dən bir yeni kadr alan proqram, hər bir kadrı emal edərsə, saniyədə 25 kadr ilə ayaqlaşmalıdır. 12 ms nəticənin ölçülməsi həmin büdcənin qalan hissəsini yalnız uyğun planlaşdırılmış dizaynda əldə etmək, hazırlamaq və çatdırmaq üçün tərk edəcək. Bu, kameradan nəticəyə 12 ms gecikməsini sübut etmir. Bu rəqəmlər planlaşdırma nümunəsidir, ölçülməyən ForgeEdge performans.
Proqram müddəti üçün monoton saatdan istifadə edin. Tək ən yaxşı müşahidədən daha çox median və quyruq gecikməsini bildirin və xam ölçmələri qoruyun. Bir neçə kamera üçün dekodlaşdırma, təsvirin çevrilməsi, yaddaşın hərəkəti və qeyd daxil olmaqla, bütün aktiv axınların iş yükünü nəzərə alın. Test boyu böyüyən növbə orta tutumun gələn iş yükündən aşağı olduğunu göstərir.
Ümumi yerləşdirmə simptomları
| Simptom | İlk araşdırma |
|---|---|
| Düzgün model, səhv etiketlər və ya qutular | Rəng sırası, normallaşdırma, ölçüsünü dəyişmə/doldurma, çıxış düzümü və sonrakı emal |
| Çevirilmiş model işə salına bilməz | Hədəf seçimi, iş vaxtı/sürücü uyğunluğu və model artefakt bütövlüyü |
| Yaxşı qısa benchmark, zəif davamlı performans | Temperatur, güc rejimi, yaddaş təzyiqi və rəqabətli iş |
| Qəbul edilə bilən nəticə müddəti, gözlə görünən gecikmiş nəticələr | Buferləmə, növbə yaşını, nüsxələri və çıxış planlamasını çəkin |
| INT8 çıxış faydalı aşkarlamaları itirir | Kalibrləmə əhatəsi, ilkin emal ekvivalenti və tapşırıq səviyyəsində doğrulama |
Prototipi təkrarlanan məhsula çevirin
Modeli, icra müddətini və proqram konfiqurasiyasını idarə olunan buraxılış kimi paketləyin. Başlanğıc yoxlamaları, uğursuzluqlar barədə hesabat, bərpa və geri çəkilmə yolunu müəyyənləşdirin. Kamera qoşulmazdan əvvəl səhv yerləşdirməni müəyyən edə biləcək kiçik bir istinad-giriş testi saxlayın. Həmin proqram yoxlanışını fiziki sensor testindən ayırın, o, həmçinin kabellər, sürücülər və ekspozisiya parametrlərini həyata keçirir.
Lövhənin müxtəlif bağlayıcılara, güc kondisionerinə və ya sensor interfeyslərinə ehtiyacı olduqda, nəzərdən keçirin SoM qarşı SBC qərar və daşıyıcı lövhənin dizayn prosesi. Bu qərarlar uğurlu model nümayişinin necə davamlı sistemə çevriləcəyini müəyyən edir.
RK3588 NPU yerləşdirmə sualları
Hər ONNX model RK3588 NPU üzərində işləyə bilərmi?
Uyğunluq faktiki qrafikdən, formalardan, əməliyyatlardan və seçilmiş alət zəncirindən asılıdır. Göndərmək niyyətində olduğunuz modelin çevrilməsi və cihazda yoxlanılması vasitəsilə dəstək yaradın.
Reklam edilmiş sürətləndirici reytinqi tətbiq FPS-ni proqnozlaşdırırmı?
Xeyr. Şəbəkə, dəqiqlik, yaddaş davranışı, ilkin emal və icra müddəti tətbiqin ölçülən ötürmə qabiliyyətini müəyyən edir. Platformaları müqayisə edərkən hədəf iş yükündən və onun tam məlumat yolundan istifadə edin.
Əvvəlcə neyron şəbəkəni optimallaşdırmalıyam?
Əvvəlcə profil. Əgər əldə etmə, təsvirin çevrilməsi və ya növbə üstünlük təşkil edərsə, modelin icra müddətinin azaldılması tətbiqin yaşadığı nəticə yaşına az təsir göstərə bilər.
Tam kompüter görmə tapşırığını müqayisə edin
Obyekt aşkarlama tətbiqi üçün kameranın çəkilişini, ölçüsünü dəyişməsini və normallaşdırılmasını, NPU nəticəni, çıxışın deşifrəsini və qərarın çatdırılmasını ölçün. Model versiyasını, giriş qətnaməsini, dəqiqliyi, etibarlılıq həddini və qiymətləndirmə məlumat dəstini zamanlama nəticəsi ilə bildirin. Əks halda, iki oxşar görünən edge AI meyar fərqli tapşırıqları təsvir edə bilər.
Model arxitekturasına keçməzdən əvvəl seçilmiş RKNN alətlər silsiləsi vasitəsilə ixrac edilmiş qrafiki və tələb olunan operatorları sınaqdan keçirin. Kvantlaşdırmadan sonra dəqiqliyi və davamlı icra zamanı davranışı yoxlayın, nəinki çevrilmənin uğurlu olub-olmadığını yoxlayın. Obyektin aşkarlanması, seqmentləşdirilməsi və təsnifatı müxtəlif məhsulun emalı xərclərinə malikdir; layihə üçün seçilmiş faktiki iş yükünü təsdiqləyin.
FPGA, NPU və MPU dizayn rollarını müqayisə edin
Texniki istinadlar
edge AI iş yükünüzü əhatə edin.
Modeli, giriş qətnaməsini, kamera interfeyslərini, tələb olunan nəticə dərəcəsini və güc zərfini paylaşın. Biz RK3588 əsaslı kənar platforma ətrafında inteqrasiya işini qiymətləndirə bilərik.