RK3588 NPU گائیڈ: ماڈل کی تعیناتی، INT8 اور کارکردگی کی جانچ

کس طرح RK3588 NPU سافٹ ویئر اسٹیک ایک ساتھ فٹ بیٹھتا ہے۔

Rockchip کا RKNN سافٹ ویئر اسٹیک ماڈل کی تیاری کو ڈیوائس پر عمل سے الگ کرتا ہے۔ RKNN-Toolkit2 تبدیلی اور تشخیصی ٹولز فراہم کرتا ہے۔ RKNN-Toolkit-Lite2 تعاون یافتہ ٹارگٹ پلیٹ فارمز پر ایک Python انٹرفیس فراہم کرتا ہے، جبکہ RKNN رن ٹائم C/C++ انٹرفیس فراہم کرتا ہے۔ کرنل ڈرائیور رن ٹائم کو NPU سے جوڑتا ہے۔ اپنے ماڈیول کے لیے فراہم کردہ بورڈ سپورٹ پیکج کے ساتھ ان اجزاء کی مطابقت کو چیک کریں۔

ایک مفید تعیناتی ریکارڈ بورڈ اور SoM نظرثانی، Linux تصویر، ڈرائیور، رن ٹائم، کنورژن ٹول ورژن، اصل ماڈل اور تبدیل شدہ ماڈل کی شناخت کرتا ہے۔ ماڈل آرٹفیکٹ کے ساتھ بلڈ اسکرپٹ اور پری پروسیسنگ سیٹنگز کو محفوظ کریں۔ ایک فائل کا نام جیسے detector.rknn اکیلے اس کی وضاحت نہیں کر سکتے کہ ایک تعیناتی دوسرے سے مختلف کیوں برتاؤ کرتی ہے۔

مرحلہ 1: تبدیلی سے پہلے ایک حوالہ قائم کریں۔

اصل ماڈل کو نمائندہ توثیق سیٹ پر چلائیں۔ خام آؤٹ پٹس اور ایپلیکیشن میٹرک کو محفوظ کریں جو اہم ہے: درجہ بندی کی درستگی، پتہ لگانے کا معیار یا کوئی اور کام کے لیے مخصوص پیمائش۔ ایک پتہ لگانے والے کے لیے، لیبل آرڈرنگ، اعتماد کی حد اور پوسٹ پروسیسنگ کی ترتیبات کو محفوظ رکھیں۔ یہ تبدیل شدہ ماڈل کا موازنہ نقطہ بن جاتا ہے۔

پورا ان پٹ معاہدہ لکھیں۔ ڈائمینشنز، بیچ سائز، آر جی بی یا بی جی آر آرڈرنگ، لے آؤٹ، عددی رینج، نارملائزیشن، ریائزنگ اور پیڈنگ شامل کریں۔ اگر ایپلی کیشن لیٹر باکس کسی تصویر کو تربیت سے مختلف طریقے سے بناتا ہے یا آفسیٹ کو دو بار گھٹا دیتا ہے تو ایک درست ماڈل خراب نتائج پیدا کر سکتا ہے۔ پوسٹ پروسیسنگ کو نیٹ ورک کے باہر دستاویزی طور پر اسی طرح احتیاط سے جاری رکھیں۔

Rockchip کا استعمال کریں۔ RKNN ماڈل زو نقطہ آغاز کے طور پر جب اس میں ایک مماثل ماڈل اور ہدف شامل ہو۔ اس کی تبدیلی اور تخمینہ کی مثالیں یہ فرض کرنے سے کہیں زیادہ کارآمد ہیں کہ کوئی بھی برآمد شدہ نیٹ ورک بغیر تبدیلی کے کام کرے گا۔ ایک معروف ذخیرہ نظر ثانی کا انتخاب کریں اور اس مخصوص مثال کے لیے ہدایات پر عمل کریں۔

مرحلہ 2: ماڈل کو تبدیل کریں اور آپریٹر سپورٹ چیک کریں۔

1. ہدف سے میچ کریں۔ RK3588 ہدف اور مطلوبہ بورڈ امیج کے ساتھ ہم آہنگ ٹول چین منتخب کریں۔
2. گراف کا معائنہ کریں۔ برآمد شدہ ماڈل میں اصل کارروائیوں کے لیے شکلیں، پری پروسیسنگ، آؤٹ پٹ اور سپورٹ کی تصدیق کریں۔
3. ایک حوالہ کنورژن بنائیں۔ اس گراف اور سافٹ ویئر ورژن کے ذریعے تعاون یافتہ درست اختیارات استعمال کریں۔
4. مکمل بلڈ لاگ پڑھیں۔ ناکامیوں کو حل کریں اور کیمرے کے حصول یا صارف انٹرفیس کو شامل کرنے سے پہلے انتباہات کی تحقیقات کریں۔
5. آؤٹ پٹ کا موازنہ کریں۔ ایک ہی پوسٹ پروسیسنگ کے ساتھ، اصل اور تبدیل شدہ ماڈلز کے ذریعے ایک ہی ان پٹ چلائیں۔

ایک غیر تعاون یافتہ آپریشن کے لیے مختلف ایکسپورٹ، گراف ری رائٹ یا واضح CPU پروسیسنگ اسٹیج کی ضرورت ہو سکتی ہے۔ یہ مت سمجھو کہ رن ٹائم ہر غیر تعاون یافتہ پرت کو شفاف طریقے سے انجام دے گا۔ اگر کام کے بوجھ کا کچھ حصہ CPU میں چلا جاتا ہے، تو کارکردگی کی پیمائش میں منتقلی اور ہم آہنگی شامل کریں۔

مرحلہ 3: اپنی درستگی کی ضرورت کے مطابق INT8 کا جائزہ لیں

کوانٹائزیشن عددی نمائندگی کو تبدیل کرتی ہے۔ جب منتخب کردہ تبادلوں کا بہاؤ کیلیبریشن ڈیٹا استعمال کرتا ہے، تو تعیناتی کے نمائندے ان پٹ کا انتخاب کریں: روشنی، آبجیکٹ کا سائز، پس منظر اور آپریٹنگ حالات۔ نتیجہ کا اندازہ کرنے کے لیے علیحدہ توثیق سیٹ رکھیں۔ ایک تبدیلی جو کامیابی سے مکمل ہوتی ہے اسے ابھی بھی درستگی کی جانچ کی ضرورت ہے۔

ایپلیکیشن آؤٹ پٹ کا موازنہ کریں، نہ صرف دو ٹینسرز کے درمیان فرق۔ مثال کے طور پر، ایک چھوٹی عددی تبدیلی ایک شناخت کو اعتماد کی حد میں منتقل کر سکتی ہے۔ مشکل مقدمات، چند مثالوں اور شرائط کے ساتھ کلاسوں کا معائنہ کریں جہاں اصل ماڈل پہلے سے ہی معمولی تھا۔ اگر درستگی قبولیت کی حد سے نیچے آتی ہے، تو ہارڈ ویئر کو تبدیل کرنے سے پہلے انشانکن کوریج اور پری پروسیسنگ کو دوبارہ دیکھیں۔

دی ONNX رن ٹائم کوانٹائزیشن دستاویزات عددی تجارت اور درستگی کی تفتیش پر مفید پس منظر ہے۔ RKNN تبادلوں کے اختیارات اور معاون درستگی کو اب بھی منتخب ریلیز کے لیے Rockchip کے اپنے دستاویزات میں چیک کیا جانا چاہیے۔

مرحلہ 4: اندازہ وقت سے زیادہ کی پیمائش کریں۔

وارم اپ کے بعد اور مسلسل دوڑ کے دوران تعینات کام کے بوجھ کی پیمائش کریں۔ درجہ حرارت، پاور موڈ، سمورتی عمل اور انکلوژر یا کولنگ کا انتظام ریکارڈ کریں۔ مفید نتیجہ ایک تولیدی کارکردگی کا لفافہ ہے، جس میں درستگی اور تاخیر بھی شامل ہے، ان حالات میں جن میں پروڈکٹ کام کرے گا۔

ایک مثالی بجٹ کے طور پر، ہر 40 ms پر ایک نیا فریم حاصل کرنے والی ایپلیکیشن کو 25 فریم فی سیکنڈ کے ساتھ برقرار رہنا چاہیے اگر وہ ہر فریم پر کارروائی کرتی ہے۔ ایک 12 ms inference پیمائش اس بجٹ کا بقیہ حصہ حصول، تیاری اور ڈیلیوری کے لیے صرف مناسب طریقے سے طے شدہ ڈیزائن میں چھوڑ دے گی۔ یہ 12 ms کیمرہ سے نتیجہ میں تاخیر کو ثابت نہیں کرتا ہے۔ یہ نمبر ایک منصوبہ بندی کی مثال ہیں، جس کی پیمائش نہیں کی گئی ForgeEdge کارکردگی۔

سافٹ ویئر کے دورانیے کے لیے ایک مونوٹونک گھڑی استعمال کریں۔ ایک بہترین مشاہدے کے بجائے درمیانی اور دم کی تاخیر کی اطلاع دیں، اور خام پیمائش کو محفوظ رکھیں۔ کئی کیمروں کے لیے، تمام فعال اسٹریمز کے کام کے بوجھ کا حساب لگائیں، بشمول ڈی کوڈنگ، تصویر کی تبدیلی، میموری کی نقل و حرکت اور ریکارڈنگ۔ ایک قطار جو پورے ٹیسٹ میں بڑھتی ہے اس بات کی نشاندہی کرتی ہے کہ اوسط صلاحیت آنے والے کام کے بوجھ سے کم ہے۔

عام تعیناتی علامات

پروٹوٹائپ کو دوبارہ قابل پروڈکٹ میں تبدیل کریں۔

ماڈل، رن ٹائم اور ایپلیکیشن کنفیگریشن کو کنٹرول شدہ ریلیز کے طور پر پیک کریں۔ اسٹارٹ اپ چیکس، ناکامی کی رپورٹنگ، ریکوری اور رول بیک پاتھ کی وضاحت کریں۔ ایک چھوٹا حوالہ ان پٹ ٹیسٹ رکھیں جو کیمرہ کے منسلک ہونے سے پہلے غلط تعیناتی کی نشاندہی کر سکے۔ اس سافٹ ویئر چیک کو فزیکل سینسر ٹیسٹ سے الگ کریں، جو کیبلنگ، ڈرائیورز اور ایکسپوزر سیٹنگز کو بھی استعمال کرتا ہے۔

جب بورڈ کو مختلف کنیکٹرز، پاور کنڈیشنگ یا سینسر انٹرفیس کی ضرورت ہو تو، کا جائزہ لیں۔ SoM بمقابلہ SBC فیصلہ اور کیریئر بورڈ ڈیزائن کا عمل. یہ فیصلے اس بات کا تعین کرتے ہیں کہ ایک کامیاب ماڈل کا مظاہرہ ایک قابل انتظام نظام کیسے بنتا ہے۔

RK3588 NPU تعیناتی کے سوالات

کیا ہر ONNX ماڈل RK3588 NPU پر چل سکتا ہے؟

مطابقت کا انحصار اصل گراف، شکلیں، آپریشنز اور منتخب کردہ ٹول چین پر ہے۔ آپ جس ماڈل کو بھیجنے کا ارادہ رکھتے ہیں اس کی تبادلوں اور آن ڈیوائس کی توثیق کے ذریعے سپورٹ قائم کریں۔

کیا ایک مشتہر ایکسلریٹر ریٹنگ ایپلیکیشن FPS کی پیش گوئی کرتی ہے؟

نہیں۔ نیٹ ورک، درستگی، میموری کا رویہ، پری پروسیسنگ اور رن ٹائم ایپلیکیشن کے ماپا تھرو پٹ کا تعین کرتے ہیں۔ پلیٹ فارمز کا موازنہ کرتے وقت ٹارگٹ ورک بوجھ اور اس کے مکمل ڈیٹا پاتھ کا استعمال کریں۔

کیا مجھے پہلے نیورل نیٹ ورک کو بہتر بنانا چاہیے؟

پہلے پروفائل۔ اگر حصول، تصویر کی تبدیلی یا قطار میں غلبہ حاصل ہوتا ہے، تو ماڈل پر عمل درآمد کے وقت کو کم کرنے سے درخواست کے ذریعہ تجربہ شدہ نتائج کی عمر پر بہت کم اثر پڑ سکتا ہے۔

بینچ مارک مکمل کمپیوٹر ویژن ٹاسک

آبجیکٹ کا پتہ لگانے والی ایپلیکیشن کے لیے، کیمرہ کیپچر، سائز تبدیل اور نارملائزیشن، NPU انفرنس، آؤٹ پٹ ڈی کوڈنگ اور فیصلے کی ترسیل کی پیمائش کریں۔ وقت کے نتائج کے ساتھ ماڈل ورژن، ان پٹ ریزولوشن، درستگی، اعتماد کی حد اور تشخیصی ڈیٹاسیٹ کی اطلاع دیں۔ بصورت دیگر، دو بظاہر ملتے جلتے edge AI بینچ مارک مختلف کاموں کی وضاحت کر سکتے ہیں۔

منتخب کردہ RKNN ٹول چین کے ذریعے برآمد شدہ گراف اور مطلوبہ آپریٹرز کی جانچ کریں کسی ماڈل آرکیٹیکچر کا ارتکاب کرنے سے پہلے۔ کوانٹائزیشن کے بعد درستگی کی جانچ کریں اور مسلسل عملدرآمد کے دوران رویے، نہ صرف تبدیلی کامیاب ہوتی ہے یا نہیں۔ آبجیکٹ کا پتہ لگانا، سیگمنٹیشن اور درجہ بندی مختلف آؤٹ پٹ پروسیسنگ کے اخراجات ہیں۔ پروجیکٹ کے لیے منتخب کردہ اصل کام کے بوجھ کی توثیق کریں۔

FPGA، NPU اور MPU ڈیزائن رولز کا موازنہ کریں