FPGA বনাম NPU বনাম MPU: Edge AI এর জন্য হার্ডওয়্যার নির্বাচন করা হচ্ছে

একটি AI MPU কি?

একটি এআই-সক্ষম MPU প্ল্যাটফর্ম একটি অ্যাপ্লিকেশন মাইক্রোপ্রসেসরকে একটি মেশিন-লার্নিং কাজের চাপের জন্য প্রয়োজনীয় সফ্টওয়্যার এবং ত্বরণ সংস্থানগুলির সাথে একত্রিত করে। কোন কাজগুলি CPU-তে রয়েছে এবং কোন সমর্থিত অ্যাক্সিলারেটর থেকে উপকৃত হবে তা চিহ্নিত করে শুরু করুন।

একটি MPU, বা অ্যাপ্লিকেশন মাইক্রোপ্রসেসর, সাধারণত একটি এমবেড করা Linux সিস্টেমের সফ্টওয়্যার কেন্দ্র। একটি "AI MPU" একটি পৃথক প্রসেসর বিভাগ নয় যতটা একটি MPU প্ল্যাটফর্ম যা একটি NPU, GPU, DSP বা FPGA এর মতো ত্বরণ সংস্থানগুলি অন্তর্ভুক্ত করে বা এর সাথে ঘনিষ্ঠভাবে কাজ করে৷ MPU হোস্ট করে Linux, নেটওয়ার্কিং, স্টোরেজ, সিকিউরিটি সার্ভিস, অ্যাপ্লিকেশন লজিক এবং রানটাইম যা এআই ওয়ার্কলোড সমন্বয় করে।

MPU মেশিন লার্নিংয়ের জন্য, ব্যবহারিক প্রশ্ন শুধুমাত্র CPU গতি নয়। মেমরি ব্যান্ডউইথ, অ্যাক্সিলারেটর সমর্থন, ক্যামেরা এবং উচ্চ-গতি I/O, Linux BSP গুণমান, দীর্ঘমেয়াদী প্রাপ্যতা, তাপ নকশা এবং মডেল-টুলচেন পরিপক্কতা প্রায়ই একটি শিরোনাম TOPS মানের চেয়ে বেশি গুরুত্বপূর্ণ৷

কি একটি MPU একটি ভাল কৃত্রিম-বুদ্ধিমত্তা প্ল্যাটফর্ম করে?

কৃত্রিম বুদ্ধিমত্তার জন্য সেরা MPU হল কাজের চাপ-নির্দিষ্ট। একটি ভিশন গেটওয়ে MIPI CSI, হার্ডওয়্যার ভিডিও পাইপলাইন এবং একটি NPU অগ্রাধিকার দিতে পারে৷ একটি শ্রমসাধ্য মিশন কম্পিউটারের প্রয়োজন হতে পারে PCIe, একাধিক Ethernet পোর্ট, নির্ধারক সহচর কোর এবং শক্তিশালী নিরাপত্তা বৈশিষ্ট্য। একটি শিল্প প্ল্যাটফর্ম দীর্ঘ পণ্য জীবন, TSN, CAN-FD এবং একটি স্থিতিশীল Linux ইকোসিস্টেমকে মূল্য দিতে পারে।

বেঞ্চমার্ক প্রকৃত মডেল এবং সম্পূর্ণ প্রিপ্রসেসিং চেইন। একটি নিম্ন বিজ্ঞাপিত অ্যাক্সিলারেটর ফিগার সহ একটি প্ল্যাটফর্ম জয়ী হতে পারে যদি এটি মেমরির অনুলিপিগুলি এড়ায়, প্রয়োজনীয় অপারেটরকে সমর্থন করে এবং সেন্সর-থেকে-ফলাফল পথকে দক্ষ রাখে।

NPU: প্রান্তে দক্ষ নিউরাল ইনফারেন্স

একটি প্রান্ত NPU নিউরাল-নেটওয়ার্ক অপারেটরকে ত্বরান্বিত করে যেমন কনভোলিউশন, ম্যাট্রিক্স অপারেশন এবং সাধারণ অ্যাক্টিভেশন ফাংশন। এটি সাধারণত সমর্থিত সনাক্তকরণ, শ্রেণীবিভাগ, বিভাজন এবং বৈশিষ্ট্য-নিষ্কাশন মডেলগুলির জন্য সবচেয়ে কার্যকর স্থান যখন শক্তি এবং টেকসই অনুমান থ্রুপুট ব্যাপার।

NPU কর্মক্ষমতা কম্পাইলেশন এবং অপারেটর কভারেজের উপর নির্ভর করে। অসমর্থিত স্তরগুলি সিপিইউ বা অন্য অ্যাক্সিলারেটরে ফিরে যেতে পারে। কোয়ান্টাইজেশন প্রয়োজনীয়তা, টেনসর লেআউট, ইনপুট রেজোলিউশন এবং মেমরি আন্দোলনও বাস্তব-বিশ্বের কর্মক্ষমতা নাটকীয়ভাবে পরিবর্তন করতে পারে। শুধুমাত্র তাত্ত্বিক TOPS উপর নির্ভর না করে সর্বদা উৎপাদন গ্রাফকে বেঞ্চমার্ক করুন।

FPGA: নির্ধারক পাইপলাইন এবং AI অনুমান যেখানে নমনীয়তা গুরুত্বপূর্ণ

একটি FPGA ডিটারমিনিস্টিক ডেটা মুভমেন্ট, কাস্টম ইন্টারফেস এবং ব্যাপকভাবে সমান্তরাল পাইপলাইনে পারদর্শী। এজ সিস্টেমে এটি সেন্সরকে ডিসিরিয়ালাইজ করতে পারে, টাইমস্ট্যাম্প সারিবদ্ধ করতে পারে, ডেটা ফিল্টার করতে পারে, আগ্রহের অঞ্চল তৈরি করতে পারে, ইমেজ প্রিপ্রসেসিং সঞ্চালন করতে পারে এবং অনুমানযোগ্য লেটেন্সি সহ একটি অ্যাক্সিলারেটর খাওয়াতে পারে। FPGA এআই অনুমানও সম্ভব যখন একটি মডেল উপলব্ধ ডিএসপি, মেমরি এবং বিক্রেতা ত্বরণ স্ট্যাকের সাথে ভালভাবে ম্যাপ করে৷

ট্রেড অফ ইঞ্জিনিয়ারিং প্রচেষ্টা. RTL বা HLS ডিজাইন, সিমুলেশন, টাইমিং ক্লোজার, যাচাইকরণ এবং আপডেট কৌশল অবশ্যই পরিকল্পনা করা উচিত। একটি FPGA নির্বাচন করা উচিত কারণ নির্ধারক আচরণ বা কাস্টম সমান্তরালতা সিস্টেমের মান তৈরি করে — শুধু এই কারণে নয় যে এটি পাটিগণিত চালাতে পারে।

NPU বনাম FPGA এর জন্য edge AI

NPU বনাম FPGA সিদ্ধান্তটি প্রায়ই একটি মিথ্যা বাইনারি। একটি NPU সাধারনত সমর্থিত নিউরাল নেটওয়ার্ক এবং ওয়াট প্রতি শক্তিশালী কর্মক্ষমতার জন্য সহজ পছন্দ। একটি FPGA শক্তিশালী হয় যখন সিস্টেমের কাস্টম সেন্সর ইন্টারফেস, নির্ধারক প্রিপ্রসেসিং, অস্বাভাবিক ডেটা ফর্ম্যাট বা অনুমানের আগে এবং পরে একটি শক্তভাবে নিয়ন্ত্রিত পাইপলাইনের প্রয়োজন হয়।

একটি সাধারণ আর্কিটেকচার উভয়ই ব্যবহার করে: FPGA সেন্সর ইনজেস্ট এবং প্রিপ্রসেসিংয়ের জন্য, NPU নিউরাল নেটওয়ার্কের জন্য, এবং MPU Linux অর্কেস্ট্রেশনের জন্য৷ এটি যে কোনও একটি প্রসেসরের উপর জোর করে অনিয়মিত কাজের পরিমাণ হ্রাস করে।

এজ কম্পিউটিং

1. সময়সীমা দিয়ে শুরু করুন: কোন সিগন্যালে হার্ড টাইমিং প্রয়োজনীয়তা এবং সর্বাধিক সেন্সর-টু-অ্যাকশন বিলম্ব রয়েছে তা সনাক্ত করুন।
2. মানচিত্র তথ্য হার: সেন্সর থ্রুপুট, মধ্যবর্তী টেনসরের আকার এবং সবচেয়ে খারাপ-কেস মেমরি ট্র্যাফিক গণনা করুন।
3. ইন্টারফেসের কাছাকাছি ডিটারমিনিস্টিক ইনজেস্ট রাখুন: FPGA, DMA ইঞ্জিন বা রিয়েল-টাইম কোর প্রায়ই উপযুক্ত।
4. সমর্থিত নিউরাল মডেলগুলিকে NPU এ রাখুন: অপারেটর কভারেজ এবং প্রকৃত সংকলিত কর্মক্ষমতা যাচাই করুন।
5. সিস্টেমের জন্য MPU ব্যবহার করুন: নেটওয়ার্কিং, স্টোরেজ, আপডেট, লগিং, API এবং অ্যাপ্লিকেশন নীতি স্বাভাবিকভাবেই Linux-এর অন্তর্গত।
6. রিজার্ভ রিয়েল-টাইম নিয়ন্ত্রণ: একটি MCU বা ডিটারমিনিস্টিক কোরকে সময়-সমালোচনামূলক অ্যাকচুয়েশন এবং প্ল্যাটফর্মের স্বাস্থ্যের তত্ত্বাবধান করা উচিত যেখানে প্রয়োজন।

মেমরি ব্যান্ডউইথ প্রায়ই লুকানো বাধা

অনেক edge AI ডিজাইন কম্পিউট পিকগুলিতে ফোকাস করে এবং পরে আবিষ্কার করে যে অনুলিপি, রঙ রূপান্তর, টেনসর রিফর্ম্যাটিং বা শেয়ার করা DDR লেটেন্সি প্রাধান্য পায়। জিরো-কপি বা লো-কপি পাথ, ডিএমএ টপোলজি, ক্যাশে আচরণ এবং অ্যাক্সিলারেটর মেমরি অ্যাক্সেসের প্রাথমিক মূল্যায়ন করা উচিত। থার্মাল থ্রটলিং একটি শক্তিশালী বেঞ্চমার্ককে দুর্বল টেকসই কর্মক্ষমতাতে পরিণত করতে পারে।

এটি বিশেষভাবে গুরুত্বপূর্ণ যখন একাধিক ক্যামেরা, রাডার, ইভেন্ট সেন্সর বা উচ্চ-গতির Ethernet স্ট্রীম একই মেমরি সাবসিস্টেম ভাগ করে।

রেফারেন্স স্থাপত্য উদাহরণ

ভিশন / ইভেন্ট-সেন্সর পাইপলাইন

সেন্সর → FPGA ইনজেস্ট এবং টাইমস্ট্যাম্পিং → NPU অনুমান → MPU সিদ্ধান্ত পরিষেবা → CAN-FD বা Ethernet আউটপুট৷ এটি কম লেটেন্সি উপলব্ধির জন্য একটি শক্তিশালী প্যাটার্ন এবং সরাসরি আমাদের সাথে সংযোগ করে .

এমবেডেড এআই কম্পিউটার

উচ্চ-গতি I/O → DMA / অ্যাক্সিলারেটর পাথ → NPU বা GPU অনুমান → Linux অ্যাপ্লিকেশন পরিষেবা → স্টোরেজ এবং নেটওয়ার্ক APIs। আমাদের এমবেডেড কম্পিউট মডিউল এবং রুক্ষ প্রান্ত কম্পিউটার এই ধরনের পার্টিশনের চারপাশে প্রোডাক্ট ক্লাস তৈরি করা হয়।

ইন্ডাস্ট্রিয়াল ডিটারমিনিস্টিক গেটওয়ে

CAN-FD / সিরিয়াল / Ethernet ইন্টারফেস → FPGA বা MCU টাইমস্ট্যাম্পিং এবং প্রোটোকল হ্যান্ডলিং → MPU পরিষেবা → ঐচ্ছিক NPU বিশ্লেষণ। এখানে নির্ধারক I/O এবং দীর্ঘমেয়াদী সফ্টওয়্যার রক্ষণাবেক্ষণযোগ্যতা সর্বাধিক এআই থ্রুপুটের চেয়ে বেশি গুরুত্বপূর্ণ হতে পারে।

কীভাবে FPGA, NPU এবং MPU এর মধ্যে নির্বাচন করবেন

সম্পূর্ণ কাজের চাপ থেকে বেছে নিন, প্রসেসরের লেবেল নয়। যদি প্রভাবশালী সমস্যাটি নিউরাল ইনফারেন্স হয়, তাহলে NPU সামঞ্জস্য থেকে শুরু করুন। যদি কাস্টম I/O এবং নির্ধারক প্রিপ্রসেসিং প্রাধান্য পায়, তাহলে FPGA রিসোর্স মূল্যায়ন করুন। যদি Linux পরিষেবা, নেটওয়ার্কিং এবং অ্যাপ্লিকেশন সফ্টওয়্যার প্রাধান্য পায়, তাহলে MPU ক্ষমতা দিয়ে শুরু করুন। বেশিরভাগ উচ্চ-পারফরম্যান্স প্রান্ত প্ল্যাটফর্মগুলি এই সংস্থানগুলির মধ্যে অন্তত দুটিকে একত্রিত করবে।

হার্ডওয়্যার কমিট করার আগে, উদ্দিষ্ট সফ্টওয়্যার স্ট্যাকের মাধ্যমে প্রতিনিধি স্ট্রীম চালান এবং এন্ড-টু-এন্ড লেটেন্সি, পাওয়ার, মেমরি ব্যান্ডউইথ এবং থার্মাল পরিমাপ করুন। জেনেরিক অ্যাক্সিলারেটর র‍্যাঙ্কিংয়ের চেয়ে এই প্রমাণটি আরও মূল্যবান।

যেখানে TinyML প্রান্ত কম্পিউটিং এর মধ্যে ফিট করে

এজ কম্পিউটিং ডেটার উৎসের কাছাকাছি প্রক্রিয়াকরণ বর্ণনা করে; edge AI সেখানে মেশিন-লার্নিং ইনফারেন্স প্রয়োগ করে। TinyML সীমিত মেমরি এবং শক্তি সহ মাইক্রোকন্ট্রোলারগুলিতে প্রায়শই স্থাপনার আরও সীমাবদ্ধ শ্রেণিকে সম্বোধন করে। একটি ছোট ভাইব্রেশন ক্লাসিফায়ার এবং একটি মাল্টি-ক্যামেরা উপলব্ধি পাইপলাইনের জন্য খুব আলাদা হার্ডওয়্যার বাজেট প্রয়োজন যদিও উভয়ই হতে পারে edge AI।

একটি মাইক্রোকন্ট্রোলার লক্ষ্যের জন্য, মডেলের আকার, রানটাইম মেমরি, সমর্থিত অপারেটর এবং অধিগ্রহণ ওভারহেড পরীক্ষা করুন। একটি NPU বা FPGA-ভিত্তিক ডিজাইনের জন্য, মেমরি আন্দোলন এবং ত্বরিত এবং অ-ত্বরণহীন কাজের মধ্যে বিভাজন মূল্যায়ন করুন। শুধুমাত্র তার সংক্ষিপ্ত রূপ থেকে একটি প্রযুক্তি নির্বাচন করার পরিবর্তে, পরিমাপ করা কাজ এবং পুনরুদ্ধারের প্রয়োজনীয়তাগুলিকে সন্তুষ্ট করে এমন ক্ষুদ্রতম আর্কিটেকচার চয়ন করুন৷