FPGA לעומת NPU לעומת MPU: בחירת חומרה עבור Edge AI

מהו AI MPU?

פלטפורמת MPU בעלת יכולת בינה מלאכותית משלבת מיקרו-מעבד יישומים עם התוכנה ומשאבי האצה הדרושים לעומס עבודה של למידת מכונה. התחל בזיהוי אילו משימות שייכות למעבד ואילו נהנות ממאיץ נתמך.

MPU, או מיקרו-מעבד יישומים, הוא בדרך כלל מרכז התוכנה של מערכת Linux משובצת. "AI MPU" אינו קטגוריית מעבד נפרדת אלא פלטפורמת MPU הכוללת, או עובדת בשיתוף פעולה הדוק עם, משאבי האצה כגון NPU, GPU, DSP או FPGA. ה-MPU מארח את Linux, רשתות, אחסון, שירותי אבטחה, לוגיקה של יישומים וזמן הריצה שמתאם עומסי עבודה של AI.

עבור MPU למידת מכונה, השאלה המעשית היא לא רק מהירות המעבד. רוחב פס זיכרון, תמיכת מאיצים, מצלמה ומהירות גבוהה I/O, איכות Linux BSP, זמינות לטווח ארוך, עיצוב תרמי ובגרות דגם-כלים-שרשרת חשובים לעתים קרובות יותר מערך כותרת TOPS.

מה הופך MPU לפלטפורמת בינה מלאכותית טובה?

ה-MPU הטוב ביותר לבינה מלאכותית הוא ספציפי לעומס עבודה. שער חזון עשוי לתת עדיפות ל-MIPI CSI, צינורות וידאו חומרה ו-NPU. מחשב משימה קשוח עשוי להזדקק ל-PCIe, יציאות Ethernet מרובות, ליבות נלוות דטרמיניסטיות ותכונות אבטחה חזקות יותר. פלטפורמה תעשייתית עשויה להעריך חיי מוצר ארוכים, TSN, CAN-FD ומערכת אקולוגית יציבה Linux.

סמן את המודל בפועל ושרשרת עיבוד מקדים שלמה. פלטפורמה עם נתון מאיץ מפורסם נמוך יותר יכולה לנצח אם היא נמנעת מהעתקי זיכרון, תומכת במפעילים הנדרשים ותשמור על יעילות נתיב החיישן לתוצאה.

NPU: הסקה עצבית יעילה בקצה

קצה NPU מאיץ אופרטורים של רשתות עצביות כגון פיתולים, פעולות מטריצה ופונקציות הפעלה נפוצות. זה בדרך כלל המקום היעיל ביותר למודלים נתמכים של זיהוי, סיווג, פילוח וחילוץ תכונות כאשר הספק ותפוקה מתמשכת חשובים.

הביצועים של NPU תלויים בהידור ובכיסוי המפעיל. שכבות לא נתמכות עלולות ליפול בחזרה למעבד או למאיץ אחר. דרישות קוונטיזציה, פריסות טנזור, רזולוציית קלט ותנועת זיכרון יכולים גם הם לשנות באופן דרמטי את הביצועים בעולם האמיתי. בדוק תמיד את גרף הייצור במקום להסתמך על TOPS תיאורטי בלבד.

FPGA: צינורות דטרמיניסטיים והסקת AI כאשר הגמישות חשובה

FPGA מצטיין בתנועת נתונים דטרמיניסטית, ממשקים מותאמים אישית וצינורות מקבילים באופן מסיבי. במערכות קצה הוא יכול לבצע דה-סריאליזציה של חיישנים, ליישר חותמות זמן, לסנן נתונים, ליצור אזורי עניין, לבצע עיבוד מקדים של תמונה ולהזין מאיץ עם חביון צפוי. FPGA הסקת AI אפשרית גם כאשר דגם ממפה היטב את ה-DSP הזמינים, הזיכרון וערימת האצת הספקים.

הפשרה היא מאמץ הנדסי. יש לתכנן עיצוב, סימולציה, סגירת תזמון, אימות ועדכון של אסטרטגיית RTL או HLS. יש לבחור FPGA מכיוון שהתנהגות דטרמיניסטית או מקביליות מותאמת אישית יוצרים ערך מערכת - לא רק משום שהוא יכול להפעיל אריתמטיקה.

NPU לעומת FPGA עבור edge AI

ההחלטה NPU לעומת FPGA היא לעתים קרובות בינארי כוזב. NPU הוא בדרך כלל הבחירה הקלה יותר עבור רשתות עצביות נתמכות וביצועים חזקים לוואט. FPGA חזק יותר כאשר המערכת זקוקה לממשקי חיישנים מותאמים אישית, עיבוד מקדים דטרמיניסטי, פורמטים חריגים של נתונים או צינור מבוקר קפדני לפני ואחרי מסקנות.

ארכיטקטורה נפוצה משתמשת בשניהם: FPGA להטמעת חיישן ועיבוד מקדים, NPU לרשת העצבית ו-MPU לתזמור Linux. זה מפחית את כמות העבודה הבלתי סדירה הנכפית על כל מעבד אחד.

דרך מעשית לחלק ארכיטקטורה של edge AI

1. התחל עם מועדים: לזהות לאילו אותות יש דרישות תזמון קשות ואת ההשהיה המקסימלית של חיישן לפעולה.
2. תעריפי נתוני מפה: חישוב תפוקת חיישן, גדלי טנזורים בינוניים ותעבורת זיכרון במקרה הגרוע ביותר.
3. שמור על הכנסה דטרמיניסטית קרובה לממשק: FPGA, מנועי DMA או ליבות בזמן אמת מתאימים לרוב.
4. הצב מודלים עצביים נתמכים ב-NPU: לאמת את כיסוי המפעיל ואת ביצועי הידור בפועל.
5. השתמש ב-MPU עבור המערכת: רשת, אחסון, עדכונים, רישום, ממשקי API ומדיניות יישומים שייכים באופן טבעי ל-Linux.
6. שמור שליטה בזמן אמת: ליבה MCU או דטרמיניסטית צריכה לפקח על הפעלה קריטית לזמן ועל תקינות הפלטפורמה במידת הצורך.

רוחב הפס של הזיכרון הוא לעתים קרובות צוואר הבקבוק הנסתר

עיצובים רבים של edge AI מתמקדים בשיאי חישוב ומגלים מאוחר יותר שהעתקים, המרת צבע, עיצוב מחדש של טנזור או DDR משותף שולטים בזמן האחזור. יש להעריך מוקדם נתיבי העתקה אפס או מועט עותק, טופולוגיית DMA, התנהגות מטמון וגישה לזיכרון מאיץ. מצערת תרמית יכולה גם להפוך רף חזק לביצועים מתמשכים חלשים.

זה חשוב במיוחד כאשר מספר מצלמות, מכ"ם, חיישני אירועים או זרמים מהירים של Ethernet חולקים את אותה תת-מערכת זיכרון.

התייחסות לדוגמאות ארכיטקטורה

צינור חזון / חיישני אירועים

חיישן → FPGA הטמעה והחתמת זמן → NPU הסקה → MPU שירותי החלטה → CAN-FD או פלט Ethernet. זהו דפוס חזק לתפיסה עם אחזור נמוך ומתחבר ישירות לשלנו .

מחשב AI משובץ

במהירות גבוהה I/O → DMA / נתיב מאיץ → NPU או הסקת GPU → Linux שירותי יישומים → ממשקי API של אחסון ורשת. שלנו מודול מחשוב משובץ ו מחשב קצה מחוספס מחלקות מוצרים בנויות סביב סוג זה של חלוקה.

שער דטרמיניסטי תעשייתי

CAN-FD / טורי / Ethernet ממשקים → FPGA או MCU חותמת זמן וטיפול בפרוטוקול → שירותי MPU → ניתוח אופציונלי NPU. כאן תחזוקה דטרמיניסטית של I/O ותחזוקה ארוכת טווח של תוכנה יכולה להיות חשובה יותר מתפוקת AI מקסימלית.

כיצד לבחור בין FPGA, NPU ו-MPU

בחר מתוך עומס העבודה המלא, לא מתווית המעבד. אם הבעיה הדומיננטית היא הסקה עצבית, התחל מתאימות של NPU. אם I/O מותאם אישית ועיבוד מקדים דטרמיניסטי שולטים, הערך משאבי FPGA. אם שירותי Linux, רשתות ותוכנות יישומים שולטים, התחל עם יכולת MPU. רוב פלטפורמות הקצה בעלות הביצועים הגבוהים ישלבו לפחות שניים מהמשאבים הללו.

לפני ביצוע חומרה, הפעל זרמים מייצגים דרך מחסנית התוכנה המיועדת ומדוד את זמן השהיה מקצה לקצה, הספק, רוחב פס זיכרון ותרמיקה. עדות זו חשובה יותר מדירוג מאיץ גנרי.

היכן TinyML משתלב בתוך מחשוב קצה

מחשוב קצה מתאר עיבוד ליד מקור הנתונים; edge AI מיישמת שם הסקת למידה חישובית. TinyML מתייחס לסוג מצומצם יותר של פריסה, לרוב במיקרו-בקרים עם זיכרון וכוח מוגבלים. לפיכך, מסווג רעידות קטן וצינור תפיסה מרובה מצלמות זקוקים לתקציבי חומרה שונים מאוד, למרות ששניהם יכולים להיות edge AI.

עבור יעד מיקרו-בקר, בדוק את גודל הדגם, זיכרון זמן הריצה, מפעילים נתמכים ותקורה של רכישה. עבור עיצוב מבוסס NPU או FPGA, הערך גם את תנועת הזיכרון ואת המחיצה בין עבודה מואצת ללא מואצת. בחר את הארכיטקטורה הקטנה ביותר שעונה על המשימה הנמדדת והדרישות השחזור, במקום לבחור טכנולוגיה מתוך ראשי התיבות שלה בלבד.