ראייה מבוססת אירועים לעומת ראייה מבוססת פריימים: השוואה מעשית

מהי ראיית מכונה באמצעות מסגרות תמונה?

ראיית מכונה באמצעות מסגרות תמונה לוכדת את הסצנה כתמונות שלמות במרווחי זמן קבועים, למשל 30, 60 או 120 פריימים לשנייה. כל פריים מכיל מידע מרחבי צפוף, מה שהופך את המצלמות הקונבנציונליות להתאמה טבעית לזיהוי אובייקט, ניתוח צבע, בדיקה, מיפוי ומערכת האקולוגית הגדולה של התוכנה הבנויה סביב טנסור תמונה.

הפשרה היא שכל פריים מעביר תמונה שלמה דרך הצינור בין אם הסצנה השתנתה או לא. ללולאת החלטה מהירה, זמן חשיפה, תקופת פריימים, קריאת חיישן, העברה, המרת תמונה והסקת מסקנות, כולם תורמים להשהייה מקצה לקצה. קצב פריימים גבוה מקטין את מרווח הדגימה, אך בדרך כלל מגדיל את רוחב הפס, תעבורת הזיכרון, ההספק והעומס התרמי.

מהי חזון מבוסס אירועים?

ראייה מבוססת אירועים משתמשת בחיישן תמונה מבוסס אירועים שהפיקסלים שלו מגיבים באופן אסינכרוני לשינויים בבהירות. במקום לספק תמונה מלבנית בקצב קבוע, החיישן מייצר זרם המכיל קואורדינטות פיקסלים, קוטביות וחותמות זמן מדויקות. לכן אזורים סטטיים מייצרים נתונים מועטים או ללא נתונים בעוד קצוות נעים יכולים לייצר אירועים עם רזולוציה זמנית עדינה מאוד.

ייצוג זה שימושי כאשר תזמון התנועה חשוב יותר מאשר קבלת תמונה שלמה שוב ושוב. זה יכול לתמוך במעקב עם אחזור נמוך, רובוטיקה במהירות גבוהה ומעברי תאורה קשים, אבל זרם האירועים אינו צילום רגיל. אלגוריתמים, כלי הדמיה, הקלטה ואימות חייבים להיות מתוכננים סביב מודל הנתונים.

כיצד חיישן תמונה מבוסס אירועים משנה את נתיב הנתונים

מערכת התייחסות שימושית חושפת את הדרך המלאה מרכישת חיישנים דרך סינון ועיבוד ועד לפלט האפליקציה. מכשיר את הגבולות האלה כך שניתן יהיה להעריך תביעות חביון וקצב נתונים מקצה לקצה.

ההבדל הארכיטקטוני העיקרי אינו פשוט "מצלמה מהירה יותר לעומת מצלמה איטית יותר". צינור ראייה קונבנציונלי מתחיל לעתים קרובות עם מאגר תמונה מלא. צינור מבוסס אירועים יכול להתחיל לעבד אירועים בודדים או חלונות אירועים קטנים ברגע שהם מגיעים. זה מאפשר סינון, יישור חותמת זמן, לוגיקה של אזור עניין ותכונות תנועה לרוץ קרוב לחיישן מבלי לחכות לפריים שלם.

עם זאת, נתוני אירועים יכולים להיות צפופים בסצנות בעלות מרקם גבוה או תחת רטט והבהוב. לכן, תכנון המערכת צריך למדוד את שיעור האירועים במקרה הגרוע, ניצול הממשק ורוחב הפס של הזיכרון במקום להניח שחישת אירועים פירושה תמיד רוחב פס נמוך.

ראייה מבוססת אירועים לעומת ראייה מכונה באמצעות מסגרות תמונה

חביון: למדוד חיישן להחלטה, לא רכיב אחד

מצלמות אירועים נבחרות לעתים קרובות לתפיסה עם זמן אחזור נמוך, אך רזולוציית חותמת זמן של חיישנים אינה זהה לזמן השהייה של יישומים. מדד הנדסי שימושי הוא הזמן משינוי בעולם האמיתי ועד להופעת ההחלטה בממשק המערכת. נתיב זה כולל תגובת חיישן, הובלה, חציצה, עיבוד מקדים, הסקה או מעקב, תזמון תוכנה ותקשורת פלט.

אותו כלל חל על מצלמת פריים. צינור מתוכנן היטב עם קצב פריימים גבוה עם נתיבי זיכרון ישירים עשוי להתעלות על ביצועים טובים יותר מצינור אירועים משולב גרוע. לכן יש למדוד אדריכלות עם תנועה מייצגת, תאורה ואלגוריתמים.

תוכנת חזון מבוססת אירועים ושיקולים של SDK

ערימת תוכנת ראייה מבוססת אירועים זקוקה בדרך כלל לתצורת מכשיר, פענוח אירועים, טיפול בחותמת זמן, סינון, הדמיה, הקלטה והשמעה חוזרת. ראייה שימושית מבוססת אירועים SDK אמורה גם להקל על סנכרון של טריגרים חיצוניים וחיישנים אחרים, בדיקת קצבי אירועים ושחזור רצף שנלכד במהלך פיתוח האלגוריתם.

עבור מערכות ייצור, התוכנה חייבת להיות מעבר לשולחן העבודה SDK. הצוותים צריכים להגדיר כיצד אירועים מועברים למשאבים FPGA, MCU, MPU או NPU; כיצד מאוחסן הכיול; כיצד מסונכרן הזמן; וכיצד ניתן להפעיל מחדש יומני שדות. אם אלגוריתם ממיר אירועים לפריימים מצטברים, חלון הצבירה הופך לפשרה מפורשת של חביון מול מידע.

היכן שראייה מבוססת אירועים מועילה

יישומי ראייה אופייניים המבוססים על אירועים כוללים מעקב אחר מטרות במהירות גבוהה, מניפולציה רובוטית, זרימה אופטית, ניתוח רטט או תנועה, בדיקה תעשייתית מהירה ותפיסה אוטונומית בסצנות עם שינויי בהירות גדולים. מקרי השימוש החזקים ביותר הם בדרך כלל אלה שבהם מבנה זמני עדין משפר ישירות את ההחלטה במקום רק להחליף מצלמה קונבנציונלית.

חזון מבוסס אירועים לפלטפורמות הגנה ואוטונומיות

במערכות הגנה, אבטחה ואוטונומיות, חישת אירועים יכולה להיות רלוונטית עבור רמזים לתנועה מהירה, ניסויי מעקב, מטענים אופטיים עם אחזור נמוך ומחקר היתוך חיישנים. המערכת עדיין צריכה לעמוד בדרישות הפלטפורמה כמו סנכרון, ממשקים דטרמיניסטיים, עיצוב סביבתי, הקלטה, אבטחת סייבר ותיקוף. חישת אירועים היא מרכיב אחד בשרשרת המשימה, לא פתרון תפיסה שלם בפני עצמו.

כאשר ארכיטקטורת מצלמה היברידית טובה יותר

מערכות מעשיות רבות מרוויחות משילוב אופנים. מסגרות יכולות לספק הקשר סמנטי ודימויים הניתנים לקריאה על ידי אדם בעוד שאירועים תורמים פרטים זמניים. חיישנים תרמיים, אינרציה או טווח יכולים להוסיף חוסן. Fusion שימושי במיוחד כאשר האפליקציה זקוקה לשניהם "מה זה?" ו"מתי בדיוק ואיך זה זז?"

עבור מערכות היברידיות, זמן משותף הוא חיוני. יש לשקול טריגרים של חומרה, תחומי חותמת זמן וכיול לפני סיום האלגוריתמים.

ארכיטקטורת התייחסות לחזון מעשית מבוססת אירועים

מערכת התייחסות יכולה להציב עבודת סינון וחותמת זמן דטרמיניסטית בFPGA, הסקת AI על NPU או מאיץ, שירותי יישומים על MPU ופיקוח על ליבה של MCU או בזמן אמת. המחיצה הנכונה תלויה בקצב האירועים, ארכיטקטורת המודל, רוחב הפס של הזיכרון וממשקים חיצוניים. שלנו מדריך FPGA לעומת NPU מול MPU edge AI מסביר חלוקה זו ביתר פירוט.

רשימת בדיקה לבחירה

• הגדר את זמן האחזור המקסימלי המקובל בין חיישן להחלטה.
• מדוד את מהירות התנועה הצפויה, טווח התאורה ופעילות הסצנה במקרה הגרוע ביותר.
• החלט אם נדרשת עוצמת תמונה מוחלטת, צבע או וידאו הניתן לקריאה על ידי אדם.
• הערכת רוחב פס ותנועת זיכרון הן עבור סצנות טיפוסיות והן עבור סצינות במקרה הגרוע ביותר.
• אשר את הבשלות של אלגוריתם, מערך נתונים ואירוע מבוסס חזון SDK.
• תכנן סנכרון עם מקורות מסגרת, תרמיים, אינרציאליים או חיצוניים.
• סמן את הצינור המלא לפני הקפאת תכנון מחשוב, מנשא ותרמי.

ראיית מכונה, הדמיה תרמית ושאלת הבדיקה

ראייה ממוחשבת היא התחום הרחב של הפקת מידע שימושי מנתונים חזותיים. בראיית מכונה תעשייתית, המערכת חייבת לספק גם תוצאת בדיקה שניתנת לחזרה תחת אילוצי התאורה, התנועה והתזמון של הקו. בחר בין חישה מבוססת פריימים לבין חישה מבוססת אירועים על ידי בדיקת תכונת הפגם או התנועה שהאפליקציה צריכה לצפות בה בפועל.

הדמיה תרמית מוסיפה מימד מדידה שונה: קרינה אינפרא אדומה הקשורה לטמפרטורת פני השטח. מצלמה גלויה עשויה לחשוף פגמי הרכבה או משטח בעוד שמצלמה תרמית חושפת דפוסי טמפרטורה. שיטות אלה יכולות להיות משלימות, אך הן אינן מבטיחות נראות של כל תקלה. הגדירו יישור, תנאי מדידה וכללי החלטה לפני שילובם למערכת בדיקה.

חקור בדיקת איכות ויזואלית ותרמית