תוכנה לראייה מבוססת אירועים: ערכות SDK, פורמטים של נתונים ואינטגרציה

מה מעבדת תוכנת ראייה מבוססת אירועים?

מצלמת אירועים מדווחת על שינויים בבהירות במקום לספק מסגרת וידאו רגילה בכל מרווח. אירוע מפוענח מזהה בדרך כלל פיקסל, קוטביות וחותמת זמן. היישום שלך חייב לשמר את המשמעות של אותם שדות באמצעות רכישה, סינון, הקלטה והסקת מסקנות. ה השוואה מבוססת אירועים מול מבוססת מסגרת מסביר מתי מודל הנתונים הזה שימושי.

הבחנה בין שלושה פורמטים בעיצוב: החיישן או קידוד התעבורה, ייצוג האירועים המפוענחים בשימוש על ידי תוכנה, והייצוג מועבר לאלגוריתם. קובץ המכיל מנות חיישן גולמיות, מערך אירועים מפוענחים ותמונה מצטברת משרתים מטרות שונות. המרה ביניהם יכולה לשנות את השימוש בזיכרון, את עלות העיבוד ואת מידע התזמון הזמין במורד הזרם.

כיצד להעריך מצלמת אירועים SDK

התחל עם החיישן המדויק, קושחת המצלמה ופלטפורמת המארח. הדגמה של שולחן העבודה אינה קובעת תמיכה בתמונה משובצת של Linux, מעבד ARM או רישיון הייצור שלך. בקש מהספק את מערכות ההפעלה הנתמכות, ארכיטקטורות המעבד, תנאי הפצה מחדש ודרישות ממשק המצלמה. אמת את היישום בפלטפורמה המיועדת לפני ביצוע העברת לוח המעגלים למודול מחשוב.

• רכישה: גילוי מכשירים, תצורה, פענוח ודיווח על שגיאות.
• תזמון: מקור חותמת זמן, טיפול בגלגול, טריגרים חיצוניים ויישור רב-התקנים.
• יכולת שחזור: הקלטות, ייצוא תצורה וגרסת תוכנה מזוהה.
• פריסה: פעולה ללא ראש, קבצים בינאריים נתמכים, התנהגות הפעלה מחדש ותנאי רישיון.
• יכולת צפייה: ספירת אירועים, עומק תור, נתונים שנפלו ושימוש במשאבי מארח.

בנה צינור עם גבולות תזמון מפורשים

שמור על רכישה נפרדת מהדמיה יקרה, כתיבת דיסק והסקת מודלים. אחרת צרכן איטי יכול לעכב נתונים חדשים עוד לפני שהאלגוריתם מתחיל. הגדר תור מוגבל ומדיניות עומס מפורשת. להורדת החלון הישן ביותר, הקטנת אזור העניין והפסקה עם שגיאה יש השלכות שונות; בחר את ההתנהגות המתאימה ליישום ותעד מתי זה קורה.

השתמש בחותמות זמן של חיישן כדי לתאר מתי התרחשו תצפיות, ובשעון מארח מונוטוני למדידת משכי עיבוד. הפחתת חותמות זמן משעונים לא קשורים אינה מייצרת השהייה תקפה מקצה לקצה. אם יש לשלב את המצלמה עם IMU או מצלמה קונבנציונלית, קבע את קשר השעון ותהליך הכיול המתואר ב- מדריך סנכרון חיישן-היתוך.

דוגמה קטנה לבדיקת הקלטה

הדוגמה הבאה של Python סופרת אירועים מפוענחים בהקלטה נתמכת ומדווחת על טווח חותמות הזמן שלהם. הוא משתמש בסטרימינג המתועד של Metavision API ודורש התקנה והקלטה תואמת SDK. זוהי דוגמה לבדיקה, לא מדד ALVEXIS של מצלמה או גלאי.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

טווח חותמת הזמן מכסה את האירוע הראשון עד האחרון שנצפה; הוא אינו מודד את משך הקובץ, עיכוב רכישה או תפוקת עיבוד. תקופות ריקות ואיפוסי שעון זקוקים לטיפול נפרד בייצור. שמור את תצורת המכשיר והקלטת מטא נתונים לצד הקובץ כך שמהנדס שני יוכל לשחזר את הפרשנות.

אימות סצנות שקטות, סצנות עמוסות והתאוששות מכשלים

בדוק סצנה נייחת, תנועה מייצגת וסצנה תובענית בכוונה. הבהוב, רטט של המצלמה ותנועה מרקם יכולים ליצור קצבי אירועים שונים מאוד. רשום הן התנהגות אופיינית והן את המקרה הגרוע ביותר שראיתם. חזור על הפעולה עם אחסון ותקשורת פעילים, מכיוון שעומסי העבודה הללו מתחרים על זיכרון וזמן מעבד.

כאשר האלגוריתם משתמש ברשת עצבית, בדוק את הטנזור המתקבל ואת האופרטורים הנתמכים לפני בחירת מאיץ. מצלמת אירועים אינה דורשת אוטומטית NPU, ו-NPU אינה מקבלת באופן אוטומטי זרם אירועים. שלנו מדריך ארכיטקטורה של FPGA, NPU ו-MPU מפריד בין שירותי רכישה, עיבוד מקדים, הסקה ויישום.

שאלות לפני בחירת ערימת תוכנה

האם אני יכול להשתמש במודל ראיית מחשב רגיל?

רק לאחר הגדרת ייצוג קלט תואם ואימות התנהגותו. צבירת אירועים לתמונות עשויה לאפשר שימוש חוזר בשלב עיבוד תמונה, אך משנה את הפצת הנתונים ומוסיפה חלון תזמון. הערך את הבקשה המלאה על פי נתונים מייצגים.

האם הדגמה של מחשב נייד עובד מוכיחה תאימות משובצת?

לא. אשר את ארכיטקטורת המעבד, מערכת ההפעלה, ממשק החיישן, מנהל ההתקן, רישיון SDK ושימוש מתמשך במשאבים של פלטפורמת היעד בפועל.

מה עליי לשלוח לדיון אינטגרציה?

שלח את ההפניה למצלמה או לחיישן, הקלטה לדוגמה, הפלט המיועד, השהיה מקובל, הפלטפורמה המארחת, הממשק וסביבת הפריסה. תשומות אלו הופכות את הדיון לקונקרטי מספיק כדי לזהות את סיכוני האינטגרציה הראשונים.

ראייה נוירומורפית בצנרת ראייה ממוחשבת

מצלמות אירועים נדונות לעתים קרובות בראייה נוירומורפית מכיוון שהפלט שלהן מתעד שינויים בפיקסלים בודדים ולא ברצף קבוע של תמונות שלמות. ייצוג נתונים זה אינו מספק אוטומטית זיהוי אובייקטים או תוצאת רשת עצבית. התוכנה עדיין זקוקה למשימה מוגדרת, אלגוריתם תואם וקריטריוני קבלה מדידים.

בעת שילוב עם כלי ראייה ממוחשבת מוכווני מסגרת, ניתן להמיר זרם אירועים לתמונת חלון זמן או ייצוג אחר. שמור את חותמות הזמן המקוריות אם המשימה תלויה במידע זמני עדין. להעריך את צינור ההמרה והעיבוד המלא; תמונה משוחזרת מושכת לבדה אינה קובעת את הדיוק או השהיה של היישום הסופי.

תכנן תזמון לפני היתוך נתוני חיישנים