Hadisə əsaslı maşın görməsi üçün proqram təminatı: SDK, məlumat formatları və inteqrasiya

Hadisəyə əsaslanan görmə proqramı nəyi emal edir?

Hadisə kamerası hər intervalda adi video çərçivəni təqdim etmək əvəzinə parlaqlıqdakı dəyişiklikləri bildirir. Şifrə açılmış hadisə adətən pikseli, polariteyi və vaxt damğasını müəyyən edir. Tətbiqiniz əldə etmə, filtrləmə, qeyd etmə və nəticə çıxarma yolu ilə həmin sahələrin mənasını qorumalıdır. The hadisəyə əsaslanan və çərçivəyə əsaslanan müqayisə həmin məlumat modelinin nə vaxt faydalı olduğunu izah edir.

Dizaynda üç formatı fərqləndirin: sensor və ya nəqliyyat kodlaşdırması, proqram təminatı tərəfindən istifadə edilən deşifrə edilmiş hadisə təsviri və alqoritmə ötürülən təqdimat. Xam sensor paketləri, bir sıra deşifrə edilmiş hadisələr və yığılmış təsviri ehtiva edən fayl müxtəlif məqsədlərə xidmət edir. Onların arasında konvertasiya yaddaşdan istifadəni, emal dəyərini və aşağı axınında mövcud olan vaxt məlumatını dəyişə bilər.

Hadisə kamerasını necə qiymətləndirmək olar SDK

Dəqiq sensor, kamera proqram təminatı və host platforması ilə başlayın. Masaüstü nümayişi daxil edilmiş Linux təsvir, ARM prosessoru və ya istehsal lisenziyanız üçün dəstək yaratmır. Dəstəklənən əməliyyat sistemləri, CPU arxitekturaları, yenidən bölüşdürülmə şərtləri və kamera interfeysi tələbləri üçün təchizatçıdan soruşun. Hesablama modulu üçün daşıyıcı dövrə lövhəsini yerinə yetirməzdən əvvəl nəzərdə tutulan platformada tətbiqi yoxlayın.

• Alınma: cihazın kəşfi, konfiqurasiyası, dekodlanması və səhv hesabatı.
• Vaxt: vaxt damgasının mənşəyi, rollover idarə edilməsi, xarici tetikleyiciler və çoxlu cihaz uyğunlaşdırılması.
• Təkrarlanma qabiliyyəti: qeydlər, konfiqurasiya ixracı və müəyyən edilmiş proqram versiyası.
• Yerləşdirmə: başsız əməliyyat, dəstəklənən ikili fayllar, yenidən başladın davranış və lisenziya şərtləri.
• Müşahidə qabiliyyəti: hadisə saymaları, növbə dərinliyi, buraxılmış məlumatlar və host resursundan istifadə.

Aydın vaxt sərhədləri olan bir boru kəməri qurun

Əldə etməyi bahalı vizuallaşdırma, disk yazma və model çıxarışdan ayrı saxlayın. Əks halda, yavaş istehlakçı alqoritm başlamazdan əvvəl yeni məlumatları gecikdirə bilər. Məhdud növbə və açıq-aşkar yükləmə siyasətini müəyyənləşdirin. Ən köhnə pəncərəni atmaq, maraq dairəsini azaltmaq və səhvlə dayandırmaq fərqli nəticələrə malikdir; tətbiqə uyğun davranışı seçin və baş verdikdə qeyd edin.

Müşahidələrin nə vaxt baş verdiyini təsvir etmək üçün sensor vaxt damğalarından və emal müddətlərini ölçmək üçün monoton ana saatdan istifadə edin. Əlaqəli olmayan saatlardan vaxt ştamplarının çıxarılması etibarlı başdan-başa gecikmə yaratmır. Əgər kamera IMU və ya adi kamera ilə birləşdirilməlidirsə, bizim təlimatda təsvir olunan saat əlaqəsini və kalibrləmə prosesini qurun. sensor-fusion sinxronizasiya təlimatı.

Kiçik bir qeyd-təftiş nümunəsi

Aşağıdakı Python nümunəsi dəstəklənən qeyddə deşifrə edilmiş hadisələri hesablayır və onların vaxt damğalarının müddətini bildirir. O, sənədləşdirilmiş Metavision yayımından API istifadə edir və uyğun SDK quraşdırma və qeyd tələb edir. Bu, ALVEXIS kamera meyarları və ya detektor deyil, yoxlama nümunəsidir.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

Zaman damğası aralığı birincidən sonuncu müşahidə olunan hadisəni əhatə edir; o, faylın müddətini, əldəetmə gecikməsini və ya emal qabiliyyətini ölçmür. Boş dövrlər və saat sıfırlamaları istehsalda ayrıca rəftar tələb edir. İkinci mühəndisin şərhi təkrar edə bilməsi üçün cihaz konfiqurasiyasını və qeyd metadatasını faylın yanında saxlayın.

Sakit səhnələri, məşğul səhnələri və uğursuzluğun bərpasını təsdiqləyin

Stasionar səhnəni, reprezentativ hərəkəti və qəsdən tələb olunan səhnəni sınayın. Flicker, kamera vibrasiyası və fakturalı hərəkət çox fərqli hadisə dərəcələri yarada bilər. Həm tipik davranışı, həm də müşahidə etdiyiniz ən pis hadisəni qeyd edin. Aktiv yaddaş və kommunikasiya ilə təkrarlayın, çünki bu iş yükləri yaddaş və CPU vaxtı üçün rəqabət aparır.

Alqoritm neyron şəbəkəsindən istifadə etdikdə, sürətləndirici seçməzdən əvvəl yaranan tensoru və dəstəklənən operatorları yoxlayın. Hadisə kamerası avtomatik olaraq NPU tələb etmir və NPU hadisə axınını avtomatik qəbul etmir. Bizim FPGA, NPU və MPU memarlıq bələdçisi əldə etmə, ilkin emal, nəticə çıxarma və tətbiq xidmətlərini ayırır.

Proqram yığını seçməzdən əvvəl suallar

Normal kompüter görmə modelindən istifadə edə bilərəmmi?

Yalnız uyğun giriş təqdimatını təyin etdikdən və onun davranışını təsdiq etdikdən sonra. Şəkillərdə hadisələrin yığılması təsvirin işlənməsi mərhələsinin təkrar istifadəsinə imkan verə bilər, lakin məlumatların paylanmasını dəyişir və vaxt pəncərəsi əlavə edir. Tətbiqi tam təqdimat məlumatları əsasında qiymətləndirin.

İşləyən noutbuk demosu quraşdırılmış uyğunluğu sübut edirmi?

Xeyr. Faktiki hədəf platformanın CPU arxitekturasını, əməliyyat sistemini, sensor interfeysini, sürücüsünü, SDK lisenziyasını və davamlı resurs istifadəsini təsdiq edin.

İnteqrasiya müzakirəsi üçün nə göndərməliyəm?

Kamera və ya sensor arayışını, nümunə qeydini, nəzərdə tutulan çıxışı, məqbul gecikməni, host platformasını, interfeysi və yerləşdirmə mühitini göndərin. Bu girişlər ilk inteqrasiya risklərini müəyyən etmək üçün müzakirəni kifayət qədər konkret edir.

Kompüter görmə boru kəmərində neyromorfik görmə

Hadisə kameraları tez-tez neyromorfik görmə altında müzakirə olunur, çünki onların çıxış qeydləri tam təsvirlərin sabit ardıcıllığı ilə deyil, fərdi piksellərdə dəyişir. Həmin məlumat təqdimatı avtomatik olaraq obyekt aşkarlamasını və ya neyroşəbəkə nəticəsini təmin etmir. Proqram təminatı hələ də müəyyən edilmiş tapşırıq, uyğun alqoritm və ölçülə bilən qəbul meyarlarına ehtiyac duyur.

Çərçivə yönümlü kompüter görmə vasitələri ilə inteqrasiya olunduqda, hadisə axını zaman pəncərəsi şəklinə və ya başqa təqdimata çevrilə bilər. Tapşırıq incə müvəqqəti məlumatdan asılıdırsa, orijinal vaxt ştamplarını saxlayın. Tam konvertasiya və emal boru kəmərini qiymətləndirin; Təkcə cəlbedici yenidən qurulmuş görüntü son tətbiqin dəqiqliyini və ya gecikməsini müəyyən etmir.

Sensor məlumatlarının birləşməsindən əvvəl vaxtı planlaşdırın