Software til hændelsesbaseret vision: SDK'er, dataformater og integration

Hvad behandler begivenhedsbaseret vision-software?

Et hændelseskamera rapporterer ændringer i lysstyrken i stedet for at levere en konventionel videoramme ved hvert interval. En afkodet hændelse identificerer typisk en pixel, en polaritet og et tidsstempel. Din ansøgning skal bevare betydningen af ​​disse felter gennem erhvervelse, filtrering, registrering og inferens. Den begivenhedsbaseret versus rammebaseret sammenligning forklarer, hvornår denne datamodel er nyttig.

Skeln mellem tre formater i designet: sensor- eller transportkodningen, den afkodede hændelsesrepræsentation, der bruges af software, og repræsentationen, der overføres til en algoritme. En fil, der indeholder rå sensorpakker, en række afkodede hændelser og et akkumuleret billede tjener forskellige formål. Konvertering mellem dem kan ændre hukommelsesbrug, behandlingsomkostninger og de tilgængelige tidsoplysninger downstream.

Sådan evalueres et begivenhedskamera SDK

Start med den nøjagtige sensor, kamerafirmware og værtsplatform. En desktop-demonstration etablerer ikke understøttelse af et indlejret Linux-billede, en ARM-processor eller din produktionslicens. Spørg leverandøren om de understøttede operativsystemer, CPU-arkitekturer, omfordelingsbetingelser og kameragrænsefladekrav. Bekræft applikationen på den tilsigtede platform, før du forpligter carrier-board.

• Anskaffelse: enhedsopdagelse, konfiguration, afkodning og fejlrapportering.
• Timing: tidsstempeloprindelse, rollover-håndtering, eksterne triggere og justering af flere enheder.
• Reproducerbarhed: optagelser, konfigurationseksport og en identificeret softwareversion.
• Implementering: hovedløs drift, understøttede binære filer, genstartsadfærd og licensvilkår.
• Observerbarhed: hændelsestællinger, kødybde, tabte data og værtsressourcebrug.

Byg en pipeline med eksplicitte tidsgrænser

Hold erhvervelse adskilt fra dyr visualisering, diskskrivning og modelslutning. Ellers kan en langsom forbruger forsinke nye data, før algoritmen overhovedet starter. Definer en afgrænset kø og en eksplicit overbelastningspolitik. At droppe det ældste vindue, reducere interesseområdet og stoppe med en fejl har forskellige konsekvenser; vælg den adfærd, der passer til applikationen, og registrer, hvornår det sker.

Brug sensortidsstempler til at beskrive, hvornår observationer fandt sted, og et monotont værtsur til at måle behandlingsvarigheder. At trække tidsstempler fra ikke-relaterede ure frembringer ikke en gyldig ende-til-ende-latens. Hvis kameraet skal kombineres med et IMU eller konventionelt kamera, skal du etablere urforholdet og kalibreringsprocessen beskrevet i vores sensor-fusion synkroniseringsvejledning.

Et lille optagelses-inspektion eksempel

Følgende Python-eksempel tæller afkodede hændelser i en understøttet optagelse og rapporterer spændvidden af deres tidsstempler. Den bruger den dokumenterede Metavision-streaming API og kræver en kompatibel SDK installation og optagelse. Det er et inspektionseksempel, ikke et ALVEXIS kamera benchmark eller en detektor.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

Tidsstemplet dækker den første til og med sidst observerede hændelse; den måler ikke filvarighed, akkvisitionsforsinkelse eller behandlingsgennemstrømning. Tomme perioder og nulstilling af uret kræver separat håndtering i produktionen. Gem enhedskonfigurationen og optagelse af metadata ved siden af ​​filen, så en anden tekniker kan gengive fortolkningen.

Valider rolige scener, travle scener og fejlfinding

Test en stationær scene, repræsentativ bevægelse og en bevidst krævende scene. Flimmer, kameravibrationer og teksturerede bevægelser kan skabe meget forskellige hændelseshastigheder. Registrer både typisk adfærd og det værste tilfælde, du har observeret. Gentag med aktiv lager og kommunikation, fordi disse arbejdsbelastninger konkurrerer om hukommelse og CPU-tid.

Når algoritmen bruger et neuralt netværk, skal du kontrollere den resulterende tensor og understøttede operatører, før du vælger en accelerator. Et begivenhedskamera kræver ikke automatisk en NPU, og en NPU accepterer ikke automatisk en begivenhedsstream. Vores FPGA, NPU og MPU arkitekturguide adskiller erhvervelse, forbehandling, inferens og applikationstjenester.

Spørgsmål før du vælger en softwarestak

Kan jeg bruge en normal computer-vision-model?

Kun efter at have defineret en kompatibel inputrepræsentation og valideret dens adfærd. Akkumulering af hændelser i billeder kan tillade genbrug af et billedbehandlingstrin, men ændrer datafordelingen og tilføjer et tidsvindue. Vurder den komplette ansøgning på repræsentative data.

Beviser en fungerende bærbar demo indlejret kompatibilitet?

Nej. Bekræft CPU-arkitekturen, operativsystemet, sensorgrænsefladen, driveren, SDK-licensen og vedvarende ressourcebrug af den faktiske målplatform.

Hvad skal jeg sende til en integrationssamtale?

Send kamera- eller sensorreference, prøveoptagelse, tilsigtet output, acceptabel forsinkelse, værtsplatform, interface og implementeringsmiljø. Disse input gør diskussionen konkret nok til at identificere de første integrationsrisici.

Neuromorfisk syn i en computersynspipeline

Hændelseskameraer diskuteres ofte under neuromorfisk syn, fordi deres output registrerer ændringer ved individuelle pixels i stedet for en fast sekvens af komplette billeder. Denne datarepræsentation giver ikke automatisk objektdetektering eller et neuralt netværksresultat. Softwaren har stadig brug for en defineret opgave, en kompatibel algoritme og målbare acceptkriterier.

Ved integration med rammeorienterede computervisionsværktøjer kan en hændelsesstrøm konverteres til et tidsvinduebillede eller en anden repræsentation. Behold de originale tidsstempler, hvis opgaven afhænger af fine tidsmæssige oplysninger. Evaluer den komplette konverterings- og behandlingspipeline; et attraktivt rekonstrueret billede alene fastslår ikke nøjagtigheden eller latensen af ​​den endelige applikation.

Planlæg timing før sensorfusion