이벤트 카메라 SDK·소프트웨어 통합

이벤트 기반 비전 소프트웨어는 무엇을 처리합니까?

이벤트 카메라는 매 간격마다 기존 비디오 프레임을 제공하는 대신 밝기 변화를 보고합니다. 디코딩된 이벤트는 일반적으로 픽셀, 극성 및 타임스탬프를 식별합니다. 애플리케이션은 획득, 필터링, 기록 및 추론을 통해 해당 필드의 의미를 보존해야 합니다. 는 이벤트 기반과 프레임 기반 비교 해당 데이터 모델이 언제 유용한지 설명합니다.

설계에서 세 가지 형식, 즉 센서 또는 전송 인코딩, 소프트웨어에서 사용되는 디코딩된 이벤트 표현, 알고리즘에 전달되는 표현을 구별합니다. 원시 센서 패킷, 디코딩된 이벤트 배열 및 누적된 이미지가 포함된 파일은 다양한 용도로 사용됩니다. 이들 사이를 변환하면 메모리 사용, 처리 비용 및 다운스트림에서 사용 가능한 타이밍 정보가 변경될 수 있습니다.

이벤트 카메라 SDK를 평가하는 방법

정확한 센서, 카메라 펌웨어 및 호스트 플랫폼으로 시작하십시오. 데스크탑 데모에서는 임베디드 Linux 이미지, ARM 프로세서 또는 프로덕션 라이센스에 대한 지원을 설정하지 않습니다. 지원되는 운영 체제, CPU 아키텍처, 재배포 조건 및 카메라 인터페이스 요구 사항은 공급업체에 문의하세요. 컴퓨팅 모듈용 베이스보드를 커밋하기 전에 의도한 플랫폼에서 애플리케이션을 확인하십시오.

• 획득: 장치 검색, 구성, 디코딩 및 오류 보고.
• 타이밍: 타임스탬프 원본, 롤오버 처리, 외부 트리거 및 다중 장치 정렬.
• 재현성: 녹음, 구성 내보내기 및 식별된 소프트웨어 버전.
• 배포: 헤드리스 작업, 지원되는 바이너리, 다시 시작 동작 및 라이센스 조건.
• 관찰 가능성: 이벤트 수, 대기열 깊이, 삭제된 데이터 및 호스트 리소스 사용.

명시적인 타이밍 경계를 사용하여 파이프라인 구축

비용이 많이 드는 시각화, 디스크 작성 및 모델 추론과 수집을 분리하세요. 그렇지 않으면 느린 소비자가 알고리즘이 시작되기도 전에 새 데이터를 지연시킬 수 있습니다. 제한된 대기열과 명시적인 과부하 정책을 정의합니다. 가장 오래된 창을 삭제하고, 관심 영역을 줄이고, 오류로 인해 중지하면 결과가 달라집니다. 애플리케이션에 맞는 동작을 선택하고 해당 동작이 발생하면 기록합니다.

센서 타임스탬프를 사용하여 관찰이 발생한 시기를 설명하고 단조로운 호스트 시계를 사용하여 처리 기간을 측정합니다. 관련되지 않은 시계에서 타임스탬프를 빼면 유효한 종단 간 대기 시간이 생성되지 않습니다. 카메라를 IMU 또는 기존 카메라와 결합해야 하는 경우 당사에 설명된 시계 관계 및 교정 프로세스를 설정하십시오. 센서퓨전 동기화 가이드.

작은 녹음 검사 예

다음 Python 예제에서는 지원되는 녹음에서 디코딩된 이벤트를 계산하고 타임스탬프 범위를 보고합니다. 문서화된 Metavision 스트리밍 API를 사용하며 호환 가능한 SDK 설치 및 녹음이 필요합니다. ALVEXIS 카메라 벤치마크나 감지기가 아닌 검사 예시입니다.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

타임스탬프 범위는 처음 관찰된 이벤트부터 마지막 이벤트까지를 포함합니다. 파일 기간, 획득 지연 또는 처리 처리량은 측정하지 않습니다. 빈 기간과 시계 재설정은 프로덕션에서 별도로 처리해야 합니다. 두 번째 엔지니어가 해석을 재현할 수 있도록 장치 구성 및 녹음 메타데이터를 파일과 함께 보관하세요.

조용한 장면, 바쁜 장면 및 오류 복구 검증

정지된 장면, 대표 모션 및 고의적으로 까다로운 장면을 테스트합니다. 깜박임, 카메라 진동 및 텍스처 모션은 매우 다른 이벤트 비율을 생성할 수 있습니다. 일반적인 행동과 관찰한 최악의 사례를 모두 기록하세요. 이러한 워크로드는 메모리와 CPU 시간을 두고 경쟁하므로 스토리지와 통신을 활성화한 상태에서 반복합니다.

알고리즘이 신경망을 사용하는 경우 가속기를 선택하기 전에 결과 텐서 및 지원되는 연산자를 확인하십시오. 이벤트 카메라에는 NPU가 자동으로 필요하지 않으며 NPU는 이벤트 스트림을 자동으로 수락하지 않습니다. 우리의 FPGA, NPU 및 MPU 아키텍처 가이드 획득, 전처리, 추론 및 응용 서비스를 분리합니다.

소프트웨어 스택을 선택하기 전의 질문

일반 컴퓨터 비전 모델을 사용할 수 있나요?

호환 가능한 입력 표현을 정의하고 그 동작을 검증한 후에만 가능합니다. 이벤트를 이미지에 축적하면 이미지 처리 단계를 재사용할 수 있지만 데이터 분포가 변경되고 타이밍 창이 추가됩니다. 대표 데이터를 바탕으로 전체 애플리케이션을 평가합니다.

작동하는 노트북 데모를 통해 임베디드 호환성이 입증됩니까?

아니요. 실제 대상 플랫폼의 CPU 아키텍처, 운영 체제, 센서 인터페이스, 드라이버, SDK 라이센스 및 지속적인 리소스 사용을 확인하십시오.

통합 논의를 위해 무엇을 보내야 합니까?

카메라 또는 센서 참조, 샘플 녹화, 의도한 출력, 허용 가능한 지연, 호스트 플랫폼, 인터페이스 및 배포 환경을 보냅니다. 이러한 입력은 첫 번째 통합 위험을 식별할 수 있을 만큼 논의를 구체적으로 만듭니다.

컴퓨터 비전 파이프라인의 뉴로모픽 비전

이벤트 카메라는 출력이 완전한 이미지의 고정된 순서가 아닌 개별 픽셀에서 변경되기 때문에 뉴로모픽 비전에서 종종 논의됩니다. 해당 데이터 표현은 객체 감지나 신경망 결과를 자동으로 제공하지 않습니다. 소프트웨어에는 여전히 정의된 작업, 호환 가능한 알고리즘 및 측정 가능한 승인 기준이 필요합니다.

프레임 지향 컴퓨터 비전 도구와 통합할 때 이벤트 스트림은 시간 창 이미지 또는 다른 표현으로 변환될 수 있습니다. 작업이 정밀한 시간 정보에 의존하는 경우 원래 타임스탬프를 유지합니다. 전체 변환 및 처리 파이프라인을 평가합니다. 매력적으로 재구성된 이미지만으로는 최종 애플리케이션의 정확성이나 대기 시간을 설정할 수 없습니다.

센서 융합 전 타이밍 계획