센서 융합: 카메라, LiDAR, IMU 및 시간 동기화

융합은 알고리즘 이전에 시작됩니다

카메라, 열, 이벤트 및 관성 센서는 다양한 샘플링 모델을 통해 세계를 관찰합니다. 융합 알고리즘은 전자 장치가 각 관측이 언제 이루어졌는지, 센서가 서로 상대적으로 어떻게 위치해 있는지를 보존할 때에만 이들을 올바르게 결합할 수 있습니다.

공유 시간 모델 구축

하드웨어 트리거, 규율된 클럭 및 입력 타임스탬프는 각각 문제의 다른 부분을 해결합니다. 아키텍처는 클럭 소스, 동기화 오류, 타임스탬프 위치, 재시작 또는 링크 중단 후의 동작을 정의해야 한다. 시간 불확실성을 측정하는 것은 모든 인터페이스가 동기화되어 있다고 가정하는 것보다 더 유용하다.

보정을 관리 구성으로 취급

내부 보정은 개별 센서를 설명하며, 외부 보정은 센서를 서로 및 플랫폼과 관련시킵니다. 온도, 기계적 서비스 및 교체는 이러한 관계를 변경할 수 있습니다. 따라서 보정 기록에는 데이터와 함께 이동하는 식별자, 버전 및 유효성 검사가 필요합니다.

지연 시간 및 컨텍스트별로 워크로드 파티션

결정론적 사전 처리와 타임스탬프 정렬은 FPGA 또는 실시간 코어에 속할 수 있으며, 기능 추출과 추론은 NPU 또는 애플리케이션 프로세서에서 실행됩니다. 원시 증거, 건강 데이터 및 선택된 중간 결과를 보관하면 융합 결정이 불투명하지 않고 관찰 가능하게 됩니다.

카메라, LiDAR 및 IMU 측정의 기여

가시광선 카메라는 컴퓨터 비전을 위한 외관 정보를 제공한다. 라이더는 범위 관측을 통해 장면의 기하학을 측정합니다. 관성 측정 장치는 각속도 및 가속도와 같은 운동 관련 수량을 측정합니다. 이러한 소스들은 서로 다른 속도, 노이즈 특성 및 고장 모드를 가지고 있으며, 이들을 결합하는 것은 이러한 차이점에 대한 모델이 필요합니다.

작동 환경과 필요한 추정치에 따라 센서를 선택하십시오: 물체 위치, 기계 정렬 또는 로봇 움직임. 더 많은 센서를 사용하면 결정을 개선하지 않고도 통합 비용이 증가할 수 있습니다. 기존 감지 방법에 대한 측정 가능한 실패 사례로 시작한 다음 다른 방법으로 해결할 수 있는지 평가합니다.

예산 캡처 시간, 전송 지연 및 처리 지연

두 개의 메시지가 함께 도착하면 서로 다른 순간을 설명할 수 있다. 사용 가능한 경우 캡처 타임스탬프를 보존하고 장치 시계가 공통 시계와 관련된 방법을 문서화합니다. 전송 버퍼링, 노출 및 추론 지연은 타이밍 예산에 속합니다. 정적 장면은 동기화 오류를 숨길 수 있으므로 움직이는 물체와 회전하는 플랫폼을 테스트합니다.

외적 보정은 센서의 상대적 위치와 방향을 기술합니다. 센서 구성 및 소프트웨어 리비전과 함께 저장합니다. 이동된 카메라 또는 교체 브래킷은 이전에 유용했던 변환을 무효화할 수 있습니다. 설치 변경이 보정 검사를 트리거하는 방법을 정의합니다.

로봇 공학 및 지역화에서 센서 융합 사용

자율 이동 로봇의 경우, 인식과 위치 지정은 관련되어 있지만 서로 다른 출력을 가지고 있다. 장애물 추정치는 지역 계획에 제공될 수 있으며, 선택된 아키텍처에 따라 라이더, 카메라, 휠 오도미터 및 관성 데이터는 지역화 또는 SLAM을 지원할 수 있습니다. 각 인터페이스에서 좌표 프레임, 불확실성 및 최대 데이터 연대를 정의합니다.

ROS 2는 통합 도구를 제공하지만, 메시지 호환성만으로는 강력한 로봇을 구축할 수 없습니다. 의도된 설치에서 센서 드롭아웃, 지연된 패킷 및 손상된 조명을 검증합니다. 플랫폼 및 드라이버 호환성은 특정 프로젝트에 대해 확인되어야 합니다.

로봇 인식 및 제어 가이드 읽기

기술 참조: Nav2: 센서 소스 및 내비게이션 메시지