RK3588 NPU 가이드: 모델 배포, INT8 및 성능 테스트

RK3588 NPU 소프트웨어 스택이 어떻게 함께 맞는가

Rockchip의 RKNN 소프트웨어 스택은 모델 준비와 장치에서의 실행을 분리합니다. RKNN-Toolkit2는 변환 및 평가 도구를 제공합니다. RKNN-Toolkit-Lite2는 지원되는 대상 플랫폼에 파이썬 인터페이스를 제공하며, RKNN Runtime은 C/C++ 인터페이스를 제공한다. 커널 드라이버는 런타임을 NPU에 연결합니다. 이러한 구성 요소가 모듈에 제공된 보드 지원 패키지와 호환되는지 확인하십시오.

유용한 배포 기록은 보드 및 SoM 리비전, Linux 이미지, 드라이버, 런타임, 변환 도구 버전, 원래 모델 및 변환된 모델을 식별합니다. 모델 아티팩트 옆에 빌드 스크립트와 사전 처리 설정을 저장합니다. 다음과 같은 파일 이름 detector.rknn 혼자서 한 배포가 다른 배포와 다르게 동작하는 이유를 설명할 수 없습니다.

1단계: 변환 전에 참조를 설정

대표적인 검증 세트에서 원래 모델을 실행합니다. 원시 출력과 중요한 애플리케이션 메트릭을 저장합니다. 분류 정확도, 검출 품질 또는 기타 작업별 측정. 검출기의 경우 라벨 순서, 신뢰 임계값 및 후처리 설정을 보존합니다. 이것은 변환된 모델의 비교 지점이 됩니다.

입력 계약 전체를 기록하십시오. 치수, 배치 크기, RGB 또는 BGR 주문, 레이아웃, 숫자 범위, 정규화, 크기 조정 및 패딩을 포함합니다. 응용 프로그램이 훈련과는 다르게 이미지를 편지함으로 표시하거나 오프셋을 두 번 빼내면 올바른 모델은 형편없는 결과를 낼 수 있습니다. 네트워크 외부의 후처리를 신중하게 문서화하십시오.

Rockchip's를 사용하여 RKNN 모델 동물원 일치하는 모델과 대상을 포함할 때 시작점으로 사용됩니다. 변환 및 추론 예제는 내보낸 네트워크가 변경되지 않고 작동한다고 가정하는 것보다 더 유용합니다. 알려진 저장소 리비전을 선택하고 그 예제에 대한 지침을 따른다.

2단계: 모델 변환 및 운영자 지원 확인

1. 목표물을 맞추어 RK3588 대상과 의도한 보드 이미지와 호환되는 툴체인을 선택합니다.
2. 그래프를 검사합니다. 내보낸 모델의 실제 작업에 대한 모양, 사전 처리, 출력 및 지원을 확인합니다.
3. 참조 변환을 구축합니다. 해당 그래프 및 소프트웨어 버전에서 지원하는 정밀도 옵션을 사용합니다.
4. 전체 빌드 로그를 읽습니다. 카메라 수집 또는 사용자 인터페이스를 추가하기 전에 오류를 해결하고 경고를 조사합니다.
5. 출력을 비교하세요. 동일한 후처리를 통해 원래 모델과 변환된 모델에서 동일한 입력을 실행합니다.

지원되지 않는 작업은 다른 내보내기, 그래프 재작성 또는 명시적인 CPU 처리 단계가 필요할 수 있습니다. 런타임이 지원되지 않는 모든 레이어를 투명하게 실행한다고 가정하지 마십시오. 워크로드의 일부가 CPU로 이동하는 경우 성능 측정에 전송 및 동기화를 포함합니다.

3단계: 정확도 요구 사항에 따라 INT8을 평가

양자화는 수치 표현을 변경합니다. 선택된 변환 흐름이 보정 데이터를 사용하는 경우 배포를 대표하는 입력을 선택합니다. 조명, 개체 크기, 배경 및 작동 조건. 결과를 평가하기 위해 별도의 검증 세트를 유지합니다. 성공적으로 완료된 변환은 여전히 정확도 검사가 필요합니다.

두 텐서의 차이뿐만 아니라 애플리케이션 출력을 비교합니다. 예를 들어, 작은 수치 변화가 신뢰 임계값을 넘어 검출을 이동시킬 수 있습니다. 원래 모델이 이미 한계에 이르렀던 어려운 사례, 예시가 적은 클래스 및 조건을 검사합니다. 정확도가 수용 한계 이하로 떨어지면 하드웨어를 교체하기 전에 보정 범위 및 사전 처리를 다시 확인하십시오.

는 ONNX 런타임 퀀타이즈 문서 수치적 트레이드오프와 정확도 조사에 유용한 배경입니다. RKNN 변환 옵션과 지원되는 정밀도는 선택한 릴리스에 대한 Rockchip의 문서에서 확인해야 합니다.

4단계: 추론 시간 이상을 측정

워밍업 후에 배포된 워크로드를 측정하고 지속적인 실행 중에 다시 측정합니다. 온도, 전원 모드, 동시 프로세스 및 인클로저 또는 냉각 배치를 기록합니다. 유용한 결과는 제품이 작동할 조건에서 정확도와 지연을 포함한 재현 가능한 성능 엔벨로프입니다.

예를 들어, 40ms마다 새로운 프레임을 받는 애플리케이션은 모든 프레임을 처리할 경우 초당 25프레임을 유지해야 합니다. 12 ms 추론 측정은 적절하게 예약된 설계에서만 획득, 준비 및 전달에 대한 나머지 예산을 남깁니다. 12 ms의 카메라-결과 지연을 증명하지 않습니다. 이 숫자는 계획 예시이며, 측정된 ForgeEdge 성능이 아닙니다.

소프트웨어 처리 시간을 측정할 때 단조 시계를 사용합니다. 가장 좋은 측정값 하나만 제시하지 말고 지연 시간의 중앙값과 상위 구간을 보고하며 원시 측정값도 보존합니다. 여러 카메라를 사용할 때는 디코딩, 영상 변환, 메모리 이동, 기록을 포함한 모든 활성 스트림의 부하를 고려합니다. 시험 내내 대기열이 증가한다면 평균 처리 용량이 유입되는 작업량보다 부족하다는 뜻입니다.

일반적인 배포 증상

프로토타입을 반복 가능한 제품으로 변환

모델, 런타임 및 애플리케이션 구성을 제어된 릴리스로 패키징합니다. 시작 검사, 오류 보고, 복구 및 롤백 경로를 정의합니다. 카메라를 연결하기 전에 잘못된 배포를 식별할 수 있는 작은 참조 입력 테스트를 유지하십시오. 케이블링, 드라이버 및 노출 설정을 테스트하는 물리적 센서 테스트와 소프트웨어 검사를 분리합니다.

보드에 다른 커넥터, 전원 조절 또는 센서 인터페이스가 필요할 때는 SoM 대 SBC 결정 그리고 캐리어 보드 설계 프로세스너무 늦었어 이러한 결정은 성공적인 모델 시연이 어떻게 유지가능한 시스템이 되는지를 결정합니다.

RK3588 NPU 배포 질문

모든 ONNX 모델이 RK3588 NPU에서 실행될 수 있습니까?

호환성은 실제 그래프, 형상, 연산 및 선택한 툴체인에 따라 다릅니다. 배송할 모델의 변환 및 온디바이스 검증을 통해 지원을 확립합니다.

광고된 가속기 등급이 애플리케이션 FPS를 예측합니까?

네, 맞아요 네트워크, 정밀도, 메모리 동작, 사전 처리 및 런타임은 애플리케이션의 측정 처리량을 결정합니다. 플랫폼을 비교할 때 대상 워크로드와 전체 데이터 경로를 사용합니다.

신경망을 먼저 최적화해야 하나요?

프로필 먼저 획득, 이미지 변환 또는 대기열이 지배적이라면 모델 실행 시간을 줄이는 것은 애플리케이션에서 경험하는 결과 연령에 거의 영향을 미치지 않을 수 있습니다.

전체 컴퓨터 비전 작업 벤치마킹

개체 감지 애플리케이션의 경우 카메라 캡처, 크기 조정 및 정상화, NPU 추론, 출력 디코딩 및 결정 전달을 측정합니다. 모델 버전, 입력 해상도, 정밀도, 신뢰 임계값 및 평가 데이터셋을 타이밍 결과와 함께 보고합니다. 그렇지 않으면 겉보기에 비슷한 두 개의 엣지 AI 벤치마크가 서로 다른 작업을 설명할 수 있습니다.

모델 아키텍처에 커밋하기 전에 선택한 RKNN 툴체인을 통해 내보낸 그래프와 필요한 연산자를 테스트합니다. 양자화 후의 정확도와 지속적인 실행 중의 동작을 확인하며, 변환이 성공하는지 여부만 확인하지 않습니다. 개체 검색, 세그먼트화 및 분류는 다른 출력 처리 비용을 가지며, 프로젝트에 대해 선택한 실제 워크로드를 검증합니다.

FPGA, NPU 및 MPU 설계 역할 비교