Tầm nhìn dựa trên sự kiện và dựa trên khung: So sánh thực tế

Tầm nhìn dựa trên khung là gì?

Tầm nhìn dựa trên khung ghi lại cảnh dưới dạng hình ảnh hoàn chỉnh theo các khoảng thời gian đều đặn, ví dụ: khung hình 30, 60 hoặc 120 mỗi giây. Mỗi khung hình chứa thông tin không gian dày đặc, giúp máy ảnh thông thường trở nên phù hợp một cách tự nhiên để nhận dạng đối tượng, phân tích màu sắc, kiểm tra, lập bản đồ và hệ sinh thái phần mềm lớn được xây dựng xung quanh các bộ căng hình ảnh.

Sự đánh đổi là mỗi khung hình sẽ di chuyển một hình ảnh hoàn chỉnh qua đường dẫn cho dù cảnh có thay đổi hay không. Đối với vòng lặp quyết định nhanh, thời gian phơi sáng, thời gian khung hình, khả năng đọc cảm biến, truyền tải, chuyển đổi hình ảnh và suy luận đều góp phần tạo ra độ trễ từ đầu đến cuối. Tốc độ khung hình cao làm giảm khoảng thời gian lấy mẫu nhưng thường làm tăng băng thông, lưu lượng bộ nhớ, điện năng và tải nhiệt.

Tầm nhìn dựa trên sự kiện là gì?

Tầm nhìn dựa trên sự kiện sử dụng cảm biến hình ảnh dựa trên sự kiện có pixel phản ứng không đồng bộ với những thay đổi về độ sáng. Thay vì cung cấp hình ảnh hình chữ nhật với nhịp độ cố định, cảm biến sẽ tạo ra một luồng chứa tọa độ pixel, độ phân cực và dấu thời gian chính xác. Do đó, các vùng tĩnh tạo ra ít hoặc không có dữ liệu trong khi các cạnh di chuyển có thể tạo ra các sự kiện với độ phân giải thời gian rất tốt.

Cách biểu diễn này hữu ích khi thời gian chuyển động quan trọng hơn việc liên tục nhận được một hình ảnh hoàn chỉnh. Nó có thể hỗ trợ theo dõi độ trễ thấp, robot tốc độ cao và chuyển đổi ánh sáng khó khăn, nhưng luồng sự kiện không phải là một bức ảnh bình thường. Các thuật toán, công cụ trực quan hóa, ghi lại và xác thực phải được thiết kế xung quanh mô hình dữ liệu.

Cách cảm biến hình ảnh dựa trên sự kiện thay đổi đường dẫn dữ liệu

Một hệ thống tham chiếu hữu ích hiển thị toàn bộ đường dẫn từ việc thu thập cảm biến đến quá trình lọc và xử lý đến đầu ra của ứng dụng. Thiết lập các ranh giới đó để có thể đánh giá các yêu cầu về độ trễ và tốc độ dữ liệu từ đầu đến cuối.

Sự khác biệt chính về kiến trúc không chỉ đơn giản là “máy ảnh nhanh hơn so với máy ảnh chậm hơn”. Quy trình tầm nhìn thông thường thường bắt đầu bằng bộ đệm hình ảnh đầy đủ. Quy trình dựa trên sự kiện có thể bắt đầu xử lý các sự kiện riêng lẻ hoặc khoảng thời gian sự kiện nhỏ ngay khi chúng đến. Điều đó cho phép các tính năng lọc, căn chỉnh dấu thời gian, logic vùng quan tâm và chuyển động chạy gần cảm biến mà không cần chờ khung hình hoàn chỉnh.

Tuy nhiên, dữ liệu sự kiện có thể trở nên dày đặc trong các cảnh có kết cấu cao hoặc bị rung và nhấp nháy. Do đó, thiết kế hệ thống nên đo lường tốc độ sự kiện trong trường hợp xấu nhất, mức sử dụng giao diện và băng thông bộ nhớ thay vì giả định rằng cảm biến sự kiện luôn có nghĩa là băng thông thấp.

Tầm nhìn dựa trên sự kiện so với tầm nhìn dựa trên khung

Độ trễ: đo cảm biến để đưa ra quyết định, không phải một thành phần

Camera sự kiện thường được chọn để nhận biết độ trễ thấp nhưng độ phân giải dấu thời gian của cảm biến không giống với độ trễ của ứng dụng. Một thước đo kỹ thuật hữu ích là thời gian từ khi thay đổi trong thế giới thực đến khi quyết định xuất hiện trên giao diện hệ thống. Đường dẫn đó bao gồm phản hồi của cảm biến, vận chuyển, lưu vào bộ đệm, tiền xử lý, suy luận hoặc theo dõi, lập lịch phần mềm và giao tiếp đầu ra.

Quy tắc tương tự áp dụng cho máy ảnh khung. Một đường dẫn tốc độ khung hình cao được thiết kế tốt với các đường dẫn bộ nhớ trực tiếp có thể hoạt động tốt hơn một đường dẫn sự kiện được tích hợp kém. Do đó, kiến ​​trúc nên được chuẩn hóa bằng chuyển động, ánh sáng và thuật toán đại diện.

Phần mềm thị giác dựa trên sự kiện và những cân nhắc về SDK

Ngăn xếp phần mềm thị giác dựa trên sự kiện thường cần cấu hình thiết bị, giải mã sự kiện, xử lý dấu thời gian, lọc, trực quan hóa, ghi và phát lại. Tầm nhìn dựa trên sự kiện hữu ích SDK cũng sẽ giúp dễ dàng đồng bộ hóa các bộ kích hoạt bên ngoài và các cảm biến khác, kiểm tra tỷ lệ sự kiện và tái tạo chuỗi đã ghi trong quá trình phát triển thuật toán.

Đối với các hệ thống sản xuất, phần mềm phải mở rộng ra ngoài SDK trên máy tính để bàn. Các nhóm nên xác định cách các sự kiện được chuyển vào tài nguyên FPGA, MCU, MPU hoặc NPU; cách thức hiệu chuẩn được lưu trữ; thời gian được đồng bộ như thế nào; và cách các nhật ký hiện trường có thể được phát lại. Nếu một thuật toán chuyển đổi các sự kiện thành các khung tích lũy thì cửa sổ tích lũy sẽ trở thành một sự đánh đổi rõ ràng giữa độ trễ và thông tin.

Trường hợp tầm nhìn dựa trên sự kiện hữu ích

Các ứng dụng thị giác dựa trên sự kiện điển hình bao gồm theo dõi mục tiêu tốc độ cao, thao tác bằng robot, luồng quang học, phân tích độ rung hoặc chuyển động, kiểm tra công nghiệp nhanh và nhận thức tự động trong các cảnh có độ sáng thay đổi lớn. Các trường hợp sử dụng mạnh mẽ nhất thường là những trường hợp trong đó cấu trúc thời gian tốt trực tiếp cải thiện quyết định thay vì chỉ thay thế máy ảnh thông thường.

Tầm nhìn dựa trên sự kiện cho các nền tảng quốc phòng và tự trị

Trong các hệ thống quốc phòng, an ninh và tự động, cảm biến sự kiện có thể phù hợp với tín hiệu chuyển động nhanh, thí nghiệm theo dõi, tải trọng quang học có độ trễ thấp và nghiên cứu phản ứng tổng hợp cảm biến. Hệ thống vẫn phải đáp ứng các yêu cầu về nền tảng như đồng bộ hóa, giao diện xác định, thiết kế môi trường, ghi âm, an ninh mạng và xác thực. Cảm biến sự kiện là một thành phần của chuỗi nhiệm vụ, bản thân nó không phải là một giải pháp nhận thức hoàn chỉnh.

Khi kiến trúc camera lai tốt hơn

Nhiều hệ thống thực tế được hưởng lợi từ việc kết hợp các phương thức. Các khung có thể cung cấp bối cảnh ngữ nghĩa và hình ảnh mà con người có thể đọc được trong khi các sự kiện đóng góp chi tiết về thời gian. Cảm biến nhiệt, quán tính hoặc dao động có thể tăng thêm độ bền. Fusion đặc biệt hữu ích khi ứng dụng cần cả “nó là gì?” và “chính xác nó di chuyển khi nào và như thế nào?”

Đối với các hệ thống hybrid, thời gian chia sẻ là điều cần thiết. Việc kích hoạt phần cứng, miền dấu thời gian và hiệu chỉnh phải được xem xét trước khi hoàn thiện thuật toán.

Kiến trúc tham chiếu tầm nhìn dựa trên sự kiện thực tế

Hệ thống tham chiếu có thể thực hiện công việc lọc xác định và dấu thời gian trong FPGA, suy luận AI trên NPU hoặc máy gia tốc, các dịch vụ ứng dụng trên MPU và giám sát trên MCU hoặc lõi thời gian thực. Phân vùng chính xác phụ thuộc vào tốc độ sự kiện, kiến ​​trúc mô hình, băng thông bộ nhớ và giao diện bên ngoài. của chúng tôi Hướng dẫn về FPGA so với NPU so với MPU Edge AI giải thích cách phân vùng này chi tiết hơn.

Danh sách kiểm tra lựa chọn

• Xác định độ trễ từ cảm biến đến quyết định tối đa có thể chấp nhận được.
• Đo tốc độ chuyển động dự kiến, phạm vi chiếu sáng và hoạt động của cảnh trong trường hợp xấu nhất.
• Quyết định xem có cần cường độ hình ảnh tuyệt đối, màu sắc hoặc video mà con người có thể đọc được hay không.
• Ước tính băng thông và chuyển động bộ nhớ cho cả cảnh điển hình và trường hợp xấu nhất.
• Xác nhận sự trưởng thành của thuật toán, tập dữ liệu và tầm nhìn dựa trên sự kiện SDK.
• Lập kế hoạch đồng bộ hóa với các nguồn kích hoạt khung, nhiệt, quán tính hoặc bên ngoài.
• Đánh giá đường ống hoàn chỉnh trước khi đóng băng thiết kế điện toán, bo mạch nền và nhiệt.

Thị giác máy, hình ảnh nhiệt và câu hỏi kiểm tra

Thị giác máy tính là lĩnh vực rộng lớn trong việc trích xuất thông tin hữu ích từ dữ liệu trực quan. Trong thị giác máy công nghiệp, hệ thống cũng phải cung cấp kết quả kiểm tra có thể lặp lại trong điều kiện hạn chế về ánh sáng, chuyển động và thời gian của dây chuyền. Chọn giữa cảm biến dựa trên khung và dựa trên sự kiện bằng cách kiểm tra lỗi hoặc tính năng chuyển động mà ứng dụng thực sự cần quan sát.

Hình ảnh nhiệt bổ sung thêm một chiều đo khác: bức xạ hồng ngoại liên quan đến nhiệt độ bề mặt. Một camera nhìn thấy được có thể tiết lộ các khuyết tật lắp ráp hoặc bề mặt trong khi camera nhiệt cho thấy các mẫu nhiệt độ. Những phương thức này có thể bổ sung cho nhau nhưng không đảm bảo khả năng hiển thị mọi lỗi. Xác định sự liên kết, điều kiện đo lường và quy tắc quyết định trước khi kết hợp chúng vào hệ thống kiểm tra.

Khám phá kiểm tra chất lượng hình ảnh và nhiệt