什么是基于框架的视觉？
基于帧的视觉以固定时间间隔将场景捕获为完整图像，例如每秒 30、60 或 120 帧。每帧都包含密集的空间信息，这使得传统相机非常适合物体识别、颜色分析、检查、绘图以及围绕图像张量构建的大型软件生态系统。
权衡是，无论场景是否改变，每一帧都会通过管道移动完整的图像。对于快速决策循环，曝光时间、帧周期、传感器读出、传输、图像转换和推理都会导致端到端延迟。高帧速率会缩短采样间隔，但通常会增加带宽、内存流量、功耗和热负载。
什么是基于事件的视觉？
基于事件的视觉使用基于事件的图像传感器，其像素异步响应亮度变化。传感器不是以固定节奏传送矩形图像，而是生成包含像素坐标、极性和精确时间戳的流。因此，静态区域生成很少或不生成数据，而移动边缘可以生成具有非常精细的时间分辨率的事件。
当运动定时比重复接收完整图像更重要时，这种表示方式非常有用。它可以支持低延迟跟踪、高速机器人技术和困难的照明转换，但事件流不是普通的照片。算法、可视化、记录和验证工具必须围绕数据模型进行设计。
基于事件的图像传感器如何改变数据路径
有用的参考系统公开了从传感器采集到过滤和处理再到应用程序输出的完整路径。检测这些边界，以便可以端到端地评估延迟和数据速率声明。
关键的架构差异不仅仅是“更快的相机与更慢的相机”。传统的视觉管道通常从完整的图像缓冲区开始。基于事件的管道可以在单个事件或小事件窗口到达后立即开始处理它们。这允许过滤、时间戳对齐、感兴趣区域逻辑和运动功能在传感器附近运行，而无需等待完整的帧。
然而，在高度纹理化的场景中或在振动和闪烁的情况下，事件数据可能会变得密集。因此，系统设计应该测量最坏情况的事件发生率、接口利用率和内存带宽，而不是假设事件感测总是意味着低带宽。
基于事件的视觉与基于帧的视觉
| 尺寸 | 基于框架的视觉 | 基于事件的愿景 |
|---|---|---|
| 传感器输出 | 固定间隔的密集图像 | 异步亮度变化事件 |
| 时间信息 | 受曝光和帧节奏的限制 | 与单个事件相关的精细时间戳 |
| 静态场景数据 | 完整的帧不断到达 | 未变化地区的活动很少 |
| 空间/色彩背景 | 坚强；绝对的图像强度和成熟的色彩成像 | 间接；事件流描述变化而不是传统的图像 |
| 高速运动 | 需要足够的曝光和帧速率 | 非常适合快速的时间变化 |
| 软件生态系统 | 非常成熟的简历和深度学习工具 | 更专业的算法、表示和数据集 |
| 最适合 | 一般成像、识别、纹理和人类可读图像 | 快速动态、时间特征和低延迟运动感知 |
延迟：测量传感器到决策的过程，而不是单个组件
通常选择事件摄像机来实现低延迟感知，但传感器时间戳分辨率与应用程序延迟不同。一个有用的工程指标是从现实世界发生变化到决策出现在系统界面上的时间。该路径包括传感器响应、传输、缓冲、预处理、推理或跟踪、软件调度和输出通信。
同样的规则也适用于画幅相机。设计良好、具有直接内存路径的高帧率管道可能会胜过集成不良的事件管道。因此，建筑应该以代表性的运动、照明和算法为基准。
基于事件的视觉软件和 SDK 注意事项
基于事件的视觉软件堆栈通常需要设备配置、事件解码、时间戳处理、过滤、可视化、记录和重放。有用的基于事件的视觉 SDK 还应该能够轻松同步外部触发器和其他传感器、检查事件速率并在算法开发过程中重现捕获的序列。
对于生产系统，软件必须扩展到桌面 SDK 之外。团队应定义如何将事件移至 FPGA、MCU、MPU 或 NPU 资源中；如何存储校准；时间如何同步；以及如何重播现场日志。如果算法将事件转换为累积帧，则累积窗口将成为显式延迟与信息的权衡。
基于事件的视觉在哪里有用
典型的基于事件的视觉应用包括高速目标跟踪、机器人操纵、光流、振动或运动分析、快速工业检测以及亮度变化较大的场景中的自主感知。最强大的用例通常是那些精细时间结构直接改善决策而不是仅仅替换传统相机的用例。
基于事件的国防和自主平台愿景
在国防、安全和自主系统中，事件传感可与快速运动线索、跟踪实验、低延迟光学有效载荷和传感器融合研究相关。该系统仍然必须满足同步、确定性接口、环境设计、记录、网络安全和验证等平台要求。事件传感是任务链的一个组成部分，其本身并不是一个完整的感知解决方案。
当混合相机架构更好时
许多实用系统受益于组合模式。帧可以提供语义上下文和人类可读的图像，而事件则提供时间细节。热传感器、惯性传感器或测距传感器可以增加鲁棒性。当应用程序需要“这是什么？”时，融合特别有用。以及“它到底是何时、如何移动的？”
对于混合系统，共享时间至关重要。在算法最终确定之前，应考虑硬件触发器、时间戳域和校准。
实用的基于事件的视觉参考架构
参考系统可以将确定性过滤和时间戳工作放在 FPGA 中，将人工智能推理放在 NPU 或加速器上，将应用程序服务放在 MPU 上，并将监督放在 MCU 或实时核心上。正确的划分取决于事件率、模型架构、内存带宽和外部接口。我们的 FPGA vs NPU vs MPU 边缘 AI 指南 更详细地解释了这种划分。
选择清单
- 定义可接受的最大传感器到决策延迟。
- 测量预期的运动速度、照明范围和最坏情况的场景活动。
- 决定是否需要绝对图像强度、颜色或人类可读的视频。
- 估计典型和最坏情况场景的带宽和内存移动。
- 确认算法、数据集和基于事件的愿景 SDK 的成熟度。
- 计划与框架、热、惯性或外部触发源的同步。
- 在冻结计算、载体和热设计之前对整个管道进行基准测试。
围绕应用程序需要的观察进行选择
| 申请问题 | 首先评估的方法 | 要测试什么 |
|---|---|---|
| 打印的标签或颜色是否正确？ | 基于帧的成像 | 分辨率、照明、曝光和检查精度 |
| 快速移动的边缘何时穿过一个区域？ | 基于事件的传感 | 计时质量、场景活动、错误事件和完整输出延迟 |
| 存在什么物体，它的移动精度如何？ | 混合框架和事件管道 | 校准、共享时间、表示和融合效益 |
| 该系统能否在光线或振动变化的情况下工作？ | 两位候选人在相同的代表性条件下 | 应用程序准确性、事件发生率或帧质量以及资源使用 |
比较候选人时使用相同的任务和场景。清晰的可视化本身并不是检测结果，高事件计数也不是有用信息的证据。在记录比较之前同意输出指标。
建立延迟预算的实用方法
在每秒 60 帧的情况下，帧间隔约为 16.7 毫秒。在场景变化在瞬时样本之间均匀发生的简化模型下，到下一个样本的平均等待时间约为 8.3 毫秒。曝光、读出、传输和处理是附加效果。该算术描述了采样间隔；它不是测量的相机延迟。
事件管道还具有增加延迟的设计选择。如果应用程序在处理之前等待 5 毫秒事件窗口关闭，则该窗口开头附近的事件仅在该阶段就可能等待近 5 毫秒。精细的传感器时间戳不会消除缓冲选择。使用这些示例来确定值得测量的阶段，而不是声称任一传感器都有固定优势。
| 边界 | 框架管道 | 事件管道 |
|---|---|---|
| 观察 | 曝光和采样时间 | 亮度变化响应和时间戳生成 |
| 交通 | 读出、链接和主机缓冲区 | 事件编码、链接和解码器缓冲区 |
| 准备工作 | 图像转换、调整大小和张量准备 | 过滤、时间窗和表示构建 |
| 决定 | 算法和输出调度 | 算法和输出调度 |
通过观察时钟和结果时钟之间的有效关系来测量输出年龄。相机读取调用结束时的软件时间戳并不一定代表曝光时间。同样，精确的事件时间戳可以属于尚未与主机对齐的时钟。
设计一个其他工程师可以重现的比较
- 在选择设置之前定义任务、目标运动、照明范围和所需的输出。
- 记录光学器件、视野、传感器设置、软件版本和校准。
- 记录代表性条件，包括相关的闪烁或振动等困难场景。
- 一起评估任务准确性、输出延迟、数据速率和持续处理负载。
- 保留记录和配置文件，以便可以在相同输入上比较算法更改。
在实施阶段，我们的 事件相机软件和 SDK 指南 涵盖数据表示、记录和部署。使用 时间同步指南 组合方式时。
您应该评估哪种相机进行质量检查？
从您需要观察的缺陷开始。缺失的组件、印刷标签或表面标记可能非常适合具有受控光学和照明的传统帧成像。当重要信号是快速运动或变化的精确时间时，针对同一任务评估事件感知。
写下最小的相关特征、物体速度、视野、照明变化和可用决策时间。在评估中保持正常的生产变化：不同的批次、班次、表面光洁度和零件位置。比较漏检缺陷和错误剔除以及处理速度。
事件传感是测试的候选对象，而不是每个检查系统的要求。看看我们的 工业视觉和质量控制解决方案 用于相机到机器集成和 试点项目 规划。
基于事件的视觉常见问题解答
什么是基于事件的视觉？
基于事件的视觉是一种传感方法，其中像素异步报告局部亮度变化，而不是等待完整的图像帧。每个事件通常带有像素坐标、极性和时间戳，允许运动相关信息以精细的时间分辨率到达处理管道。
基于事件的视觉和基于框架的视觉有什么区别？
基于帧的视觉以固定的时间间隔捕获完整的图像，而基于事件的视觉则报告发生的变化。帧相机提供密集的空间和色彩背景；事件传感器可以减少冗余的静态场景数据并改善快速运动的计时。最佳架构取决于任务、照明、软件堆栈和所需的决策延迟。
基于事件的视觉需要什么软件或SDK？
基于事件的视觉软件必须处理异步事件流，而不仅仅是传统的图像张量。实用的 SDK 应支持传感器配置、事件过滤、时间戳处理、可视化、记录、回放、校准、同步以及转换为跟踪或神经网络管道所需的表示。
基于事件的视觉用在哪里？
典型的基于事件的视觉应用包括高速机器人、运动跟踪、自主系统、工业监控和传感，其中快速的场景变化或困难的照明使得计时变得非常重要。它还可以补充混合感知系统中的传统相机。
基于事件的视觉如何应用于防御平台？
对于国防和自主平台，事件传感器可以支持高动态范围或快速运动下的低延迟运动提示、跟踪和感知。可部署的系统仍然需要确定性时间戳、坚固耐用的接口、同步 传感器融合、经过验证的软件以及对最坏情况事件发生率的仔细测量。
基于事件的图像传感器的带宽总是较低吗？
不会。静态场景可能生成很少的数据，但振动、闪烁或高度纹理化的运动可以创建密集的事件流。因此，接口和存储器设计应使用测量的最坏情况事件率，而不是假设事件感测始终是低带宽。
机器视觉、热成像及检验问题
计算机视觉是从视觉数据中提取有用信息的广泛领域。在工业 机器视觉 中，系统还必须在生产线的照明、运动和计时限制下提供可重复的检测结果。通过测试应用程序实际需要观察的缺陷或运动特征，在基于帧的传感和基于事件的传感之间进行选择。
热成像增加了一个不同的测量维度：与表面温度相关的红外辐射。可见光相机可以揭示装配或表面缺陷，而热感相机则可以揭示温度模式。这些方式可以互补，但都不能保证每个故障的可见性。在将它们组合到检测系统之前定义对齐、测量条件和决策规则。
技术参考
时序示例是说明性计算。产品级延迟和检测声明需要对整个实施进行测量。
根据您的实际决策循环评估基于事件的愿景。
分享目标、运动轮廓、接口、环境和 试点项目 数量。我们可以将需求映射到传感器、FPGA 和本地计算架构中。