Edge AI 如何在卫星上工作：从传感器数据到下行链路

卫星上的人工智能有何不同？

地面人工智能通常在测量结果传输到数据中心后开始。机载人工智能在航天器内部执行部分解释。当有效载荷产生的数据多于可用下行链路所能承载的数据时，或者当在下次地面接触之前优先考虑观察时，这会有所帮助。

它并没有消除地面处理的需要。培训、独立评估、任务规划和更深入的分析通常仍在实地进行。机载模型是更大的测量和决策流程的一部分。

实用的机载处理管道

1. 采集数据并计时。 捕获带有时间戳、仪器设置和航天器背景的图像或测量结果。
2. 一致地进行预处理。 应用模型预期的校准、调整大小、标准化或平铺。与训练流程的差异可能会改变结果。
3. 运行推理。 在合适的 CPU、FPGA 或加速器上执行部署的模型。测量完整的处理链，而不仅仅是神经网络内核。
4. 应用决策策略。 将模型分数转换为队列优先级、事件记录或感兴趣的区域。包括置信限度和定义的后备。
5. 存储和传输。 保留所选数据及其元数据，并在预定的通信窗口期间传输它。保留足够的审计数据来评估实地决策。

示例：下行前云屏蔽

云筛选模型可以对图像块进行评分，以便清晰的观察获得更高的下行链路优先级。工程决策不仅仅是一块瓦片是否包含云：薄云、雪、明亮的屋顶和不寻常的照明可能会产生模糊的情况。任务必须选择如何处理不确定性以及保留多少未经过滤的数据以供评估。

ESA 的 Φsat-2 CubeSat 提供了用于地球观测的机载人工智能的真实示例。其描述的应用包括云检测、图像压缩以及将图像转换为地图。这是外部任务示例，而不是 Alvexis 飞行参考。

资料来源：ESA — 介绍 Φsat-2

其他有用的应用程序模式

• 优先考虑包含任务定义的环境事件的图像以进行地面审查。
• 识别观察之间的变化并将紧凑的元数据附加到相关场景。
• 监视仪器遥测是否有异常行为并请求额外的诊断数据。
• 压缩或选择数据，同时测量对下游科学或操作任务的影响。

电源、内存和通信预算是第一位的

选择适合任务的型号，而不是从可用的最大型号开始。处理速度必须与内存移动、图像缓冲区、存储写入和每次观察使用的能量一起考虑。仅在合适的操作窗口期间安排推理可能比峰值吞吐量更重要。

有用的下行链路估计是保留的数据量除以有效通信速率，加上协议和调度开销。有用的计算估计使用代表性数据来测量整个管道的能量和延迟。这两种估计都不能被加速器宣传的每秒峰值操作所取代。

应该如何验证模型？

使用单独的训练和评估数据集，包括困难的季节、照明条件和传感器伪影。在目标处理器上测试部署的模型格式和数值精度。在建议的操作模式下测量误报、遗漏事件、保留数据质量、延迟和能量。

人工智能输出应该通过有界的应用程序逻辑。对于航天器关键功能，模型评分不应绕过独立设计的命令验证和故障保护架构。保留版本控制的模型包、已知良好的恢复映像和受控的更新过程。

Alvexis 可以贡献的地方

Alvexis 可以围绕任务数据路径定制有效负载处理电子设备、传感器接口、嵌入式软件 和原型集成。第一个交付成果应该是商定的架构和可衡量的原型计划。飞行资格仍然特定于所选的硬件、轨道和任务。