Как работает Edge AI на спутниках: от данных датчиков до передачи на Землю

Чем отличается ИИ на спутнике?

Наземный ИИ обычно начинается после того, как измерения были переданы в центр обработки данных. На борту ИИ выполняет часть этой интерпретации внутри космического аппарата. Это может оказаться полезным в тех случаях, когда полезная нагрузка генерирует больше данных, чем может перенести имеющаяся линия связи, или когда полезно определить приоритетность наблюдения до следующего контакта с Землей.

Это не устраняет необходимости в обработке наземных участков. Обучение, независимая оценка, планирование миссий и более глубокий анализ обычно остаются на местах. Бортовая модель является одним из элементов более широкого процесса измерений и принятия решений.

Практическая бортовая система обработки

1. Прием и временное определение данных. Запись изображений или измерений с указанием времени, настройки прибора и контекста космического аппарата.
2. Последовательно проводить предварительную обработку. Применить калибровку, изменение размера, нормализацию или мозаику, ожидаемую моделью. Отклонения от учебного процесса могут изменить результат.
3. Выполните модель ИИ. Выполняйте модель на подходящем CPU, FPGA или ускорителе. Измеряйте производительность всей цепочки обработки, а не только вычислительного ядра нейронной сети.
4. Применение политики принятия решений. Преобразование оценок модели в приоритет очереди, запись события или интересующий регион. Включите доверительные пределы и определенный резерв.
5. Хранение и передача. Сохранить выбранные данные с их метаданными и передать их в течение запланированного окна связи. Сохранять достаточное количество данных ревизии для оценки решений на местах.

Пример: выявление облачности перед передачей снимков на Землю

Модель облачного скрининга может оценивать изображения таким образом, чтобы ясные наблюдения получали более высокий приоритет в низовом канале. Инженерное решение не просто содержит ли плитка облако: тонкое облако, снег, яркие крыши и необычная подсветка могут создать неоднозначные случаи. Миссия должна решить, каким образом учитывать факторы неопределенности и какой объем нефильтрованных данных следует сохранить для оценки.

Спутник ЕКА Φsat-2 CubeSat является реальным примером использования искусственного интеллекта на борту спутника для наблюдения Земли. Описанные виды применения включают обнаружение облаков, сжатие изображений и преобразование изображений в карты. Это пример внешней миссии, а не полёта на борту Alvexis.

Источник: ESA — знакомство с Φsat-2

Другие полезные схемы применения

• Приоритизация изображений, содержащих определенные в рамках миссии экологические явления, для наземного обзора.
• Выявление изменений между наблюдениями и прикрепление компактных метаданных к соответствующим сценам.
• Контроль телеметрии прибора на предмет необычного поведения и запрос дополнительных диагностических данных.
• Сжатие или отбор данных при измерении воздействия на последующую научную или оперативную задачу.

Бюджеты на энергию, память и связь стоят на первом месте

Выберите модель, которая подходит для миссии, а не начинать с самой большой модели доступны. Скорость обработки должна рассматриваться вместе с движением памяти, буферами изображений, записями в память и энергией, используемой на одно наблюдение. Планирование вывода только в подходящие рабочие окна может иметь большее значение, чем пиковая пропускная способность.

Полезной оценкой для линии передачи является объем сохраняемых данных, разделенный на эффективную скорость передачи данных, плюс накладные расходы на протокол и планирование. Полезная оценка вычислений измеряет энергию и задержку для всего конвейера с использованием репрезентативных данных. Ни одна из этих оценок не может быть заменена объявленными пиковыми операциями ускорителя в секунду.

Каким образом должна проводиться проверка модели?

Используйте отдельные наборы данных для обучения и оценки, включая сложные сезоны, условия освещения и датчики. Проверка развернутого формата модели и числовой точности на предполагаемом процессоре. Измерение количества ложных тревог, пропущенных событий, качества сохраненных данных, задержки и энергии в предлагаемых режимах работы.

Выходные данные ИИ должны проходить через ограниченную логику приложения. Для важнейших функций космического аппарата результаты моделирования не должны обходить независимо разработанную архитектуру проверки команд и защиты от сбоев. Сохраняйте версионированные пакеты моделей, хорошо известные образы восстановления и контролируемый процесс обновления.

Где Alvexis может помочь

Alvexis может обеспечить индивидуальную обработку электронных данных полезной нагрузки, интерфейсы датчиков, встроенное программное обеспечение и интеграцию прототипов в рамках маршрута передачи данных полета. Первым результатом должно стать согласование архитектуры и поддающийся количественной оценке прототип плана. Полетная квалификация по-прежнему зависит от выбранного оборудования, орбиты и программы полета.