Як Edge AI працює на супутниках: від даних датчиків до низхідної лінії зв’язку

Чим AI на супутнику відрізняється?

Наземний штучний інтелект зазвичай запускається після передачі вимірювань до центру обробки даних. Вбудований ШІ виконує частину цієї інтерпретації всередині космічного корабля. Це може допомогти, коли корисне навантаження створює більше даних, ніж може перенести доступна низхідна лінія зв’язку, або коли корисно визначити пріоритет спостереження перед наступним контактом з землею.

Це не позбавляє від необхідності обробки землі. Навчання, незалежна оцінка, планування місії та більш глибокий аналіз зазвичай залишаються на місці. Вбудована модель є частиною більшої системи вимірювань і прийняття рішень.

Практичний бортовий конвеєр обробки

1. Зберіть дані та зафіксуйте час. Робіть зображення або вимірювання з часовими мітками, налаштуваннями інструментів і контекстом космічного корабля.
2. Попередня обробка послідовно. Застосуйте калібрування, зміну розміру, нормалізацію або мозаїку, очікувані моделлю. Відмінності від навчального конвеєра можуть змінити результат.
3. Виконайте висновок. Виконайте розгорнуту модель на відповідному ЦП, FPGA або прискорювачі. Вимірюйте весь ланцюжок обробки, а не лише ядро ​​нейронної мережі.
4. Застосуйте політику прийняття рішень. Перетворюйте оцінки моделі в пріоритет черги, запис події або область інтересу. Включіть межі довіри та визначений запасний варіант.
5. Зберігати і передавати. Зберігайте вибрані дані разом із метаданими та передайте їх протягом запланованого вікна зв’язку. Зберігайте достатньо даних аудиту для оцінки рішень на місцях.

Приклад: скринінг хмари перед низхідним зв’язком

Модель хмарного скринінгу може оцінювати фрагменти зображень, щоб чіткі спостереження отримували вищий пріоритет низхідного зв’язку. Інженерне рішення полягає не тільки в тому, чи містить плитка хмару: тонка хмара, сніг, яскраві дахи та незвичайне освітлення можуть створювати неоднозначні випадки. Місія повинна вибрати, як впоратися з невизначеністю та скільки невідфільтрованих даних зберігати для оцінки.

Φsat-2 CubeSat ESA є справжнім прикладом бортового ШІ для спостереження Землі. Описані програми включають виявлення хмар, стиснення зображень і перетворення зображень на карти. Це зовнішній приклад місії, а не посилання на політ Alvexis.

Джерело: ESA — Представляємо Φsat-2

Інші корисні шаблони застосування

• Надайте пріоритет зображенням, що містять екологічну подію, визначену місією, для наземного огляду.
• Визначте зміни між спостереженнями та додайте компактні метадані до відповідних сцен.
• Контролюйте телеметрію приладу на наявність незвичайної поведінки та запитуйте додаткові діагностичні дані.
• Стискайте або вибирайте дані під час вимірювання впливу на наступні наукові чи оперативні завдання.

Бюджети потужності, пам'яті та зв'язку стоять на першому місці

Виберіть модель, яка відповідає місії, а не починайте з найбільшої доступної моделі. Швидкість обробки слід враховувати разом із переміщенням пам’яті, буферами зображень, записами в пам’ять та енергією, що витрачається на одне спостереження. Висновок щодо планування лише під час відповідних робочих вікон може мати більше значення, ніж пікова пропускна здатність.

Корисна оцінка низхідної лінії зв’язку — це обсяг збережених даних, поділений на ефективну швидкість зв’язку, плюс накладні витрати на протокол і планування. Корисна обчислювальна оцінка вимірює енергію та затримку для повного конвеєра, використовуючи репрезентативні дані. Жодна оцінка не може бути замінена рекламованими піковими операціями прискорювача за секунду.

Як перевірити модель?

Використовуйте окремі набори даних для навчання та оцінки, включаючи складні сезони, умови освітлення та артефакти датчиків. Перевірте формат розгорнутої моделі та чисельну точність на призначеному процесорі. Вимірюйте помилкові тривоги, пропущені події, якість збережених даних, затримку та енергію в запропонованих режимах роботи.

Виходи ШІ повинні проходити через обмежену логіку програми. Для критично важливих для космічного корабля функцій оцінка моделі не повинна обходити незалежно розроблену перевірку команд і архітектуру захисту від несправностей. Зберігайте версії пакетів моделей, завідомо справні образи відновлення та контрольований процес оновлення.

Де Alvexis може зробити свій внесок

Alvexis може охоплювати спеціальну електроніку обробки корисного навантаження, інтерфейси датчиків, вбудоване програмне забезпечення та інтеграцію прототипу навколо шляху даних місії. Першим результатом має бути узгоджена архітектура та вимірний прототип плану. Кваліфікація польоту залишається специфічною для вибраного обладнання, орбіти та місії.