Comment fonctionne l’IA embarquée sur les satellites : des capteurs à la transmission au sol

Qu’est-ce qui rend l’IA sur un satellite différente?

L’IA au sol commence généralement après que les mesures ont été transmises à un centre de données. L’IA embarquée effectue une partie de cette interprétation à l’intérieur du vaisseau spatial. Cela peut être utile lorsque la charge utile produit plus de données que la liaison descendante disponible ne peut transporter, ou lorsqu'il est utile de prioriser une observation avant le prochain contact au sol.

Cela n'élimine pas le besoin de traitement au sol. La formation, l’évaluation indépendante, la planification des missions et les analyses approfondies restent normalement sur le terrain. Le modèle embarqué fait partie d’un pipeline de mesures et de décisions plus vaste.

Un pipeline de traitement pratique à bord

1. Acquérir et chronométrer les données. Capturez des images ou des mesures avec horodatages, paramètres d'instrument et contexte de l'engin spatial.
2. Prétraitez de façon cohérente. Appliquer l'étalonnage, le redimensionnement, la normalisation ou le mosaïquement attendu par le modèle. Les différences par rapport au pipeline de formation peuvent modifier le résultat.
3. Exécutez l'inférence. Exécutez le modèle déployé sur un processeur CPU, un FPGA ou un accélérateur adapté. Mesurez toute la chaîne de traitement, et pas uniquement le noyau du réseau de neurones.
4. Appliquer une politique de décision. Convertissez les scores de modèle en priorité de file d'attente, enregistrement d'événement ou région d'intérêt. Inclure des limites de confiance et une solution de secours définie.
5. Stocker et transmettre. Conserver les données sélectionnées avec leurs métadonnées et les transmettre pendant la fenêtre de communication programmée. Préserver suffisamment de données d’audit pour évaluer les décisions sur le terrain.

Exemple: filtrage du cloud avant la liaison descendante

Un modèle de criblage de nuages peut noter les tuiles d'images de sorte que les observations claires reçoivent une priorité de liaison descendante plus élevée. La décision d'ingénierie ne consiste pas simplement à savoir si une tuile contient un nuage: un nuage mince, de la neige, des toits lumineux et un éclairage inhabituel peuvent créer des cas ambigus. La mission doit choisir comment gérer l'incertitude et la quantité de données non filtrées à conserver pour l'évaluation.

Le CubeSat Φsat-2 de l’ESA est un exemple concret d’IA embarquée pour l’observation de la Terre. Ses applications décrites comprennent la détection de nuages, la compression d'images et la conversion d'images en cartes. Ceci est un exemple de mission externe, pas une référence de vol Alvexis.

Source: ESA — Présentation de Φsat-2

Autres modèles d'application utiles

• Prioriser les images contenant un événement environnemental défini par la mission pour l'examen au sol.
• Identifier les changements entre les observations et joindre des métadonnées compactes aux scènes pertinentes.
• Surveillez la télémétrie de l'instrument pour détecter tout comportement inhabituel et demandez des données de diagnostic supplémentaires.
• Compressez ou sélectionnez des données tout en mesurant l'effet sur la tâche scientifique ou opérationnelle en aval.

Les budgets de puissance, de mémoire et de communication viennent en premier

Choisissez un modèle qui convient à la mission plutôt que de commencer avec le plus grand modèle disponible. La vitesse de traitement doit être considérée en même temps que le mouvement de la mémoire, les tampons d'image, les écritures de stockage et l'énergie utilisée par observation. La planification de l'inférence uniquement pendant les fenêtres d'exploitation appropriées peut être plus importante que le débit de pointe.

Une estimation utile de la liaison descendante est le volume de données conservées divisé par le débit de communication effectif, plus la surcharge de protocole et d'ordonnancement. Une estimation de calcul utile mesure l'énergie et la latence pour l'ensemble du pipeline à l'aide de données représentatives. Aucune de ces estimations ne peut être remplacée par les opérations de pointe par seconde annoncées par un accélérateur.

Comment le modèle devrait-il être validé?

Utilisez des ensembles de données d'entraînement et d'évaluation distincts, y compris les saisons difficiles, les conditions d'éclairage et les artefacts de capteur. Testez le format du modèle déployé et la précision numérique sur le processeur prévu. Mesurez les fausses alarmes, les événements manqués, la qualité des données conservées, la latence et l'énergie dans les modes de fonctionnement proposés.

Les sorties d'IA devraient passer par une logique d'application limitée. Pour les fonctions critiques pour les engins spatiaux, un score de modèle ne devrait pas contourner l'architecture de validation des commandes et de protection contre les défaillances conçue indépendamment. Conserver des paquets modèles versionnés, des images de récupération reconnues et un processus de mise à jour contrôlé.

Où Alvexis peut contribuer

Alvexis peut fournir des composants électroniques de traitement de la charge utile, des interfaces de capteurs, des logiciels embarqués et des prototypes intégrés autour du chemin de données de la mission. Le premier produit livrable devrait être une architecture convenue et un plan prototype mesurable. La qualification en vol reste spécifique au matériel, à l'orbite et à la mission sélectionnés.