On-Board Learning-Based Scheduler with Vision-Based Look-Ahead for Agile Earth Observation

Abstract

Earth observation satellites in low Earth orbit typically execute imaging schedules computed on the ground six to twenty-four hours before overflight, making them unable to adapt to cloud cover encountered during the pass. This thesis provides a systematic, synthesisoriented analysis of vision-based onboard scheduling architectures that combine forwardlooking scout cameras with reinforcement learning policies. We model the satellite imaging task as a sequential decision-making problem and compare four formulations: Markov Decision Processes, Semi-Markov Decision Processes, Partially Observable MDPs, and the RNN-SMDP hybrid. Our analysis demonstrates that the Semi-Markov Decision Process is the most practical default for agile missions, as variable inter-target slew times are intrinsic to orbital mechanics and cannot be correctly modelled by fixed-time-step approaches. We evaluate twelve or more reinforcement learning approaches across five algorithm families, including DQN, PPO, SAC, GNN-based methods, and hybrid behavioural-cloning-initialised variants, showing that PPO initialised with expert demonstrations achieves 98.67 percent of the MILP upper bound with 40 to 60 percent fewer training steps. We further analyse the scout-primary two-sensor architecture, the accuracy-power tradeoff across validated onboard cloud detection systems, and the hardware deployment pipeline for flight-qualified edge processors. The analysis reveals three fundamental cross-cutting design tensions and identifies ten specific, testable open research questions with a prioritised roadmap for 2025 to 2030. Recommendations are grounded throughout in the operational context of Algeria’s ALSAT-2 satellites and ASAL’s national disaster monitoring priorities, including wildfire and flood observation.***

Les satellites d’observation de la Terre en orbite basse exécutent généralement des planifications calculées plusieurs heures avant le survol, ce qui les empêche de s’adapter à la couverture nuageuse rencontrée lors du passage. Ce mémoire propose une analyse systématique et synthétique des architectures de planification embarquées basées sur la vision, combinant des caméras d’exploration orientables et des politiques d’apprentissage par renforcement. Nous modélisons la tâche de planification d’imagerie satellitaire comme un problème de décision séquentielle et comparons quatre formulations: les processus de décision markoviens, les processus semi-markoviens, les processus partiellement observables, et l’hybride RNN-SMDP. Notre analyse démontre que le processus semi-markovien est le choix par défaut le plus pratique pour les missions agiles, car les temps de pivotement variables entre cibles sont inhérents à la mécanique orbitale. Nous évaluons plus de douze approches d’apprentissage par renforcement et montrons que PPO initialisé par clonage comportemental atteint 98,67 pour cent de la borne supérieure MILP avec 40 à 60 pour cent d’étapes d’entraînement en moins. Nous analysons également l’architecture à deux capteurs, le compromis précisionpuissance des systèmes de détection nuageuse embarqués, et le pipeline de déploiement matériel. Nos recommandations sont ancrées dans le contexte opérationnel des satellites ALSAT-2 d’Algérie.