Advanced Spatial-Temporal Deep Learning for Collective Swarm Behavior Classification and Embodied Inference

Abstract

Collective motion in multi-agent systems encompassing drone swarms, robotic fleets, fish schools, and simulated boid populations represents one of the most compelling examples of emergent complexity in natural and engineered systems. These collective behaviours arise not from centralised coordination but from the accumulation of local, rule-governed interactions between individual agents, and their automatic classification from trajectory data constitutes a challenging Multivariate Time Series Classification (MTSC) problem. Classical approaches based on hand-crafted global order parameters velocity alignment, mean nearest-neighbour distance, polarisation, angular momentum combined with standard supervised classifiers (SVM, L-NN,DT,NB) suffer from three fundamental limitations: they discard the relational structure of agent interactions, they aggregate temporal dynamics into scalar summaries that lose sequence information, and they are not designed to generalise to swarms of varying size. This thesis presents a comprehensive investigation of deep learning and symbolic artificial intelligence approaches for collective behaviour classification and interpretable swarm dynamics modelling. Four neural network architectures are designed, implemented, and systematically compared: The second major contribution is the Embodied Inference Pipeline: a three-stage framework combining IR-Sim boid physics simulation, PySR evolutionary symbolic regression, and the frozen ST-GNN as classifier , which automatically discovers symbolic control laws of the form for all 19 positive collective behaviours in the dataset.***

Le mouvement collectif dans les systèmes multi-agents, notamment les essaims de drones, les flottes de robots, les bancs de poissons et les populations simulées de boids, constitue l'un des exemples les plus remarquables de complexité émergente dans les systèmes naturels et artificiels. Ces comportements collectifs ne résultent pas d'une coordination centralisée, mais de l'accumulation d'interactions locales régies par des règles entre les agents individuels. Leur classification automatique à partir de données de trajectoires représente un problème complexe de classification de séries temporelles multivariées (Multivariate Time Series Classification – MTSC). Cette thèse présente une étude approfondie des approches fondées sur l'apprentissage profond et l'intelligence artificielle symbolique pour la classification des comportements collectifs et la modélisation interprétable des dynamiques d'essaims. Quatre architectures de réseaux de neurones sont conçues, implémentées et comparées de manière systématique. La seconde contribution majeure est le pipeline d'Embodied Inference, un cadre en trois étapes combinant le simulateur physique de boids IR-Sim, la régression symbolique évolutive PySR et un classifieur ST-GNN préalablement entraîné et figé. Ce pipeline découvre automatiquement des lois de contrôle symboliques correspondant aux 19 comportements collectifs positifs présents dans le jeu de données.