Explainable AI for Log Anomaly Detection in Distributed Systems

Abstract

Modern distributed systems generate massive volumes of execution logs that serve as the primary observability interface for detecting operational anomalies. As the scale and heterogeneity of these systems grow, manual inspection becomes infeasible, making automated, data-driven approaches essential for system reliability. This thesis presents the design, implementation, and evaluation of an end-to-end explainable log anomaly detection framework for distributed systems. We engineer eleven model architectures across four paradigms—classical supervised classifiers, deep sequential models, reconstruction-based autoencoders, and Transformer language models—and evaluate them simultaneously on the HDFS, BGL, and Spirit benchmarks under a unified zero-leakage experimental protocol. The framework integrates a preprocessing pipeline with dataset-specific detection units, F1-sensitive threshold optimization, and SHAP and LIME explainability modules. A FastAPI REST backend and an interactive Streamlit diagnostic dashboard demonstrate operational viability.***

Les systèmes distribués modernes génèrent des volumes massifs de journaux d’exécution (logs) qui constituent l’interface d’observabilité principale pour la détection des anomalies opérationnelles. Face à l’échelle et à l’hétérogénéité croissantes de ces systèmes, l’inspection manuelle devient impraticable, rendant les approches automatisées basées sur les données essentielles pour la fiabilité des systèmes. Cette thèse présente la conception, la mise en oeuvre et l’évaluation d’un framework complet de détection d’anomalies expliquable dans les logs des systèmes distribués. Nous concevons et implémentons onze architectures de modèles réparties sur quatre paradigmes : les classificateurs supervisés classiques, les modèles séquentiels profonds, les auto-encodeurs de reconstruction, et les modèles de langage Transformer. Ces modèles sont évalués simultanément sur les benchmarks HDFS, BGL et Spirit selon un protocole expérimental unifié à fuite nulle. Le framework intègre un pipeline de prétraitement avec des unités de détection spécifiques à chaque dataset, une optimisation de seuil sensible au F1, et des modules d’explicabilité SHAP et LIME. La viabilité opérationnelle est démontrée par une interface backend FastAPI REST et un tableau de bord de diagnostic Streamlit.