A Survey on Log-Based Anomaly Detection in Distributed Systems: Methods, Benchmarks, and Explainability

Abstract

Modern distributed systems generate massive volumes of execution logs that serve as the primary observability interface for detecting operational anomalies. As the scale and heterogeneity of these systems grow, manual inspection becomes infeasible, making automated, data-driven approaches essential for system reliability. This thesis presents a systematic literature survey and comparative synthesis of log-based anomaly detection in distributed systems. Unlike implementation-oriented studies that propose and evaluate novel detection architectures, this work focuses on analyzing, categorizing, and cross-comparing existing representative methodologies across three paradigms— supervised machine learning classifiers, deep learning sequential models, and unsupervised reconstruction-based methods. Using the standard benchmark datasets HDFS, BGL, and Spirit as a unified comparative foundation, we systematically compile and contrast reported performance metrics, experimental protocols, and architectural design choices from the literature. Our synthesis identifies critical structural gaps: the absence of unified cross-dataset evaluation frameworks, the insufficient treatment of class imbalance in experimental reporting, and the near-total lack of explainability mechanisms that would allow system operators to interpret and trust anomaly alerts. We formulate four research questions that guide the comparative goals of this survey and outline structured directions for future research aimed at building systems that are simultaneously accurate, generalizable, imbalance-robust, and interpretable. The findings of this work provide a structured, evidence-based foundation for advancing the field and are directly applicable to improving the reliability of large-scale infrastructures, cloud environments, and supercomputing clusters. ***

Les systèmes distribués modernes génèrent des volumes massifs de journaux d’exécution (logs) qui constituent l’interface d’observabilité principale pour la détection des anomalies opérationnelles. Face à l’échelle et à l’hétérogénéité croissantes de ces systèmes, l’inspection manuelle devient impraticable, rendant les approches automatisées basées sur les données essentielles pour la fiabilité des systèmes. Cette mémoire présente une étude systématique des méthodes de détection d’anomalies basées sur les logs pour les systèmes distribués. Nous passons en revue et comparons des travaux représentatifs à travers trois paradigmes : les classificateurs supervisés, les modèles séquentiels d’apprentissage profond, et les méthodes non supervisées basées sur la reconstruction. Ces approches sont évaluées sur des ensembles de données de référence tels que HDFS, BGL et Spirit. Notre analyse identifie des lacunes critiques dans la littérature existante, notamment l’absence de cadres d’évaluation croisée unifiés, le traitement insuffisant du déséquilibre de classes, et le manque quasi total de mécanismes d’explicabilité permettant aux opérateurs d’interpréter et de faire confiance aux alertes. Les résultats de ce travail fournissent une base structurée pour les recherches futures et s’appliquent à l’amélioration de la fiabilité des infrastructures à grande échelle, des environnements cloud et des supercalculateurs.