Détection de Ransomwares par une Approche Hybride d’Apprentissage Profond Basée sur l’Analyse Comportementale

Abstract

The increasing sophistication of ransomware renders traditional defenses obsolete, creating an urgent need for proactive, AI-driven detection systems. This thesis proposes a solution for early ransomware detection based on the behavioral analysis of Input/Output (I/O) traces. We introduce a hybrid architecture that employs a Deep Learning model (a CNNLSTM with an attention mechanism) as a sophisticated feature extractor for temporal sequences. These semantic features are then fused with raw statistical data to feed a final XGBoost classifier. To maximize performance, the hyperparameters of this classifier are optimized using a Particle Swarm Optimization (PSO) algorithm, guided by a custom fitness function that balances recall (via F2-score) and precision. Evaluated on two heterogeneous datasets (one highly imbalanced, one balanced), our final solution demonstrates remarkable performance and generalization capability. On the balanced dataset, the model achieves an F2-score of 90.50% and an Area Under the ROC Curve (AUC) of 94.60%, significantly outperforming monolithic approaches. This work demonstrates that an optimized hybrid architecture provides a robust and effective solution, achieving an excellent balance between minimizing missed threats and reducing false alarms***

La sophistication croissante des ransomwares rend les défenses traditionnelles obsolètes, créant un besoin urgent de systèmes de détection proactifs basés sur l’intelligence artificielle. Ce mémoire propose une solution de détection précoce en se basant sur l’analyse comportementale de traces d’entrées/sorties (I/O). Nous introduisons une architecture hybride qui utilise un modèle de Deep Learning (CNN-LSTM avec attention) comme extracteur de attributs temporelles. Ces attributs sémantiques sont ensuite fusionnées avec des statistiques brutes pour alimenter un classifieur final XGBoost. Pour maximiser la performance, les hyperparamètres de ce dernier sont optimisés par un algorithme d’Optimisation par Essaims Particulaires (PSO), guidé par une fonction de fitness personnalisée qui équilibre le rappel (via le F2-score) et la précision. Évaluée sur deux dataset hétérogènes (l’un déséquilibré, l’autre équilibré), notre solution finale démontre une performance et une capacité de généralisation remarquables. Sur le dataset équilibré, le modèle atteint un F2-score de 90,50% et une aire sous la courbe ROC (AUC) de 94,60%, surpassant significativement les approches monolithiques. Ce travail démontre que l’approche hybride optimisée constitue une solution robuste et efficace, offrant un excellent équilibre entre la minimisation des menaces manquées et la réduction des fausses alertes.