A Metaheuristic-Optimized Framework for Robust Malicious URL Detection Using ML and DL with Real-Time Application

Abstract

The rapid expansion of the Internet has made it an integral part of modern life, facilitating communication and data exchange across numerous domains. However, this growth has also led to a surge in cyber threats, particularly those leveraging malicious URLs to deceive users and compromise sensitive data. Traditional detection methods often rely on manual feature extraction, which limits scalability and effectiveness in dynamic threat environments. This study proposes an enhanced approach to malicious URL detection by applying hyperparameter optimization (HPO) to machine learning and deep learning models, using metaheuristic algorithms such as Optuna and Randomized Search. Two benchmark datasets were used for evaluation: the Kaggle "Malicious URLs" dataset, based on raw URL strings, and the ISCX-URL-2016 dataset, which includes engineered features. The results show that optimized models significantly outperform baseline configurations. For instance, the BERT-Optuna model achieved an accuracy of 98.84% and an F1-score of 99.02%, while LightGBM with TF-IDF and Random Search reached 98.46% accuracy. On the ISCX dataset, the CatBoost-RF-Optuna model achieved 98.31% accuracy with a low False Acceptance Rate (FAR) of 0.0069 and an AUC-ROC of 99.93%. By integrating advanced feature representations and automated hyperparameter tuning, the proposed models not only enhance classification performance but also maintain computational efficiency. Additionally, a practical browser extension was developed to enable real-time malicious URL detection, bridging the gap between research and application. ***

L’expansion rapide d’Internet en a fait un élément essentiel de la vie moderne, facilitant la communication et l’échange de données dans de nombreux domaines. Cependant, cette croissance s’est accompagnée d’une augmentation des cybermenaces, notamment celles qui exploitent les URL malveillantes pour tromper les utilisateurs et compromettre des informations sensibles. Les méthodes de détection traditionnelles reposent souvent sur une extraction manuelle des caractéristiques, ce qui limite leur évolutivité et leur efficacité face à des environnements de menaces dynamiques. Cette étude propose une approche améliorée pour la détection des URL malveillantes en appliquant l’optimisation des hyperparamètres (HPO) à des modèles d’apprentissage automatique et profond, à l’aide d’algorithmes métaheuristiques tels que Optuna et Randomized Search. Deux jeux de données de référence ont été utilisés pour l’évaluation : le dataset Kaggle ń Malicious URLs ż, basé sur des chaînes d’URL brutes, et le dataset ISCX-URL-2016, contenant des caractéristiques extraites. Les résultats montrent que les modèles optimisés surpassent significativement les configurations de base. Par exemple, le modèle BERT-Optuna a atteint une précision de 98,84% et un score F1 de 99,02%, tandis que LightGBM avec TF-IDF et Random Search a atteint une précision de 98,46%. Sur le jeu de données ISCX, le modèle CatBoost-RF-Optuna a obtenu une précision de 98,31%, un taux de fausses acceptations (FAR) réduit à 0,0069 et un AUC-ROC de 99,93%. En combinant des représentations avancées des caractéristiques avec un réglage automatisé des hyperparamètres, les modèles proposés améliorent non seulement les performances de classification, mais conservent également une efficacité computationnelle. De plus, une extension de navigateur pratique a été développée pour permettre une détection en temps réel des URL malveillantes, comblant ainsi le fossé entre la recherche et l’application réelle.