Enhancing Software Security Using Transformer-Based Language Models

Abstract

The increasing reliance on software in various domains has heightened the importance of software security, necessitating innovative approaches to protect applications from malicious attacks and other cyber threats. This thesis, titled ”Enhancing Software Security Using Transformer-Based Language Models,” explores the potential of transformer models to improve software security. Our primary objectives include developing algorithms that leverage transformer models for effective vulnerability detection and analysis, automating threat detection and mitigation, and evaluating the practical application of these models in real-world scenarios. Motivated by the need to enhance the resilience of software systems against evolving cyber threats, we propose utilizing advanced machine learning techniques to understand, predict, and mitigate security vulnerabilities. Our methodology encompasses the creation of high-quality labeled datasets, and the implementation of state-of-the-art transformer-based model for detecting software vulnerability. Through this approach, we achieved fine-grained line-level detection and multi-class classification of vulnerabilities, contributing to the development of more effective and trustworthy security solutions. Our findings demonstrate that transformer-based models significantly enhance software vulnerability detection, providing insights and methodologies for integrating these models into existing security practices. By deploying our model in a real-world scenario, we showcased its practical utility, highlighting its potential to assist analysts in safeguarding software systems. This work advances the field of cybersecurity by offering a robust and scalable solution to the persistent challenges of software security. ***

L’importance croissante de la sécurité des logiciels, rendue nécessaire par la dépendance accrue à ces derniers dans divers domaines, appelle à des approches innovantes pour protéger les applications contre les attaques malveillantes et autres menaces cybernétiques. Cette thèse, intitulée ”Améliorer la sécurité des logiciels à l’aide des modèles de langage basés sur les transformateurs”, explore le potentiel des modèles de transformateurs pour améliorer la sécurité des logiciels. Nos objectifs principaux incluent le développement d’algorithmes exploitant les modèles de transformateurs pour une détection et une analyse efficaces des vulnérabilités, l’automatisation de la détection et de la mitigation des menaces, et l’évaluation de l’application pratique de ces modèles dans des scénarios réels. Motivés par la nécessité d’améliorer la résilience des systèmes logiciels face aux menaces cybernétiques évolutives, nous proposons d’utiliser des techniques avancées d’apprentissage automatique pour comprendre, prédire et atténuer les vulnérabilités de sécurité. Notre méthodologie englobe la création de jeux de données étiquetés de haute qualité, et la mise en oeuvre d’un modèle basé sur les transformateurs pour la détection des vulnérabilités logicielles. Grâce à cette approche, nous avons réalisé une détection fine et au niveau des lignes ainsi qu’une classification multiclasses des vulnérabilités, contribuant au développement de solutions de sécurité plus efficaces et fiables. Nos résultats démontrent que les modèles basés sur les transformateurs améliorent significativement la détection des vulnérabilités logicielles, fournissant des informations et des méthodologies pour intégrer ces modèles dans les pratiques de sécurité existantes. En déployant notre modèle dans un scénario réel, nous avons mis en avant son utilité pratique, soulignant son potentiel à aider les analystes à protéger les systèmes logiciels. Ce travail fait progresser le domaine de la cybersécurité en offrant une solution robuste et évolutive aux défis persistants de la sécurité des logiciels.