Enhancing Software Security Using Transformer-Based Language Models

Abstract

As software becomes increasingly integral to various industries, the need for robust software security has become paramount. Ensuring the protection of software from attacks and cyber threats throughout its lifecycle—from development to deployment and maintenance— requires innovative approaches. This thesis explores the application of Transformer- Based Language Models to enhance software security. We begin by reviewing the current state of software security and machine learning, then delves into various approaches, evaluating the efficacy of these models in identifying and analyzing vulnerabilities, and comparing their performance to RNN-based models. The results demonstrate that Transformer-Based Language Models hold significant promise in vulnerability detection, offering a powerful tool to advance the field of software security. Through rigorous evaluation and comparison, we establish these models as superior in their capability to identify and address software vulnerabilities, paving the way for more secure software development practices. ***

À mesure que les logiciels deviennent de plus en plus essentiels dans divers secteurs, le besoin d’une sécurité logicielle robuste est devenu primordial. Assurer la protection des logiciels contre les attaques et les menaces cybernétiques tout au long de leur cycle de vie - du développement au déploiement et à la maintenance - nécessite des approches innovantes. Cette thèse explore l’application des modèles de langage basés sur les Transformers pour améliorer la sécurité des logiciels. Nous commençons par examiner l’état actuel de la sécurité des logiciels et de l’apprentissage automatique, puis nous nous penchons sur diverses approches, évaluant l’efficacité de ces modèles dans l’identification et l’analyse des vulnérabilités, et comparant leurs performances à celles des modèles basés sur les RNN. Les résultats démontrent que les modèles de langage basés sur les Transformers sont très prometteurs pour la détection des vulnérabilités, offrant un outil puissant pour faire progresser le domaine de la sécurité des logiciels. Grâce à une évaluation et une comparaison rigoureuses, nous établissons la supériorité de ces modèles dans leur capacité à identifier et à traiter les vulnérabilités logicielles, ouvrant la voie à des pratiques de développement de logiciels plus sécurisées.