Large Language Models in DevOps Environments: Architectures, Evaluation, and Evidence from Recent Research

Abstract

DevOps practices rely on continuous integration, continuous delivery, infrastructure automation, and fast feedback loops. Large Language Models (LLMs) are increasingly applied to tasks such as log analysis, pipeline configuration, infrastructure-as-code generation, issue triage, and developer support. However, the field remains fragmented: systems differ in objectives, architectures, evaluation methods, and levels of human oversight. This thesis examines how recent research integrates LLMs and semantic language technologies into DevOps workflows. It reviews six representative studies covering semantic feedback processing, large-scale CI/CD practice analysis, deployability-centric IaC generation, model-driven pipeline generation, explainable ChatOps diagnostics, and evidencebased DevOps recommendation. For each study, the thesis summarizes the problem addressed, the proposed architecture or methodology, reported evaluation results, and limitations. The analysis shows that successful LLM-assisted DevOps systems combine structured outputs, grounding mechanisms, and evaluation aligned with operational goals. Retrieval and citation over curated evidence can reduce hallucination risk compared with unconstrained generation. Explainability, simulation, and expert review remain important when systems influence production pipelines or developer decisions. The thesis concludes with research gaps and directions for responsible adoption of LLMs in DevOps environments.***

Les pratiques DevOps s’appuient sur l’intégration continue, la livraison continue, l’automatisation de l’infrastructure et des boucles de retour rapides. Les grands modèles de langage (LLM) sont de plus en plus utilisés pour l’analyse de journaux, la configuration de pipelines, la génénération d’infrastructure-as-code, le tri des incidents et l’assistance aux développeurs. Toutefois, le domaine reste fragmenté : les systèmes diffèrent par leurs objectifs, leurs architectures, leurs méthodes d’évaluation et le degré de supervision humaine. Cette thèse analyse comment la recherche récente intègre les LLM et les technologies sémantiques dans les workflows DevOps. Elle examine six travaux représentatifs portant sur le traitement sémantique des retours utilisateurs, l’analyse à grande échelle des pratiques CI/CD, la génération IaC centrée sur la déployabilité, la génénération de pipelines guidée par modèles, le diagnostic ChatOps explicable et les recommandations DevOps fondées sur des preuves documentaires. L’analyse montre que les systèmes utiles combinent des sorties structurées, des mécanismes d’ancrage (preuves, simulation, graphes de connaissances) et des évaluations alignées sur les objectifs opérationnels. La récupération d’évidence réduit le risque d’hallucination par rapport à la génération libre. L’explicabilité et la revue experte restent essentielles lorsque les systèmes influencent les pipelines de production ou les décisions des développeurs.