Hallucination Mitigation in LLMs: A Comparative Study of RAG and Prompt Engineering Approaches for Rare Disease Diagnosis

Abstract

Artificial intelligence hallucinations in Large Language Models are an important limitation for medical applications, particularly in rare disease cases where accurate information is limited and mistakes might influence clinical decision-making. When these models are dependent only on general-purpose training data, they may generate fluent but unverified medical statements. This thesis focuses at a mitigation technique that combines prompt engineering with Retrieval-Augmented Generation to improve the factual accuracy of responses about rare diseases. The goal is to observe if structured prompting and retrieval from reliable medical resources, such as the Orphanet Rare Disease Ontology dataset, could reduce hallucinations while improving the relevance and traceability of generated responses. To that purpose, the study examines previous research on hallucination mitigation and compares the behavior of standard models to systems improved by retrieval-augmented generation and prompt engineering. The project aims to get a better understanding of the use and limits of these techniques in AI-assisted clinical processes for rare diseases***

Les hallucinations des grands modèles de langage constituent une limite importante pour les applications médicales, en particulier dans le domaine des maladies rares, où l’information fiable est peu disponible et où les erreurs peuvent influencer la prise de décision clinique. Lorsqu’ils s’appuient uniquement sur de larges corpus généraux d’entraînement, ces modèles peuvent produire des affirmations médicales fluides mais insuffisamment fondées. Cette thèse étudie une stratégie d’atténuation qui combine l’ingénierie des prompts et la génération augmentée par la recherche afin d’améliorer la fiabilité factuelle des réponses liées aux maladies rares. L’objectif est d’évaluer si des consignes structurées et l’accès à des ressources médicales validées, en particulier l’ontologie Orphanet Rare Disease Ontology, permettent de réduire les hallucinations tout en améliorant la pertinence et la traçabilité des réponses générées. Dans cette perspective, ce travail examine la littérature existante sur la réduction des hallucinations et compare le comportement de modèles standards à celui de systèmes enrichis par la génération augmentée par la recherche et l’ingénierie des prompts. L’étude vise ainsi à mieux cerner l’intérêt et les limites de ces approches dans des workflows cliniques assistés par l’IA pour les maladies rares.