Hallucination In Large Language Models

Abstract

Large Language Models (LLMs) have reached remarkable performance across an impressive breadth of natural-language tasks, yet they remain vulnerable to hallucinations Ů answers that are plausible at Ąrst sight but ultimately false or fabricated. This thesis offers an endto- end study of hallucination detection that relies on only one model response, sidestepping the heavy compute and storage demands of multi-response consistency checks or large-scale retrieval. We introduce lightweight detectors that operate in (i) white-box and (ii) blackbox regimes by analyzing internal activations, attention patterns, and token-level conĄdences from an auxiliary LLM. When ground-truth references exist, as in Retrieval-Augmented Generation (RAG), our framework integrates external evidence to boost reliability. Experiments on multiple open benchmarks show speed-ups of up to 45× (white-box) and 450× (black-box) over prevailing baselines, while achieving substantial gains in AUC and F1. These results demonstrate that real-time, high-precision hallucination detection is attainable without sacriĄcing computational efficiency.****

Les grands modèles de langage (LLMs) atteignent des performances remaraquables sur une vaste gamme de tâches, mais demeurent sujets aux hallucinations : des réponses apparemment plausibles qui se révèlent pourtant fausses ou inventées. Ce mémoire présente une étude de bout en bout de la détection dŠhallucinations reposant sur une seule réponse du modèle, évitant ainsi les coûts élevés en calcul et en mémoire des vériĄcations de cohérence multiréponses ou des méthodes de recherche à grande échelle. Nous proposons des détecteurs légers fonctionnant en (i) mode ń boîte blanche ż et (ii) mode ń boîte noire ż, en exploitant les activations internes, les cartes dŠattention et les probabilités token-par-token dŠun LLM auxiliaire. Lorsque des références véridiques sont disponibles Ů par exemple dans la génération augmentée par recherche (RAG) Ů notre cadre sŠy intègre naturellement pour accroître la Ąabilité. Sur plusieurs jeux de données ouverts, nos méthodes réduisent le temps dŠinférence jusquŠà 45× (boîte blanche) et 450× (boîte noire) par rapport aux baselines, tout en améliorant nettement lŠAUC et le F1. Ces résultats démontrent quŠune détection des hallucinations à la fois en temps réel et précise est possible sans compromis sur lŠefficacité computationnelle.