Retrieval-Augmented Generation for Multilingual Question Answering: Architectures, Challenges, and Future Directions

Abstract

Large Language Models (LLMs) have achieved remarkable performance across a wide spectrum of natural language processing tasks. However, their tendency to generate factually incorrect information — commonly referred to as hallucination — and their inability to access knowledge beyond their training data represent fundamental limitations for knowledge-intensive applications. Retrieval-Augmented Generation (RAG) addresses these limitations by coupling a parametric generative model with a non-parametric retrieval mechanism over an external knowledge base. This thesis presents a comprehensive survey of RAG systems with a particular focus on multilingual and cross-lingual question-answering scenarios, paying special attention to the challenges posed by morphologically rich and low-resource languages such as Arabic. We systematically review the theoretical foundations of text representation and transformer-based language models, analyse the core components of RAG pipelines — including chunking strategies, dense and sparse retrieval, neural reranking, and vector database indexing — and examine advanced architectures such as Modular RAG, Self- RAG, and Corrective RAG. We further investigate the landscape of multilingual embedding models, Arabic NLP resources and models, language detection mechanisms, and evaluation frameworks for both retrieval and generation quality. The survey concludes with a synthesis of open research challenges and promising future directions, including multimodal RAG, agentic retrieval, and the ethical dimensions of deploying multilingual AI systems in underresourced linguistic communities***

Les grands modèles de langue (LLM) ont atteint des performances remarquables dans un large spectre de tâches de traitement automatique des langues. Cependant, leur tendance à générer des informations factuellement incorrectes — communément appelée hallucination — ainsi que leur incapacité à accéder à des connaissances au-delà de leurs données d’entraînement constituent des limitations fondamentales pour les applications à forte intensité de connaissances. La génération augmentée par récupération (RAG) répond à ces limitations en couplant un modèle génératif paramétrique à un mécanisme de récupération non paramétrique sur une base de connaissances externe. Ce mémoire présente une revue complète des systèmes RAG avec un focus particulier sur les scénarios de questions-réponses multilingues et inter-langues, en accordant une attention spéciale aux défis posés par les langues morphologiquement riches et à faibles ressources telles que l’arabe. Nous passons en revue les fondements théoriques, les composants essentiels des pipelines RAG et les architectures avancées, avant de conclure par une synthèse des défis ouverts et des perspectives de recherche prometteuses.