A Comparative Study of Agentic LLM Approaches for Reliable Constrained-Answer Tutoring: Gap Analysis and Framework Proposal

Abstract

This thesis studies the reliability of agentic large language model (LLM) tutors through a structured survey of four approaches — ReAct, Reflexion, Toolformer, and Chain-of- Verification — analysed under a unified comparison template covering methodology, advantages, and limitations. A seven-criteria comparative framework (grounding, structured output, determinism of grading, pedagogical adaptation, observability, cost, and per-learner sampling) is derived and applied to all five approaches, revealing three consistent gaps: none provides a deterministic grader separate from the LLM, none is designed for per-learner longitudinal tutoring, and none instruments interactions with replayable telemetry. To address these gaps, a framework is proposed for a single-agent, two-mode tutoring system grounded in three design principles: structured-output reliability via a deterministic post-hoc verifier (C1), pedagogical reliability via server-authoritative grading and mode-consistency enforcement (C2), and observability via fire-and-forget per-call telemetry (C3). The framework is positioned against the five surveyed approaches through a comparative table, demonstrating that the proposed combination of deterministic verification, per-learner longitudinal adaptation, and instrumented telemetry fills structural gaps that none of the existing approaches individually address for the constrained-answer adaptive-learning setting. ***

Cette thèse étudie la fiabilité des tuteurs agentiques basés sur les grands modèles de langage (LLM) à travers une étude structurée de quatre approches — ReAct, Reflexion, Toolformer et Chainof- Verification — analysées selon un modèle de comparaison unifié couvrant la méthodologie, les avantages et les limites. Un cadre comparatif à sept critères (ancrage, sortie structurée, déterminisme de la correction, adaptation pédagogique, observabilité, coût et échantillonnage par apprenant) est dérivé et appliqué aux quatre approches, révélant trois lacunes cohérentes : aucune ne fournit un correcteur déterministe distinct du LLM, aucune n’est conçue pour un tutorat longitudinal par apprenant, et aucune n’instrumente les interactions avec une télémétrie rejouable. Pour combler ces lacunes, un cadre est proposé pour un système de tutorat à agent unique bimodal, fondé sur trois principes de conception : la fiabilité des sorties structurées via un vérificateur déterministe post-hoc (C1), la fiabilité pédagogique via une correction serveur autoritaire et l’application de la cohérence modale (C2), et l’observabilité via une télémétrie par appel de type « fire-and-forget » (C3). Le cadre proposé est positionné par rapport aux quatre approches étudiées à travers un tableau comparatif, démontrant que la combinaison proposée de vérification déterministe, d’adaptation longitudinale par apprenant et de télémétrie instrumentée comble des lacunes structurelles qu’aucune des approches existantes ne traite individuellement pour le cadre d’apprentissage adaptatif à réponses contraintes.