Generation of Texts Simulating Psychological Distress Using Generative Language Models

Abstract

Mental health prevention and support professionals must routinely recognise and respond to discourse expressing psychological distress, yet training resources built on authentic crisis narratives raise serious privacy concerns and are difficult to produce at scale. This thesis examines whether open-source, offline-deployable language models constitute a viable foundation for generating synthetic texts that realistically simulate psychological distress at controlled severity levels, offering a privacy-preserving alternative for professional training, detection-system evaluation, and awareness-raising. To this end, the theoretical and methodological foundations underlying such a system are established. This covers the Transformer architecture and the pre-training paradigm of large language models, the main families of parameter-efficient fine-tuning techniques (notably LoRA), and the principal approaches to controlled text generation, including control-code conditioning, post-hoc steering, discriminator-guided generation, and prefix-tuning. The intersection of natural language processing with mental health research is then reviewed, covering text classification for depression and suicide-risk assessment, domain-specific text embeddings, psychometric instruments such as the PHQ-9 and BDI-II, and the ethical considerations inherent to this line of research. A structured literature review is conducted across eight thematic axes: fundamental methods for controlled text generation, existing systems for simulating psychological distress with LLMs, specialized language models for mental health, adaptation strategies for local deployment, offline deployment and confidentiality constraints, reference datasets and benchmarks, evaluation methodologies, and ethical considerations. This review situates the target problem, severity-controlled distress text generation using exclusively open-source, offlinedeployable tools, against the current state of the art, and identifies the gaps that motivate a concrete implementation of such a system. Taken together, this work establishes the conceptual groundwork and a critical synthesis of prior art needed to inform the design of a severity-conditioned distress text generation pipeline, while surfacing the methodological choices, open questions, and ethical safeguards that any such implementation must address.***

Les professionnels de la prévention et de l’accompagnement en santé mentale doivent régulièrement reconnaître et répondre à des discours de détresse psychologique, mais les formations basées sur des récits de crise authentiques posent de sérieux problèmes de confidentialité et sont difficiles à produire à grande échelle. Ce mémoire examine si des modèles de langage open-source, déployables hors ligne, constituent un socle viable pour générer des textes synthétiques simulant de manière réaliste la détresse psychologique à des niveaux de sévérité contrôlés, offrant une alternative respectueuse de la confidentialité pour la formation, l’évaluation de systèmes de détection et la sensibilisation. À cette fin, les fondements théoriques et méthodologiques sous-tendant un tel système sont établis. Cela couvre l’architecture Transformer et le paradigme de pré-entraînement des grands modèles de langage, les principales familles de techniques d’affinage paramétriquement efficace (notamment LoRA), ainsi que les principales approches de génération de texte contrôlée, incluant le conditionnement par codes de contrôle, le pilotage post-hoc, la génération guidée par discriminateur, et l’affinage de préfixes. L’intersection du traitement automatique du langage naturel et de la recherche en santé mentale est ensuite passée en revue, couvrant la classification de texte pour la détection de la dépression et l’évaluation du risque suicidaire, les représentations vectorielles de texte spécifiques au domaine, les instruments psychométriques tels que le PHQ-9 et le BDI-II, ainsi que les considérations éthiques inhérentes à ce champ de recherche. Une revue de littérature structurée est menée selon huit axes thématiques : les méthodes fondamentales de génération de texte contrôlée, les systèmes existants de simulation de détresse psychologique par LLM, les modèles de langage spécialisés pour la santé mentale, les stratégies d’adaptation pour un déploiement local, les contraintes de déploiement hors ligne et de confidentialité, les jeux de données et benchmarks de référence, les méthodologies d’évaluation, et les considérations éthiques. Cette revue situe le problème ciblé, la génération de textes de détresse contrôlés en sévérité à l’aide d’outils exclusivement open-source et déployables hors ligne, par rapport à l’état de l’art actuel, et identifie les lacunes qui justifient la mise en uvre concrète d’un tel système. Dans son ensemble, ce travail établit le socle conceptuel et une synthèse critique des travaux antérieurs nécessaires pour éclairer la conception d’un pipeline de génération de textes de détresse conditionnée par la sévérité, tout en mettant en lumière les choix méthodologiques, les questions ouvertes et les garde-fous éthiques que toute mise en uvre de ce type doit prendre en compte.