Multi-Agent System for Automating Web Scraping: A Scalable Framework for Domain-Specific RAG-Based Question

Abstract

Traditional web scraping methods face significant scalability and maintenance challenges when dealing with modern JavaScript-heavy websites, anti-bot mechanisms, and dynamic content. This thesis proposes a multi-agent system that automates large-scale web scraping and knowledge extraction by distributing tasks across specialized agents responsible for URL crawling, content rendering, data parsing, and semantic indexing. The proposed framework ensures scalability through parallel task execution, robust error handling, and modular maintenance, while large language models embedded in the pipeline adapt to changing website structures and assess data relevance. Results show that this architecture not only overcomes the limitations of traditional scrapers but also establishes a reusable framework for enterprise-scale knowledge extraction and real-time information access. Building on this foundation, the thesis introduces a Retrieval-Augmented Generation (RAG) chatbot tailored for auto repair and appliance service businesses. Rather than serving solely as a validation tool, the RAG system constitutes a core contribution by transforming raw scraped data into a structured, queryable knowledge base that supports natural language interactions. The system leverages this structured knowledge to deliver accurate, domainspecific responses, demonstrating the practical utility of combining intelligent scraping with conversational AI. Together, the multi-agent system and RAG chatbot highlight how intelligent agent architectures can advance both web data extraction and domain-specific conversational AI.***

Les méthodes traditionnelles de Web scraping rencontrent d’importants problèmes de scalabilité et de maintenance lorsqu’elles sont confrontées aux sites modernes riches en JavaScript, aux mécanismes anti-bots et aux contenus dynamiques. Cette thèse propose un système multi-agents qui automatise le Web scraping à grande échelle et l’extraction de données en répartissant les tâches entre des agents spécialisés responsables de l’exploration d’URL, du rendu de contenu, de l’analyse des données et de l’indexation sémantique. Le cadre proposé assure la scalabilité grâce à l’exécution parallèle des tâches, à une gestion robuste des erreurs et à une maintenance modulaire, tandis que les modèles de langage de grande taille intégrés au pipeline s’adaptent aux évolutions des structures de sites Web et évaluent la pertinence des données. Les résultats montrent que cette architecture dépasse les limites des scrapers traditionnels et établit un cadre réutilisable pour l’extraction de données à l’échelle industrielle et l’accès à l’information en temps réel. Sur cette base, la thèse introduit un chatbot à génération augmentée par la recherche (Retrieval- Augmented Generation, RAG) adapté aux entreprises de réparation automobile et d’électroménagers. Plutôt que de se limiter à un simple outil de validation, le système RAG constitue une contribution centrale en transformant les données brutes extraites en une base de données structurée et interrogeable, permettant des interactions en langage naturel. Ce système exploite ainsi ces données structurées pour fournir des réponses précises et spécifiques au domaine, démontrant l’utilité pratique de la combinaison entre scraping intelligent et intelligence conversationnelle. Ensemble, le système multi-agents et le chatbot RAG mettent en évidence la manière dont les architectures à agents intelligents peuvent faire progresser à la fois l’extraction de données Web et l’IA conversationnelle spécialisée.