Real-Time Fatigue Detection in Videoconferencing Systems

Abstract

Human fatigue represents a critical challenge in online environments, whether in virtual classrooms or video conferences, as it directly impacts concentration, productivity, and overall performance. This project proposes a novel solution designed for integration into the ICOSNET SPA Vroom application, leveraging computer vision and deep learning techniques to make a real-time fatigue detection system. The proposed method utilizes object detection models to accurately locate the facial region in video frames, followed by landmark localization techniques to isolate key regions of interest, specifically the mouth and eyes. These areas are monitored for fatigue-related patterns such as blinking and yawning. By computing indicator metrics like MAR, EAR and PERCLOS, the system classifies the user’s fatigue state . The implemented system combines advanced deep learning models with an intuitive and responsive interface, enabling seamless integration into the Vroom platform. It detects early signs of drowsiness and alerts the user about their state, helping them organize timely breaks or pauses. This solution offers substantial benefits, including improved engagement in virtual environments.***

La fatigue humaine représente un défi critique dans les environnements en ligne, que ce soit dans classe virtuelles ou les visioconférences, car elle impacte directement la concentration, la productivité et les performances globales. Ce projet propose une solution novatrice conçue pour être intégrée dans l’application ICOSNET SPA Vroom, exploitant les techniques de vision par ordinateur et d’apprentissage profond pour créer un système de détection de fatigue en temps réel. La méthode proposée utilise des modèles de détection d’objets pour localiser avec précision la région faciale dans les trames vidéo, suivie de techniques de localisation de points de repère pour isoler les régions clés d’intérêt, spécifiquement la bouche et les yeux. Ces zones sont surveillées pour détecter des motifs liés à la fatigue tels que le clignement des yeux et les bâillements. En calculant des métriques indicatrices comme MAR, EAR et PERCLOS, le système classifie l’état de fatigue de l’utilisateur. Le système implémenté combine des modèles d’apprentissage profond avancés avec une interface intuitive et réactive, permettant une intégration transparente dans la plateforme Vroom. Il détecte les signes précoces de fatigue et alerte l’utilisateur sur son état, l’aidant à organiser des pauses ou des interruptions opportunes. Cette solution offre des avantages substantiels, notamment une amélioration de l’engagement dans les environnements virtuels.