Design and Implementation of a Modular System for Real-Time Driver Inattention Detection

Abstract

This project addresses the critical issue of driver inattention by developing a non-intrusive, real-time monitoring system. A key contribution is its modular architecture, which leverages AI for feature extraction and rule-based logic for decision-making to enhance robustness. The system utilizes MediaPipe Face Mesh for drowsiness detection via adaptive Eye Aspect Ratio (EAR) and PERCLOS metrics, and a state-of-the-art D-FINE object detector to identify distractions by analyzing hand-object interactions. A significant finding from our research is that a high-quality, curated dataset with efficient on-the-fly augmentation yields superior performance over larger, heavily augmented datasets. The resulting proof-of-concept was validated on custom real-world video scenarios, demonstrating functional viability at 15-20 FPS on a GPU. This work delivers a functional prototype that confirms the architectural approach and provides a strong foundation for a practical, low-cost driver safety solution.***

Ce projet aborde le problème critique de l’inattention du conducteur en développant un système de surveillance non-intrusif et en temps réel. Une contribution clé est son architecture modulaire, qui utilise l’IA pour l’extraction de caractéristiques et une logique basée sur des règles pour la prise de décision, améliorant ainsi la robustesse. Le système utilise MediaPipe Face Mesh pour la détection de la somnolence via des métriques adaptatives comme le ratio d’aspect des yeux (EAR) et le PERCLOS, et un détecteur d’objets de pointe, D-FINE, pour identifier les distractions en analysant les interactions main-objet. Un résultat significatif de notre recherche est qu’un jeu de données de haute qualité, soigneusement sélectionné, avec une augmentation de données efficace à la volée, offre des performances supérieures à celles des jeux de données plus volumineux et fortement augmentés. Le prototype qui en résulte a été validé sur des scénarios vidéo réels personnalisés, démontrant sa viabilité fonctionnelle à 15-20 FPS sur un GPU. Ce travail présente un prototype fonctionnel qui confirme l’approche architecturale et fournit une base solide pour une solution de sécurité routière pratique et à faible coût.