Exploring the Current State of Intelligent Multimodal Human-Computer Interaction Systems

Abstract

This thesis explores the current state of intelligent multimodal Human-Computer Interaction (HCI) systems, emphasizing gaze estimation, gesture recognition, and speech recognition. The problem addressed is the need to understand the advancements, challenges, and opportunities in integrating these technologies to enhance user interaction. The objective was to conduct a comprehensive literature review to identify recent progress, key issues, and potential applications. The findings highlight significant improvements in computer vision algorithms, real-time processing capabilities, and the integration of machine learning models, improving accuracy and responsiveness. In conclusion, this study provides valuable insights and a foundation for future research, underscoring the potential of multimodal HCI systems to create more intuitive and efficient user interactions. ***

Cet thèse explore l’état actuel des systèmes intelligents d’interaction homme-machine (HCI) multimodaux, en mettant l’accent sur l’estimation du regard, la reconnaissance des gestes et la reconnaissance vocale. Le problème abordé est la nécessité de comprendre les avancées, les défis et les opportunités dans l’intégration de ces technologies pour améliorer l’interaction utilisateur. L’objectif était de mener une revue de littérature complète pour identifier les progrès récents, les principaux enjeux et les applications potentielles. Les résultats mettent en évidence des améliorations significatives des algorithmes de vision par ordinateur, des capacités de traitement en temps réel et de l’intégration de modèles d’apprentissage automatique, améliorant la précision et la réactivité. En conclusion, cette étude fournit des perspectives précieuses et une base pour les recherches futures, soulignant le potentiel des systèmes HCI multimodaux pour créer des interactions utilisateur plus intuitives et efficaces.