Multimodal Data Fusion using MLP-based Architectures: A Comparative Study

Abstract

This thesis provides an in-depth exploration of Multimodal Machine Learning (MML), a rapidly evolving field with significant implications for technology and society. The study delves into the architecture, variations, and extensions of Transformer models and MLP Mixers, highlighting their strengths and weaknesses. This thesis is centered around research, with no practical implementation undertaken at this stage. Multimodal Machine Learning holds paramount significance across various applications, encompassing areas like multisensory wearable devices, Robotics, and more. Deep learning (DL) techniques, particularly Transformer models and MLP Mixers, have exhibited commendable accuracy and adaptability in handling the intricacies of multimodal data. This thesis has the potential to improve the effectiveness and accessibility of multimodal machine learning, by providing a comprehensive understanding of the latest advancements and challenges in the field. ***

Cette thèse propose une exploration approfondie de I’apprentissage automatique multimodal (AMM), un domaine qui évolue rapidement et qui a des implications significatives pour la technologie et la société. L’étude se penche sur l’architecture, les variations et les extensions des modèles transformateurs et mixeurs MLP, en soulignant leurs forces et leurs faiblesses. Cette thèse est centrée sur la recherche, aucune mise en oeuvre pratique n’étant entreprise à ce stade. L’apprentissage automatique multimodal revêt une importance capitale dans diverses applications, des domaines tels que les dispositifs portables multisensoriels, la robotique, et bien d’autres encore. Les techniques de l’apprentissage profond (AP), en particulier les modèles de transformateurs et les mixeurs MLP, ont fait preuve d’une précision et d’une efficacité remarquables, ont fait preuve d’une précision et d’une adaptabilité remarquables dans le traitement des complexités des données multimodales. Cette thèse a le potentiel d’améliorer l’efficacité et l’accessibilité de l’apprentissage automatique multimodal, en fournissant une compréhension complète des dernières avancées et des défis dans ce domaine.