Multimodal Fake News Detection using Text and Image Analysis with Deep Learning

Abstract

The rapid spread of misinformation on social media platforms poses a significant threat to public trust, political stability, and societal well-being. Traditional textbased approaches to fake news detection often fail to capture the multimodal nature of modern misinformation, where deceptive narratives frequently combine textual and visual content. This thesis proposes a multimodal fake news detection framework that integrates textual features extracted with BERT and visual features extracted with ResNet50. An early fusion mechanism combines both modalities before classification, enabling the model to capture cross-modal inconsistencies. Experiments conducted on the Fakeddit dataset demonstrate that the proposed framework outperforms unimodal approaches in binary, three-way, and six-way classification tasks. The results highlight the importance of multimodal learning in tackling misinformation and demonstrate the feasibility of deploying such models in real-world applications. Future directions include exploring advanced fusion techniques, expanding datasets, and integrating explainability methods to enhance trust in automated detection systems.***

La propagation rapide de la désinformation sur les réseaux sociaux représente une menace sérieuse pour la confiance publique, la stabilité politique et le bien-être sociétal. Les approches classiques de détection basées uniquement sur le texte échouent souvent à détecter la nature multimodale des fausses informations, où des récits trompeurs associent fréquemment du contenu textuel et visuel. Ce mémoire propose un cadre de détection multimodale des fausses nouvelles intégrant des caractéristiques textuelles extraites avec BERT et des caractéristiques visuelles extraites avec ResNet50. Un mécanisme de fusion précoce combine les deux modalités avant la classification, permettant au modèle de capturer les incohérences inter-modales. Les expériences réalisées sur le jeu de données Fakeddit montrent que le modèle proposé surpasse les approches unimodales dans des tâches de classification binaire, ternaire et à six classes. Les résultats mettent en évidence l’importance de l’apprentissage multimodal dans la lutte contre la désinformation et démontrent la faisabilité du déploiement de tels modèles dans des applications réelles. Les perspectives incluent l’exploration de stratégies de fusion avancées, l’extension des jeux de données et l’intégration de méthodes d’explicabilité pour renforcer la confiance dans les systèmes automatisés.