Talking Taboo Topics with ChatGPT AI: A bais/sentiment analysis study/ Personality Analysis

Abstract

Abstract : Recent advancements in large language models have propelled the development of generative natural language processing (NLP) applications. One such model, ChatGPT, has garnered significant attention for its remarkable ability to comprehend and generate human-like responses across diverse topics. However, the growing capabilities of generative language models have raised concerns regarding their inherent biases. The task of identifying and measuring ethics in conversational systems remains challenging due to the data-driven and opaque nature of modern AI techniques. This project centers on investigating ChatGPT’s behavior regarding taboo topics, with the objective of determining if it exhibits its own opinion on these subjects and evaluating the disparity between its outputs and human perceptions. Moreover, we assess the performance of sentiment analysis methods when applied to AI-generated sentences and human sentences-based social media. Through this exploration, we aim to gain insights into ChatGPT’s characteristics and advance our understanding of sentiment analysis techniques in the analysis of AI-generated text. The project includes milestones such as developing a corpus of taboo questions, prompting ChatGPT with these questions, scraping data from social media platforms, implementing sentiment analysis on both human-generated and AI-generated data, and conducting a comparative analysis of the results. Furthermore, we incorporate the analysis of Big Five personality traits, specifically Conscientiousness and Neuroticism, to deepen our understanding of ChatGPT’s behavior and its alignment with human perceptions, adding a valuable dimension to the study. Through this research, we aim to gain valuable insights into the interplay between ChatGPT’s responses and human perceptions, contributing to the development of more nuanced and socially responsible conversational AI systems.***

Résumé Les avancées récentes dans les grands modèles de langage ont propulsé le développement d’applications de traitement du langage naturel (NLP) génératif. Un tel modèle, ChatGPT, a suscité une attention considérable pour sa capacité remarquable à comprendre et générer des réponses semblables à celles d’un humain sur des sujets diversifiés. Cependant, les capacités croissantes des modèles de langage génératif soulèvent des préoccupations quant à leurs biais inhérents. L’identification et la mesure de l’éthique dans les systèmes conversationnels restent un défi en raison de la nature axée sur les données et opaque des techniques d’IA modernes. Ce projet se concentre sur l’étude du comportement de ChatGPT à l’égard des sujets tabous, dans le but de déterminer s’il exprime sa propre opinion sur ces sujets et d’évaluer l’écart entre ses résultats et les perceptions humaines. De plus, nous évaluons les performances des méthodes d’analyse de sentiment lorsqu’elles sont appliquées à des phrases générées par l’IA et des phrases issues des médias sociaux humains. Grâce à cette exploration, nous visons à acquérir des connaissances sur les caractéristiques de ChatGPT et à approfondir notre compréhension des techniques d’analyse de sentiment dans l’analyse du texte généré par l’IA. Le projet comprend plusieurs étapes clés, notamment le développement d’un corpus de questions taboues, la sollicitation de ChatGPT avec ces questions, le recueil de données sur les plateformes de médias sociaux, la mise en uvre de l’analyse de sentiment sur des données générées par l’IA et des données générées par des humains, ainsi que la réalisation d’une analyse comparative des résultats. De plus, nous intégrons l’analyse des traits de personnalité du modèle des Big Five, en particulier la Conscience et la Névrose, pour approfondir notre compréhension du comportement de ChatGPT et de son alignement avec les perceptions humaines, ajoutant ainsi une dimension précieuse à l’étude. Grâce à cette recherche, nous visons à obtenir des informations précieuses sur l’interaction entre les réponses de ChatGPT et les perceptions humaines, contribuant ainsi au développement de systèmes d’IA conversationnels plus nuancés et socialement responsables.