Publicación: Evaluación de rendimiento de diferentes modelo grandes de lenguaje para el reconocimiento de emociones en texto
Fecha
2024
Autores
López Atehortúa, David Alejandro
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad EAFIT
Resumen
It is becoming more common for people to express their opinions in short texts through different media thanks to the expansion of internet access. Understanding and efficiently analyzing an individual’s sentiment from a text is a task that is useful in multiple scenarios. For the above, a branch of computer science called Natural Language Processing (NLP) has been dedicated to developing techniques to understand everything related to human language.
Traditional techniques, based on the frequency of a word or a group of consecutive words to classify the text in a positive, negative or neutral sentiment. These techniques have limitations because they fail to capture the full context of each word in a sentence, affecting their accuracy and ability to detect a more detailed spectrum of emotions.
Recently, Long Language Models (LLMs) or Transformers revolutionized the way NLP is performed thanks to their ability to capture the context around each word in a text. This allows for the detection of feelings in a more precise way and even, the classification of the text into a more specific emotion such as joy, optimism, anger, sadness or others.
This project aims to evaluate the performance of different LLMs to find the best performing one in emotion detection from short texts in English using datasets typically used in research related to NLP models.
Descripción
Cada vez es más común que las personas expresen sus opiniones en textos cortos a través de diferentes medios gracias a la expansión del acceso a internet. Comprender y analizar de una manera eficiente el sentimiento de un individuo a partir de un texto es una tarea que es de utilidad en múltiples escenarios. Por lo anterior, una rama de las ciencias computacionales llamada Procesamiento de Lenguaje Natural (NLP) se ha dedicado al desarrollo de técnicas para entender todo lo relacionado con el lenguaje humano.
Las técnicas tradicionales, se basan en la frecuencia de una palabra o un grupo de palabras consecutivas para clasificar el texto en un sentimiento positivo, negativo o neutral. Estas técnicas tienen limitaciones dado que no logran capturar por completo el contexto de cada palabra en una oración, lo que afecta su precisión y capacidad para detectar un espectro de emociones más detallado.
Recientemente, los Modelos Largos de Lenguaje (LLMs) o Transformers revolucionaron la forma en que se realiza NLP gracias a su capacidad de capturar el contexto alrededor de cada palabra en un texto. Esto permite la detección de sentimientos de una manera más precisa e incluso, la clasificación del texto en una emoción más específica como alegría, optimismo, rabia, tristeza u otros.
Este proyecto, busca evaluar el rendimiento de diferentes LLMs para encontrar el que mejor se desempeñe en la detección de emociones a partir de textos cortos en inglés utilizando conjuntos de datos típicamente utilizados en investigaciones relacionadas con modelos de NLP.