Publicación: Ajuste fino de un modelo LLM para realizar reportes resumidos de expertos en trading, con integración de datos desde redes sociales
Fecha
2025
Autores
Restrepo Acevedo, Andrés Felipe
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad EAFIT
Resumen
The contemporary financial market is characterized by its high complexity and the massive volume of structured and unstructured data generated daily, posing significant challenges for individual investors in terms of analysis and informed decision making. This project proposes the fine-tuning of a Small Language Model (SLM) integrated into a tool capable of generating financial analysis reports similar to those produced by experts. For the proof of concept (PoC), transcripts from financial analysis videos published by experts on their YouTube channels are utilized. The SLM is fine-tuned using instruction-based techniques and the incorporation of the LoRa(Low-Rank Adapters) method, with the aim of extracting and summarizing key information relevant to individual investors. The main objective of this tool is to assist individual investors by generating efficient and accessible reports, facilitating access to valuable information in natural language, and enhancing their ability to make data-driven decisions from unstructured data, all with minimal investment of time and resources. Experimental results demonstrate the viability of using fine-tuned Small Language Models (SLMs) for the generation of high-quality financial reports. Specifically, the selected model, finetune qlora unsloth llama 3.1 8B Instruct bnb 4bit v2 Q8 0, achieved an average score of 5.67 out of 10 in the evaluation conducted by a judge LLM, with an average cosine distance of 0.159 compared to the reference summaries generated by the foundational pretrained model GPT-4.1. This improvement represents a 97.5% increase in performance compared to the same base model, Llama 3.1 8B Instruct, without fine-tuning. Qualitatively, the model exhibits high fidelity and coherence in the extraction and synthesis of key information in moderately long contexts, although it faces challenges in thematic interpretation when dealing with considerably lengthy transcripts. Additionally, implementation of this tool is projected to save 560 hours annually for individual investors, along with an estimated annual reduction in API costs ranging from 7.52 to 25 for the channels analyzed in the proof of concept.
Descripción
El mercado financiero contemporáneo se caracteriza por su alta complejidad y el volumen masivo de datos estructurados y no estructurados que genera diariamente, lo que representa un desafío significativo para los inversores individuales en cuanto al análisis y la toma de decisiones informadas. Este proyecto propone el ajuste fino de un modelo de lenguaje pequeño (SLM, por sus siglas en inglés) integrado en una herramienta capaz de generar reportes de análisis financiero similares a los elaborados por expertos. Para la prueba de concepto (PoC), se emplean transcripciones de videos de análisis financiero publicados por expertos en sus canales de YouTube. El modelo SLM es ajustado mediante técnicas de fine-tuning con instrucciones específicas y la incorporación de la técnica LoRa (Low-Rank Adapters), con el objetivo de extraer y resumir información clave relevante para los inversores individuales. El propósito principal de esta herramienta es asistir a los inversores individuales mediante la generación de reportes eficientes y accesibles, facilitando el acceso a información valiosa en lenguaje natural y mejorando su capacidad para tomar decisiones fundamentadas a partir de datos no estructurados, todo ello con una inversión mínima de tiempo y recursos. Los resultados experimentales demuestran la viabilidad de utilizar Modelos de Lenguaje Pequeños (SLMs) ajustados para la generación automatizada de reportes financieros de calidad. Específicamente, el modelo finetune qlora unsloth llama 3.1 8B Instruct bnb 4bit v2 Q8 0 seleccionado alcanzó una puntuación promedio de 5,67 sobre 10 en la evaluación realizada por un LLM evaluador, con una distancia de coseno promedio de 0,159 respecto a los resúmenes de referencia generados por el modelo preentrenado fundacional GPT-4.1. Esta mejora representa un incremento del 97,5% en el rendimiento en comparación con el modelo base Llama 3.1 8B Instruct sin ajuste fino. Cualitativamente, el modelo exhibe una alta fidelidad y coherencia en la extracción y síntesis de información clave en contextos de longitud moderada, aunque presenta desafíos en la interpretación temática para transcripciones considerablemente extensas. Adicionalmente, la implementación de esta herramienta proyecta un ahorro anual estimado de 560 horas para inversores individuales, junto con una reducción anual de costos de API estimada entre 7,52 y 25 dólares para los canales analizados en la prueba de concepto.