Publicación: Desarrollo de un agente de inteligencia artificial para la gestión preventiva de proyectos en una PMO del sector tecnológico mediante predicción explicable y recuperación aumentada de conocimiento
No hay miniatura disponible
Fecha
2026-06
Autores
Jimeno Junca, Pablo Andrés
dc.contributor.advisor
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad EAFIT
Resumen
Project Management Offices (PMOs) accumulate historical records of risks, issues, decisions, and lessons learned that are rarely transformed into actionable knowledge during the planning of new projects. This gap limits the ability to anticipate situations that may affect project success and keeps risk management largely reactive. In response to this problem, this work develops and evaluates a prototype artificial intelligence agent, named the PMO Intelligence Hub, to support preventive project management by integrating explainable risk prediction, retrieval-augmented knowledge, and a conversational interface designed for project managers. The predictive component uses real historical data from a corporate PMO in the technology sector. The model was developed using 576 historical projects, with an overall risk rate of 18.4 %. The pipeline incorporates feature engineering, explicit treatment of missing data as an informative signal, class imbalance handling through SMOTE, isotonic probability calibration, and local explainability through SHAP values. On the test set, which had a positive-class base rate of 18.1 %, the Random Forest model achieved a Recall@0.35 of 0.810, a PR-AUC of 0.326 against a reference value of 0.181, and a Lift@20% of 1.528. The model outperformed the random baseline and obtained better point estimates than logistic regression; however, this comparison should be interpreted in light of the limited size of the test set. Consequently, the results position the model as an early prioritization and decision-support tool rather than as a deterministic classification mechanism. The retrieval-augmented knowledge component indexes 5 329 records of risks, issues, and lessons learned using semantic embeddings. Semantic search obtained better results than a lexical baseline across the three corpus tables, with MRR improvements ranging from +0.20 to +0.35 and ranking quality evaluated through nDCG@5. The generation evaluation using RAGAS achieved an average Faithfulness of 0.86, Answer Relevancy of 0.89, Context Precision of 0.60, and Context Recall of 0.37. These results suggest that the generated responses were mostly faithful and relevant, while also indicating opportunities to improve the selection and coverage of the retrieved context. The architecture is integrated through a conversational agent orchestrated by an LLM (GPT-4.1) with tool-use, capable of retrieving project information, calculating its risk probability, explaining the main contributing factors through SHAP, and automatically triggering an Intelligence Briefing mechanism. This mechanism retrieves similar projects, historical risks, issues, and relevant lessons learned, and presents the results through a functional web interface developed for the prototype. The results support the technical feasibility of integrating explainable predictive models and organizational knowledge retrieval into a unified conversational experience for preventive project planning. The system does not replace the project manager’s judgment; rather, it acts as a decision-support mechanism aimed at prioritizing attention, surfacing actionable historical knowledge, and explaining the main factors associated with the estimated risk. The evaluation was conducted in a prototype environment and did not include production validation, an experimental comparison against an LLM without RAG, or complete manual annotation of the corpus. This work contributes a reproducible architecture for corporate PMOs in the technology sector seeking to evolve from reactive risk management toward a preventive, explainable, and data-driven approach.
Descripción
Las oficinas de gestión de proyectos (PMO) acumulan registros históricos de riesgos, incidencias, decisiones y lecciones aprendidas que rara vez se convierten en conocimiento accionable durante la planeación de nuevos proyectos. Esta brecha limita la capacidad de anticipar situaciones que pueden afectar el éxito de las iniciativas y mantiene la gestión de riesgos en un plano principalmente reactivo. Frente a este problema, este trabajo desarrolla y evalúa un prototipo de agente de inteligencia artificial, denominado PMO Intelligence Hub, para apoyar la gestión preventiva de proyectos mediante la integración de predicción explicable de riesgo, recuperación aumentada de conocimiento y una interfaz conversacional orientada a project managers. El componente predictivo utiliza datos históricos reales de una PMO corporativa del sector tecnológico. El modelo fue desarrollado a partir de 576 proyectos históricos, con una tasa general de riesgo de 18.4 %. El pipeline incorpora ingeniería de características, tratamiento explícito de datos faltantes como señal informativa, manejo del desbalance mediante SMOTE, calibración probabilística isotónica y explicabilidad local mediante valores SHAP. En el conjunto de prueba, cuya tasa base fue de 18.1 %, el modelo Random Forest alcanzó un Recall@0.35 de 0.810, un PR-AUC de 0.326 frente a un valor de referencia de 0.181 y un Lift@20% de 1.528. El modelo obtuvo resultados superiores a la línea base aleatoria y mejores valores puntuales que la regresión logística; sin embargo, esta comparación debe interpretarse considerando el tamaño limitado del conjunto de prueba. En consecuencia, sus resultados lo posicionan como una herramienta de priorización temprana y apoyo a la decisión, más que como un mecanismo determinístico de clasificación. El componente de recuperación aumentada de conocimiento indexa 5 329 registros de riesgos, incidencias y lecciones aprendidas mediante embeddings semánticos. La búsqueda semántica obtuvo mejores resultados que una línea base léxica en las tres tablas del corpus, con incrementos de MRR entre +0.20 y +0.35 y una calidad de ordenamiento evaluada mediante nDCG@5. La evaluación de generación con RAGAS alcanzó una Faithfulness promedio de 0.86, Answer Relevancy de 0.89, Context Precision de 0.60 y Context Recall de 0.37. Estos resultados sugieren respuestas mayoritariamente fieles y relevantes, aunque con oportunidades de mejora en la selección y cobertura del contexto recuperado. La arquitectura se integra mediante un agente conversacional orquestado por un LLM (GPT-4.1) con tool-use, capaz de consultar información del proyecto, calcular su probabilidad de riesgo, explicar los principales factores mediante SHAP y activar automáticamente un mecanismo de Intelligence Briefing. Este mecanismo recupera proyectos similares, riesgos históricos, issues y aprendizajes relevantes, y presenta los resultados en una interfaz web funcional desarrollada para el prototipo. Los resultados respaldan la viabilidad técnica de integrar modelos predictivos explicables y recuperación de conocimiento organizacional en una experiencia conversacional unificada para apoyar la planeación preventiva de proyectos. El sistema no reemplaza el criterio del project manager, sino que actúa como un mecanismo de apoyo a la decisión, orientado a priorizar la atención, hacer visible conocimiento histórico accionable y explicar los principales factores asociados con el riesgo estimado. La evaluación se realizó en un entorno de prototipo y no incluyó validación en producción, comparación experimental contra un LLM sin RAG ni etiquetado manual completo del corpus. El trabajo contribuye con una arquitectura reproducible para PMOs corporativas del sector tecnológico que buscan evolucionar desde una gestión reactiva del riesgo hacia una gestión preventiva, explicable y basada en datos.
Palabras clave
Citación
dc.relation.uri
dc.identifier.doi
dc.rights
Todos los derechos reservados