RAG Normativa – Pipeline Industrial de Consulta Legal

Este proyecto implementa un pipeline industrial completo de Retrieval-Augmented Generation (RAG) orientado a la consulta de normativa pública. El objetivo es llevar un sistema RAG a un estándar de despliegue productivo, con atención especial a la calidad de los datos de entrada, la evaluación sistemática del desempeño y la mantenibilidad del sistema a lo largo del tiempo.

El pipeline cubre todas las etapas del ciclo de vida del sistema: ingesta de documentos normativos, limpieza y normalización de texto legal (con manejo de estructuras propias de documentos jurídicos como artículos, incisos y referencias), chunking semántico, generación de embeddings e indexación vectorial en Qdrant. La recuperación semántica selecciona los fragmentos más relevantes para cada consulta, que son luego utilizados por el LLM para generar una respuesta fundamentada.

La orquestación de los procesos de ingesta y evaluación se realiza con Apache Airflow, garantizando reproducibilidad y trazabilidad de cada ejecución. Los servicios de consulta se exponen vía FastAPI y la interfaz de usuario es una aplicación Streamlit. El proyecto incluye un módulo de evaluación automática de desempeño que mide métricas de recuperación (recall, precisión) y calidad de respuesta, permitiendo detectar regresiones cuando se actualiza la normativa o se cambia el modelo.