Evaluación de sistemas RAG: precisión, relevancia y alucinaciones

¿Cómo sabes si tu RAG responde bien? La mayoría de los equipos lo valora probando unas cuantas preguntas a mano: si las respuestas parecen razonables, se da por bueno. Ese método no detecta las alucinaciones sutiles, no dice si el problema está en el retrieval o en la generación y se vuelve inviable en cuanto el sistema cambia cada semana. Sin medición, no hay forma honesta de afirmar que el asistente es fiable.

Este curso es un monográfico de evaluación de RAG. Aprenderás a construir un dataset de referencia representativo de tu dominio, a medir la recuperación (¿llegan los fragmentos correctos?) y la generación (¿la respuesta se apoya en ellos o se los inventa?) con métricas como context precision, context recall, faithfulness y answer relevancy, y a montar un harness reproducible con herramientas como Ragas que convierta cada cambio del pipeline en un experimento medible.

Trabajarás sobre un sistema RAG de referencia con fallos reales: preguntas sin cobertura documental, chunks irrelevantes que contaminan el contexto y respuestas que suenan bien pero no están en las fuentes. El objetivo es que salgas sabiendo diagnosticar cada tipo de fallo y atribuirlo al componente responsable, en lugar de tocar parámetros a ciegas.

Es la pieza que falta entre construir un RAG y confiar en él. Si tu equipo ya tiene un asistente documental funcionando, este curso le da el instrumento de medida; las técnicas para mejorar lo que las métricas destapen se cubren en el curso de RAG avanzado.