Observabilidad y monitorización de aplicaciones con LLMs

Cuando una aplicación con LLMs falla en producción, los logs tradicionales no cuentan la historia: necesitas saber qué prompt exacto se envió, qué contexto se recuperó, qué devolvió el modelo, cuántos tokens costó y cuánto tardó cada paso de la cadena. Sin esa visibilidad, depurar es adivinar, los costes crecen sin que nadie los atribuya y las degradaciones de calidad se descubren por quejas de usuarios.

Este curso enseña a instrumentar aplicaciones con LLMs de forma profesional: trazas estructuradas de cada petición con sus spans (recuperación, llamadas al modelo, herramientas de un agente), captura de prompts, respuestas y metadatos, y plataformas de observabilidad como LangSmith y Langfuse para explorarlas, depurar y construir datasets a partir del tráfico real.

La segunda mitad se centra en operar: dashboards de coste por funcionalidad, usuario y modelo; monitorización de latencia y tasas de error; alertas ante anomalías; captura de feedback de usuarios sobre cada respuesta y detección de degradaciones cuando el proveedor cambia el modelo. También se trabaja la convergencia con la observabilidad estándar vía OpenTelemetry y las convenciones para IA generativa, además del tratamiento de datos sensibles en las trazas.

Es un curso de operación, no de evaluación: la pregunta que responde es qué está pasando ahora mismo en producción y cuánto cuesta. Encaja como continuación natural de cualquier curso de construcción (RAG, agentes) y como pareja del de evaluación de aplicaciones con IA generativa.