Tu agente aprobó cada eval que escribiste en marzo. Luego alguien subió la versión del modelo, ajustó un system prompt y cambió el retriever, y ahora un 4% de los tickets de soporte reciben una política equivocada dicha con total seguridad. No hubo ninguna excepción. La latencia estuvo bien. Los unit tests siguen en verde. Te enteraste por un cliente molesto. Ese es el estado por defecto del desarrollo de agentes en 2026: la falla ya no es “¿corre el código?”, sino “¿cambió el comportamiento sin avisar?”.
Esta guía es para desarrolladores que ya envían agentes LLM o sistemas RAG a tráfico real. Deberías sentirte cómodo con Python, pytest y CI, y tener al menos un agente en producción o cerca de estarlo. No es una introducción al prompting ni un tutorial de LangChain: es sobre construir la infraestructura de evaluación que se interpone entre un PR mergeado y una caída silenciosa de calidad. Aprenderás dónde el LLM-as-judge brilla, dónde miente, y por qué el label set humano es el paso que nunca puedes automatizar.
Lo Que Cubre Esta Guía
- Por qué los tests verdes y los logs limpios no dicen nada sobre la calidad real del agente
- Un modelo mental del loop de evaluación: datasets, graders, experimentos y gates de calidad
- Cómo convertir tus traces de producción en un golden dataset que refleje el comportamiento real
- Cuándo las assertions deterministas superan a un juez LLM y cómo combinar ambos sin desperdiciar tokens
- Cómo calibrar un juez contra etiquetas humanas y medir su nivel de acuerdo honestamente
- Puntuar trayectorias completas de varios pasos: selección de tools, argumentos y eficiencia del camino
- Medición específica de RAG con Ragas y DeepEval, separando fallas de retrieval de fallas de generación
- La misma suite implementada en LangSmith, Braintrust, Phoenix y OpenAI Evals, con comparación de costos
- Conectar regression gates a pytest y GitHub Actions para bloquear merges que bajan la calidad
- Correr evals en línea contra tráfico vivo: guardrails, sampling y detección de drift
- Mantener costo y latencia dentro de un presupuesto para que la suite siga corriendo en seis meses
- A/B testing de una actualización de modelo con muestras suficientes para no enviar sobre ruido
- Un plan de 30 días para pasar de cero evals a gates de CI aplicados sin frenar el roadmap
Acceso instantáneo en línea apenas completas el checkout: la guía completa, de inmediato, en tu navegador. Sin upsells ni niveles premium que retienen lo importante.
Reviews
There are no reviews yet.