La noche en que mi agente devolvió 200 OK y reservó el vuelo equivocado
Todos los dashboards estaban en verde. Cero excepciones en Sentry, 180ms de latencia y un 200 OK perfecto. Pero el agente confirmó un vuelo a Texas en lugar de París.
Durante diez años, mi modelo mental para monitorear producción fue sencillo: si el estado HTTP es 200 OK, la latencia es baja y Sentry está en silencio, el sistema está sano.
Ese modelo mental se rompió un martes por la noche.
Había conectado un asistente capaz de consultar itinerarios y disparar un endpoint de reservas. Un usuario de prueba pidió: “Reserva un vuelo a París para el próximo viernes”. Mi backend recibió la petición, llamó al modelo, ejecutó la herramienta y devolvió 200 OK en menos de dos segundos.
Luego leí la respuesta real que vio el usuario:
“¡Listo! Reservé tu vuelo a Texas para el próximo viernes.”
Sin stack trace. Sin error 500. Sin timeout. Desde el punto de vista de un APM tradicional, fue una de las peticiones más limpias de la noche.
La brecha entre disponibilidad y verdad
Esa noche aprendí la diferencia entre salud de infraestructura y corrección semántica. La observabilidad tradicional responde: “¿Se cayó el servidor?” La observabilidad para agentes tiene que responder: “¿El agente hizo realmente lo que el usuario pidió?”
Cuando por fin revisé los inputs crudos y los argumentos de la herramienta, el culpable no era un bug en mi controlador REST. Un fragmento de contexto desactualizado de una sesión previa se había colado en el prompt del sistema, empujando la llamada hacia un código de aeropuerto en Texas mientras el resumen final celebraba la reserva.
Lo que cambié a la mañana siguiente
Dejé de tratar las llamadas a un LLM como peticiones HTTP opacas y empecé a registrar tres cosas en cada ejecución:
- El ensamblaje exacto del prompt — instrucciones de sistema, fragmentos recuperados y mensaje del usuario juntos.
- Los argumentos y la salida cruda de cada tool call — no solo si la función respondió, sino qué recibió exactamente.
- Una validación semántica ligera — comparando la intención del usuario contra los parámetros de la herramienta antes de celebrar un
200 OK.
En cuanto pude ver la cadena completa y los argumentos lado a lado, aquella alucinación “misteriosa” me tomó treinta segundos de diagnóstico.