observingagents

El bucle infinito de $400 que me enseñó a vigilar los tokens

Un ciclo autónomo de reintentos y un campo null inesperado quemaron el presupuesto de una semana en veinte minutos. Así diseñé límites visibles en tiempo real.

Dany Paredes
Dany ParedesExperiencia en primera persona · Inspirado en AI Agent Observability

Los agentes autónomos son maravillosos hasta el instante exacto en que se empeñan en fallar con entusiasmo.

Desplegué un flujo en segundo plano pensado para enriquecer fichas de clientes: llamaba a una herramienta de búsqueda externa, validaba el resultado y reintentaba si faltaba algún campo obligatorio. En local, con tres registros de prueba, parecía magia.

En staging, un registro real llegó desde la API externa con null en un campo que mi validador esperaba como texto.

Lo que pasó en veinte minutos sin mirar

El agente no lanzó una excepción. En su lugar, razonó con total educación:

  1. “Falta el campo, voy a llamar otra vez a la herramienta con una búsqueda ligeramente distinta.”
  2. La herramienta devolvió exactamente el mismo null.
  3. El agente empaquetó todo el historial creciente —más el esquema completo de herramientas— en el siguiente prompt y volvió a intentarlo.

Cada iteración sumaba miles de tokens de entrada. Como todas las peticiones HTTP devolvían éxito, ninguna alerta saltó hasta que el correo de facturación llegó a mi bandeja.

Los límites necesitan visibilidad, no solo maxRetries

Poner un tope duro de iteraciones (maxSteps) fue el arreglo obvio, pero la lección de fondo fue observar la velocidad de consumo de tokens y los patrones de bucle en tiempo real.

Ahora, cada flujo de agentes que llevo a producción mide:

  • Tokens por traza (alertando cuando una ejecución supera 3× la línea base p95)
  • Firmas repetidas de herramientas (detectando cuando se llama dos veces a la misma tool con argumentos idénticos)
  • Time-to-First-Token frente a duración total, para dar feedback honesto en la UI mientras el sistema se mantiene dentro de presupuesto

Ese error se pagó solo con creces: convirtió el costo y la latencia de un susto a fin de mes en señales de primera clase dentro de mis trazas.