observingagents

Por qué dejé de adivinar prompts y empecé a trazar cada span

Cambiar una frase en el system prompt se sentía como operar a ciegas, hasta que tomé prestado el tracing distribuido de microservicios y vi cada paso en una sola línea de tiempo.

Dany Paredes
Dany ParedesExperiencia en primera persona · Inspirado en AI Agent Observability

Al principio, cada vez que un agente daba una respuesta extraña, mi flujo de trabajo era vergonzosamente predecible: abrir el archivo del prompt, cambiar dos adjetivos, volver a correr el script y cruzar los dedos.

A veces funcionaba. La mayoría de las veces, arreglar un caso borde rompía otros tres en silencio. No estaba haciendo ingeniería: estaba adivinando a oscuras.

Una petición, siete saltos invisibles

Cuando un usuario hace una pregunta aparentemente simple como “Resume mi última factura”, tu aplicación no hace una sola llamada. Por detrás, la mía estaba haciendo esto:

  • Root Span: Recibir el mensaje del usuario.
  • Span 1 (Retrieval): Consultar una base vectorial para traer contexto.
  • Span 2 (Tool Call): Llamar a fetchInvoice(id) contra PostgreSQL.
  • Span 3 (LLM Call): Enviar el prompt, los fragmentos recuperados y el JSON de la factura al modelo.

Sin una traza que conectara esos spans, solo tenía fragmentos de console.log repartidos en tres archivos y cero claridad sobre qué paso había introducido el dato erróneo.

Adoptar OpenTelemetry en lugar de otro logger casero

Mi primer instinto fue escribir un logger rápido en JSON. Me alegra haberlo descartado.

Usar OpenTelemetry (OTel) con las convenciones semánticas de GenAI hizo que cada span llevara automáticamente los campos que realmente necesitaba al depurar de madrugada:

  • gen_ai.system y gen_ai.request.model
  • gen_ai.usage.input_tokens y gen_ai.usage.output_tokens
  • Tiempos exactos padre-hijo entre retrieval, ejecución de herramientas y generación

La primera vez que abrí la línea de tiempo en cascada de una ejecución lenta, el cuello de botella ni siquiera era el LLM: era una consulta redundante a base de datos dentro de un tool call consumiendo 1.4 segundos por turno.

No puedes optimizar lo que no ves, y no puedes confiar en un prompt que solo entiendes a base de prueba y error.