Avanzado•10–14 horas

Laboratorio de test oracles para side effects de agentes

Prueba un workflow de agente por su trayectoria, permisos, tool calls, side effects y estado autoritativo del system of record, no solo por el texto final.

agent testingtrajectory evaluationauthority testingidempotenciastate reconciliation

Escenario

Tarea

Un agente puede leer el CRM, crear una tarea y actualizar un estado. La respuesta textual puede parecer correcta mientras un timeout después de un write, una entrega duplicada o una aprobación obsoleta dejan un side effect incorrecto. Construye un test oracle que verifique el historial real de acciones y el estado final autoritativo en lugar de confiar en la narración del modelo.

Ejecución paso a paso

1. Define la verdad observable

Resultado: Cada paso con consecuencias tiene una postcondición determinista.

Tareas

→Enumera las tool actions permitidas
→Define el sistema autoritativo para cada side effect
→Especifica el contrato de idempotency key
→Describe las transiciones prohibidas

Comprobaciones

✓El texto final del assistant no es el único oracle
✓Cada write action tiene un read-back autoritativo

2. Registra la trayectoria esperada

Resultado: El test conoce la secuencia permitida de transiciones de estado y herramientas.

Tareas

→Describe el normal path
→Añade los paths de approval y deny
→Añade escalation y abstain
→Define stop conditions

Comprobaciones

✓Un tool call fuera de scope falla aunque la respuesta final sea correcta
✓La aprobación queda ligada a la acción y versión exactas

3. Inyecta fallos alrededor de los side effects

Resultado: Los retries no crean duplicados ni ocultan estados desconocidos.

Tareas

→Inyecta timeout tras un write aceptado
→Inyecta duplicate event
→Inyecta stale precondition
→Revoca el permiso
→Inyecta partial downstream failure

Comprobaciones

✓UNKNOWN activa reconciliation y no blind retry
✓Duplicate delivery no crea un side effect repetido

4. Construye el gate de CI

Resultado: Las regresiones críticas de authority o state bloquean el release.

Tareas

→Separa graders de texto, trayectoria y outcome
→Define thresholds según severity
→Guarda el trace artifact
→Añade casos de regresión permanentes derivados de incidentes

Comprobaciones

✓Un fallo crítico de side effect no se compensa con un alto text-quality score
✓El informe de regresión contiene el configuration fingerprint exacto

Criterios de aceptación

El estado final autoritativo se verifica con un oracle determinista
La trayectoria tiene transiciones permitidas y prohibidas explícitas
Timeout-after-write supera un test de reconciliation
Una acción duplicada no se ejecuta dos veces
Una regresión crítica de permisos o side effects bloquea el release