Fortgeschritten•10–14 Stunden

Labor für Test-Oracles bei Agent-Side-Effects

Teste einen Agent-Workflow anhand von Trajectory, Berechtigungen, Tool Calls, Side Effects und dem autoritativen System-of-Record-State – nicht nur anhand des finalen Textes.

Agent TestingTrajectory EvaluationAuthority TestingIdempotenzState Reconciliation

Szenario

Aufgabe

Ein Agent kann CRM-Daten lesen, Tasks erstellen und Status aktualisieren. Die Textantwort kann korrekt wirken, während ein Timeout nach einem Write, Duplicate Delivery oder eine veraltete Freigabe einen falschen Side Effect hinterlässt. Baue ein Test-Oracle, das die tatsächliche Aktionshistorie und den autoritativen Endzustand prüft statt der Modellnarration zu vertrauen.

Schrittweise Umsetzung

1. Observable Truth definieren

Ergebnis: Jeder folgenreiche Schritt besitzt eine deterministische Postcondition.

Aufgaben

→Erlaubte Tool Actions auflisten
→Autoritatives System für jeden Side Effect festlegen
→Idempotency-Key-Contract definieren
→Verbotene Transitions beschreiben

Prüfungen

✓Der finale Assistant-Text ist nicht das einzige Oracle
✓Für jede Write Action existiert ein autoritatives Read-back

2. Erwartete Trajectory festhalten

Ergebnis: Der Test kennt die erlaubte Sequenz von State- und Tool-Transitions.

Aufgaben

→Normal Path beschreiben
→Approval- und Deny-Path ergänzen
→Escalation- und Abstain-Path ergänzen
→Stop Conditions definieren

Prüfungen

✓Ein Tool Call außerhalb des Scope schlägt trotz korrekter finaler Antwort fehl
✓Approval ist an exakte Action und Version gebunden

3. Fehler rund um Side Effects injizieren

Ergebnis: Retries erzeugen weder Duplikate noch verdecken sie unbekannten State.

Aufgaben

→Timeout nach akzeptiertem Write injizieren
→Duplicate Event injizieren
→Stale Precondition injizieren
→Berechtigung entziehen
→Partial Downstream Failure injizieren

Prüfungen

✓UNKNOWN führt zu Reconciliation statt Blind Retry
✓Duplicate Delivery erzeugt keinen zweiten Side Effect

4. CI-Gate bauen

Ergebnis: Kritische Authority- oder State-Regressions blockieren den Release.

Aufgaben

→Text-, Trajectory- und Outcome-Grader trennen
→Severity-aware Thresholds setzen
→Trace Artifact speichern
→Incident-basierte permanente Regression Cases ergänzen

Prüfungen

✓Kritischer Side-Effect-Fehler kann nicht durch hohen Text-Quality-Score kompensiert werden
✓Regression Report enthält den exakten Configuration Fingerprint

Akzeptanzkriterien

Der autoritative Endzustand wird durch ein deterministisches Oracle geprüft
Trajectory besitzt explizit erlaubte und verbotene Transitions
Timeout-after-write besteht einen Reconciliation-Test
Eine doppelte Action wird nicht zweimal ausgeführt
Kritische Permission- oder Side-Effect-Regression blockiert den Release