Просунутий•10–14 годин

Agent Side-Effect Test Oracle Lab

Перевірте agent workflow не за фінальним текстом, а за trajectory, permissions, tool calls, side effects і authoritative system-of-record state.

agent testingtrajectory evaluationauthority testingidempotencystate reconciliation

Сценарій

Задача

Агент може читати CRM, створювати task і оновлювати статус. Текстова відповідь виглядає правильно, але timeout після write, duplicate delivery або stale approval можуть залишити неправильний side effect. Потрібен test oracle, який перевіряє не narration моделі, а фактичну історію дій і authoritative final state.

Покрокове виконання

1. Визначте observable truth

Результат: Кожен consequential step має deterministic postcondition.

Завдання

→Перерахуйте allowed tool actions
→Визначте authoritative system для кожного side effect
→Задайте idempotency key contract
→Опишіть prohibited transitions

Перевірки

✓Фінальний assistant text не використовується як єдиний oracle
✓Для write action є authoritative read-back

2. Запишіть expected trajectory

Результат: Тест знає допустиму послідовність state/tool transitions.

Завдання

→Опишіть normal path
→Додайте approval/deny path
→Додайте escalation/abstain path
→Визначте stop conditions

Перевірки

✓Tool call поза scope фіксується як failure навіть при правильному final answer
✓Approval прив’язаний до exact action/version

3. Інʼєктуйте failures навколо side effects

Результат: Retry не створює дубль і не маскує невідомий стан.

Завдання

→Timeout після accepted write
→Duplicate event
→Stale precondition
→Revoked permission
→Partial downstream failure

Перевірки

✓UNKNOWN веде у reconciliation, а не blind retry
✓Duplicate delivery не створює повторний side effect

4. Побудуйте CI gate

Результат: Critical authority/state regression блокує release.

Завдання

→Розділіть text/trajectory/outcome graders
→Задайте severity-aware thresholds
→Збережіть trace artifact
→Додайте incident-derived permanent regression cases

Перевірки

✓Critical side-effect failure не компенсується високим text-quality score
✓Regression report містить exact configuration fingerprint

Критерії приймання

Authoritative final state перевіряється deterministic oracle-ом
Trajectory має explicit allowed/prohibited transitions
Timeout-after-write проходить reconciliation test
Duplicate action не виконується двічі
Critical permission/side-effect regression блокує release

Матеріали перед виконанням

Tool calling і контракти інструментів

Як дозволити LLM викликати функції без передачі їй необмежених повноважень: schema, policy, idempotency, timeouts, verification і audit trail.

Оцінювання LLM-систем у production

Як побудувати evaluation set, автоматичні та людські метрики, regression gates і спостережуваність для промптів, RAG та агентів.

State machines для агентів

State machines для агентів — практичний розбір production-архітектури: відокремлення ймовірнісного рішення моделі від детермінованого життєвого циклу виконання. Матеріал охоплює контракти, межі повноважень, failure modes, оцінювання та контрольований rollout.

Retries, rate limits та idempotency

Як повторювати тимчасові збої без retry storm, обробляти 429, використовувати exponential backoff, jitter, retry budget та idempotency keys для безпечних операцій.