Постройте управляемого AI-агента с tools, явным состоянием, approvals, ограничениями стоимости и времени, audit log и rollback path.
Сценарий
Агент готовит изменения в операционной среде: читает данные, формирует план, вызывает tools и запрашивает approval перед рискованными действиями. Любое действие должно восстанавливаться по audit trail.
Результат: Поведение агента не зависит от скрытого цикла.
Задачи
Проверки
Результат: Каждый tool имеет контракт и явные границы доступа.
Задачи
Проверки
Результат: Риск, время и стоимость ограничены до выполнения.
Задачи
Проверки
Результат: Действие можно объяснить, воспроизвести или откатить.
Задачи
Проверки
Рубрика оценки
States, transitions, terminal outcomes и recovery описаны явно.
Недостаточно
Поведение зависит от скрытого или неограниченного loop.
Компетентно
У каждого state есть exit condition и явные limits.
Сильно
Реализованы deterministic replay, recovery states и property tests.
Необходимые доказательства
Каждый tool имеет schema, permission scope, risk level и dry-run policy.
Недостаточно
Tools вызываются без явных контрактов или границ доступа.
Компетентно
Registry определяет contracts, risks и permissions.
Сильно
Policies исполняются отдельным policy engine и покрыты тестами.
Необходимые доказательства
Рискованные действия, время, шаги и стоимость ограничены до выполнения.
Недостаточно
Write actions могут выполняться без approval или limits.
Компетентно
Approval gates и budgets блокируют опасные действия.
Сильно
Реализованы risk-based policy, cancellation и delegated approvals.
Необходимые доказательства
Последовательность решений воспроизводима, а изменения имеют rollback evidence.
Недостаточно
Audit trail неполный или rollback только декларативный.
Компетентно
Audit log восстанавливает цикл, rollback проверен.
Сильно
Реализованы tamper-evident log, replay и автоматизированный recovery drill.
Необходимые доказательства