AI agent harness: как спроектировать надежный runtime

AI agent harness — это программный контур, который многократно вызывает модель, собирает контекст, маршрутизирует tool calls, сохраняет состояние и решает, когда run нужно продолжить, остановить, восстановить или передать человеку. Модель предлагает следующий шаг, но harness владеет execution loop и средой. Именно здесь находятся deadlines, лимиты шагов, permissions, sandbox, retries, checkpoints, tracing и проверка terminal outcome.

Не стоит использовать этот термин как модное название для одного system prompt или SDK wrapper. Prompt engineering настраивает инструкции; context engineering отбирает информацию для конкретного model call; planner предлагает путь; framework дает abstractions; harness связывает эти части с реальным runtime contract. Один продукт может поставлять готовый harness, другой — primitives для собственного, но бренд модели не определяет надежность всей системы.

• Model → предлагает ответ или tool call в пределах видимого контекста.
• Harness → управляет loop, state, tools, budgets, isolation и recovery.
• Application policy → определяет authority, approvals и допустимый outcome.
• Environment → выполняет команды и хранит authoritative artifacts.

Production baseline требует пяти отдельных контрактов. Session — append-only журнал событий с correlation ID. Loop собирает input, вызывает модель, валидирует response и применяет stop policy. Tool gateway публикует узкий allowlist и повторно проверяет аргументы и права. Sandbox изолирует filesystem, процессы и network destinations. State store хранит task status, artifact references, approvals и postconditions независимо от chat transcript.

Такое разделение позволяет заменять компоненты. Модель или prompt можно обновить без миграции authoritative task state; sandbox можно усилить без переписывания planner; tool implementation можно откатить, сохранив trace. Anthropic описывает session, harness и sandbox как отдельные части managed-agent systems, а OpenAI — model-native harness вместе с sandbox execution. Это first-party описания архитектуры, а не доказательство универсального превосходства конкретного продукта.

• Session log: model calls, tool requests, results, approvals и terminal reason.
• Task state: planned, running, blocked, awaiting-approval, completed или failed.
• Artifact store: versioned outputs, checksums, provenance и owner.
• Sandbox policy: mounts, secrets, network egress, resource limits и cleanup.
• Control plane: budgets, kill switch, concurrency, resume и reconciliation.

Long-running agent проходит через context windows, restarts и approval waits. Compaction помогает уместить историю, но не заменяет durable state. Checkpoint должен содержать task version, выполненные acceptance criteria, проверенные artifacts, открытые риски, pending approvals, последние authoritative postconditions и один конкретный next step. Новый session начинает с проверки environment и state, а не с доверия к оптимистичному summary предыдущей модели.

Anthropic в исследовании long-running harness использовала feature list, progress artifact, version control и базовую end-to-end проверку перед следующим изменением. Переносимый принцип — не имя файла, а handoff protocol: работа разбивается на завершаемые slices, статус подтверждается тестом, а следующий worker получает короткий проверяемый пакет. Для support или research таким пакетом могут быть case state, evidence ledger и незавершенное действие, а не git commit.

Harness не должен отдавать модели универсальный каталог tools и надеяться, что prompt удержит границы. Для каждого шага tool gateway проверяет actor, tenant, resource, action, parameters, risk tier, approval version и expiry. Read, draft и write operations используют разные credentials. Consequential action получает idempotency key, preflight preview и ожидаемую postcondition; timeout после вызова ведет к reconciliation, а не к слепому retry.

Sandbox снижает blast radius, но сам по себе не создает business authorization. Процесс может быть изолирован и при этом иметь опасный token или разрешенный egress к production API. Поэтому effective authority — пересечение sandbox policy, credential scope, tool contract, application rules и действующего approval. Prompt injection, compromised dependency или ошибка модели не должны расширять это пересечение текстовой инструкцией.

• Unknown permission или stale approval → fail closed.
• Неизвестный результат write call → reconcile before retry.
• Новый destination или scope → отдельная authorization decision.
• Kill switch → блокирует новые действия, сохраняя forensic evidence и recovery path.

Golden tasks должны проверять outcome и trajectory. Детерминированные graders подтверждают schema, filesystem diff, API postcondition, budget и запрещенные events. Model grader может оценить качество открытого artifact, но не заменяет проверку permissions или фактического side effect. Human review нужен для неоднозначной полезности и material risk. Критическое policy violation нельзя усреднять с хорошим стилем ответа.

Failure suite должна включать context exhaustion, corrupted checkpoint, duplicate delivery, lost tool response, partial commit, revoked credential, stale branch, unavailable dependency, prompt injection в retrieved content и агента, который объявляет completion до прохождения acceptance test. Сравнивайте не только task success, но verified progress per run, unnecessary tool calls, recovery success, reviewer minutes, wall-clock time и cost per accepted outcome на одном corpus. Vendor-reported experiments не являются вашим baseline.

Начните с bounded read-only задачи, для которой уже есть baseline детерминированного workflow. Добавьте один model loop, два-три distinct tools, explicit terminal states, task state вне transcript и полный trace. Затем введите restart fixture, corrupted-state fixture и canary на малом сегменте. Multi-agent planner-generator-evaluator, длинные автономные loops или write authority добавляйте только тогда, когда более простой harness измеримо не проходит зафиксированные task slices.

Harness кодирует предположения о слабых местах текущей модели, поэтому каждый workaround должен иметь owner, eval и review date. После model или tool upgrade проведите ablation: нужны ли еще отдельный planner, принудительный context reset, избыточные critique loops или большой prompt? Rollback возвращает совместимый комплект loop policy, tool versions и checkpoint schema; active writes сначала проходят reconciliation. Лучший harness — не самый большой, а минимальный контур, который доказуемо завершает ваши задачи в заданных границах.

• Define → outcome, authority, environment и terminal states.
• Instrument → session events, state transitions, budgets и artifacts.
• Evaluate → success, policy, recovery, efficiency и human acceptance.
• Canary → read-only, bounded concurrency, kill switch и on-call owner.
• Simplify → регулярно удаляйте scaffolding, который больше не дает измеримого gain.