AI agent harness: що це і як спроєктувати надійний runtime

AI agent harness — це програмний контур, який багаторазово викликає модель, формує контекст, маршрутизує tool calls, зберігає стан і вирішує, коли продовжити, зупинити, відновити або передати run людині. Модель пропонує наступний крок, але harness володіє execution loop і середовищем. Саме тут живуть deadlines, ліміти кроків, permissions, sandbox, retries, checkpoints, tracing та перевірка terminal outcome.

Термін не слід використовувати як модну назву для одного system prompt або SDK wrapper. Prompt engineering налаштовує інструкції; context engineering відбирає інформацію для конкретного model call; planner пропонує шлях; framework дає abstractions; harness зв'язує ці частини з реальним runtime contract. Один продукт може постачати готовий harness, інший — primitives для власного, але бренд моделі не визначає надійність усієї системи.

• Model → пропонує відповідь або tool call у межах видимого контексту.
• Harness → керує циклом, станом, tools, budgets, isolation і recovery.
• Application policy → визначає authority, approvals і допустимий outcome.
• Environment → виконує команди та зберігає authoritative artifacts.

Production baseline має п'ять окремих контрактів. Session є append-only журналом подій із correlation ID. Loop збирає input, викликає модель, валідовує response і застосовує stop policy. Tool gateway публікує вузький allowlist та повторно перевіряє аргументи й права. Sandbox ізолює filesystem, processes і network destinations. State store тримає task status, artifact references, approvals і postconditions незалежно від chat transcript.

Розділення важливе для заміни компонентів. Модель або prompt можна оновити без міграції authoritative task state; sandbox можна посилити без переписування planner; tool implementation можна відкотити, зберігши trace. Anthropic описує session, harness і sandbox як окремі частини managed-agent системи, а OpenAI — model-native harness разом із sandbox execution. Це first-party архітектурні описи, не доказ універсальної переваги конкретного продукту.

• Session log: model calls, tool requests, results, approvals і terminal reason.
• Task state: planned, running, blocked, awaiting-approval, completed або failed.
• Artifact store: versioned outputs, checksums, provenance і owner.
• Sandbox policy: mounts, secrets, network egress, resource limits і cleanup.
• Control plane: budgets, kill switch, concurrency, resume та reconciliation.

Long-running agent переходить між context windows, restarts і approval waits. Compaction допомагає вмістити історію, але не замінює durable state. Checkpoint повинен містити task version, виконані acceptance criteria, перевірені artifacts, відкриті ризики, pending approvals, останні authoritative postconditions і один конкретний next step. Новий session починає з перевірки environment та state, а не з довіри до оптимістичного summary попередньої моделі.

Anthropic у дослідженні long-running harness використовувала feature list, progress artifact, version control і базову end-to-end перевірку перед наступною зміною. Переносимий принцип тут не назва файла, а handoff protocol: робота розбита на завершувані slices, статус підтверджується тестом, а наступний worker отримує короткий перевірний пакет. Для support або research таким пакетом можуть бути case state, evidence ledger і незавершена дія, а не git commit.

Harness не повинен передавати моделі універсальний tool catalog і сподіватися, що prompt утримає межі. Для кожного кроку tool gateway перевіряє actor, tenant, resource, action, parameters, risk tier, approval version та expiry. Read, draft і write operations мають різні credentials. Consequential action отримує idempotency key, preflight preview і очікувану postcondition; timeout після виклику веде до reconciliation, а не до сліпого retry.

Sandbox зменшує blast radius, але сам по собі не створює business authorization. Процес може бути ізольований і водночас мати небезпечний token або дозволений egress до production API. Тому effective authority є перетином sandbox policy, credential scope, tool contract, application rules і чинного approval. Prompt injection, compromised dependency або помилка моделі не повинні мати змоги розширити цей перетин текстовою інструкцією.

• Unknown permission або stale approval → fail closed.
• Невідомий результат write call → reconcile before retry.
• Новий destination або scope → окрема authorization decision.
• Kill switch → блокує нові дії, але залишає forensic evidence і recovery path.

Golden tasks мають перевіряти outcome і trajectory. Детерміновані graders підтверджують schema, filesystem diff, API postcondition, budget і заборонені events. Model grader може оцінити якість відкритого artifact, але не замінює перевірку permissions або фактичного side effect. Human review потрібен для неоднозначної корисності й material risk. Критичне policy violation не можна усереднювати з хорошим стилем відповіді.

Failure suite охоплює context exhaustion, corrupted checkpoint, duplicate delivery, lost tool response, partial commit, revoked credential, stale branch, unavailable dependency, prompt injection у retrieved content і agent, що оголошує завершення до проходження acceptance test. Порівнюйте не лише task success, а verified progress per run, unnecessary tool calls, recovery success, reviewer minutes, wall-clock time і cost per accepted outcome на однаковому corpus. Vendor-reported experiments не є вашим baseline.

Почніть із bounded read-only задачі, для якої deterministic workflow уже має baseline. Додайте один model loop, два-три distinct tools, explicit terminal states, task state поза transcript і повний trace. Потім введіть restart fixture, corrupted-state fixture та canary на малому сегменті. Multi-agent planner-generator-evaluator, довгі автономні loops або write authority додавайте лише тоді, коли простіший harness не проходить зафіксовані task slices.

Harness encode-ить припущення про слабкі місця поточної моделі, тому кожен workaround має owner, eval і review date. Після model або tool upgrade проведіть ablation: чи потрібні ще окремий planner, примусовий context reset, надмірна кількість critique loops або великий prompt. Rollback повертає сумісний комплект loop policy, tool versions і checkpoint schema; active writes спершу reconcile-яться. Найкращий harness — не найбільший, а найменший контур, який доказово завершує ваші задачі в заданих межах.

• Define → outcome, authority, environment і terminal states.
• Instrument → session events, state transitions, budgets і artifacts.
• Evaluate → success, policy, recovery, efficiency та human acceptance.
• Canary → read-only, bounded concurrency, kill switch і on-call owner.
• Simplify → регулярно видаляйте scaffolding, що більше не дає вимірного gain.