Як Nextdoor використовує Codex для outcome engineering

Nextdoor описує зсув від iterative prompting до outcome engineering: інженер визначає результат — screenshot, performance target, test result або feature behavior — і дає Codex чисте середовище та harness, у якому агент може досліджувати проблему. Це змінює bottleneck: менше часу йде на механіку implementation, більше — на product/strategy question.

Особливо показовий cross-stack case: одна людина могла реалізувати end-to-end map feature для Opportunity Alerts, який історично торкався mobile, frontend і backend команд. Для відтворення це не аргумент «скасуйте спеціалізацію», а сигнал, що agent може виконувати bounded cross-stack work, якщо acceptance contract, repo boundaries і verification досить сильні.

Trigger — issue, feature request, failing test, performance regression, Kubernetes/runtime incident або product outcome, який треба реалізувати. Input — clean environment, relevant repositories, task contract, screenshots/video/acceptance tests, logs, metrics, constraints і allowed tools. AI stage: investigate → plan → edit → run tests/benchmarks → inspect failures → iterate.

Integrations — Git repositories, build/test systems, Kubernetes/infra logs, analytics, preview environment і CI. Output — patch/branch/PR, reproducible diagnosis, tests і evidence package. Production deploy та merge authority не повинні бути прихованою побічною дією model run.

• Trigger → issue/feature/incident.
• Input → clean environment + acceptance evidence + scoped repos.
• AI → investigate → implement → verify → iterate.
• Integrations → Git, tests, CI, infra/analytics, preview.
• Output → reviewable change + verification evidence, не automatic production merge.

OpenAI story прямо згадує clean environment і harness для hard-to-reproduce issues. Це ключовий pattern: agent performance залежить не лише від model, а від того, чи може середовище детерміновано відтворити failure і виміряти success. Поганий harness створює false green, де агент «успішно» виправив те, що тест ніколи не ловив.

Task contract має фіксувати base commit, repo scope, setup command, deterministic tests, performance budget, expected artifacts і prohibited actions. Secrets мінімізуються; network egress allowlisted. Якщо investigation потребує production data, краще sanitized snapshot або read-only evidence path, а не reusable privileged credentials у shell history.

Codex може довго розслідувати esoteric technical issue і iteratively виконувати tests. Це A4 по execution horizon: агент сам обирає багато локальних кроків усередині task contract. Але autonomy execution не дорівнює authority release. Branch, CI, code-owner/security checks і human product decision лишаються окремими gates.

Для low-risk repetitive maintenance можна auto-open PR і auto-run checks. Для schema migration, auth, payments, data deletion, infra або broad refactor — risk tier підвищується, потрібні stronger tests і reviewers. Агент не має права редагувати branch-protection/CI instructions, щоб «полагодити» власний failed gate.

Failure modes: flaky test, stale base, hidden dependency, network nondeterminism, partial migration, generated file mismatch, race condition, Kubernetes state mismatch, tool timeout і agent loop. Retry без classification може просто повторювати noise. Harness повинен розрізняти product failure, test-infra failure і provider/tool failure.

Перед write/rebase агент перевіряє current base; після main advance — rebase/replay і повний rerun. Multi-repo changes мають version-bound plan. Якщо test flaky — карантин/diagnostic evidence, а не видалення тесту. Incident або reviewer correction стає minimized regression case, щоб наступний agent run не повторив той самий клас помилки.

Eval slices: bug reproduction, unit/integration tests, performance, UI screenshot diff, cross-platform behavior, security scans, dependency changes, migration rollback і no-regression. Final grader має дивитися не тільки на diff, а на environment outcome: чи запустився service, чи зник race, чи feature відповідає acceptance, чи не зламався adjacent flow.

Для coding agent корисні metrics: verified task success, rework after review, escaped defects, flaky-test contribution, median time to first valid PR, cost per merged verified change і rollback rate. Lines of code або кількість PR — другорядні: agent може дуже продуктивно виробляти сміття, і це теж масштабування.

Nextdoor має platform-scale product, де issue/feature/infra tasks виникають постійно. Cost включає model tokens/credits, remote compute, build minutes, CI, preview environments, artifact storage, human review і failed-run rework. Для довгих debugging tasks compute та repeated tests можуть коштувати більше за inference.

Scale робиться через queueing і bounded concurrency: repo locks для conflict-prone areas, per-team budgets, max runtime, max retries і cancellation. Cheap/simple tasks можна маршрутизувати в lighter model/harness; hard debugging — stronger model із більшим budget. KPI — cost per accepted outcome, а не token price.

Етап 1 — один repository і deterministic task class, наприклад failing unit test або dependency cleanup. Етап 2 — clean sandbox + acceptance contract. Етап 3 — agent створює branch і proof artifacts. Етап 4 — CI/security/code-owner review. Етап 5 — canary/preview та human merge. Етап 6 — post-merge monitoring і incident→regression.

Підходить teams із хорошими tests, reproducible environments і чітким ownership. Якщо build займає годину, flaky tests панують, а acceptance існує лише в голові senior-а, агент просто швидше покаже, що delivery system уже був зламаний. 80/20 інвестиція — harness і acceptance tests, не ще один prompt template.