Як Ramp використовує Claude Code для engineering та incident response

Ramp уже працює з високою cadence розробки, тому просте автодоповнення коду не закриває головний bottleneck. Інженеру потрібні repository context, tests, telemetry, feature flags та product constraints; під час incident — ще й швидке зведення сигналів з кількох observability systems. Якщо AI лише пише правдоподібний diff або summary, перевірка все одно лишається ручною й розпорошеною.

Публічний кейс Anthropic описує три взаємопов'язані workflow: автоматизацію test loop, incident investigation через MCP і ticket-to-code. Ramp Engineering додає важливу архітектурну деталь: Inspect запускається у власній sandboxed VM та має інструменти, щоб довести виконання задачі. Інформаційна цінність кейсу саме тут: корисний coding agent повинен замикати цикл `зміна → перевірка → evidence`, а не зупинятися на генерації коду.

Для coding trigger — ticket або explicit engineering task. Input містить pinned base revision, acceptance criteria, repository instructions, дозволені commands і scoped credentials. Agent планує зміну, працює у branch/sandbox, запускає tests і формує review artifact. Для incident trigger — alert або on-call request; input — time-bounded logs, errors, traces, metrics, deploy history та service ownership metadata.

MCP або custom tools не мають перетворювати весь production estate на один великий prompt. Інтеграції повертають мінімальний task-relevant context із provenance. Output incident workflow — evidence-linked hypothesis, affected services, timeline, uncertainty та рекомендований next check. Output coding workflow — diff, test results, screenshots/previews де доречно, unresolved risks і точна версія base state.

• Trigger → ticket, alert або explicit bounded request.
• Context → repository SHA, service ownership, time window, approved telemetry і task policy.
• Agent → plan, retrieve, edit/analyze, run tools, compare postconditions.
• Evidence → tests, logs, traces, screenshots, feature-flag state та source links.
• Authority → human review, merge, incident command і production release залишаються окремими gates.

За описом Anthropic, Ramp підключає Claude Code через MCP до Datadog і Sentry, щоб автономно агрегувати logs, error reports та system metrics. Це добрий fit для першої фази incident response: швидко побудувати спільний контекст і прибрати механічне перемикання між консолями. Reported скорочення initial triage time до 80% стосується ранніх спостережень цього конкретного workflow.

Agent hypothesis не повинна автоматично ставати root cause. Correlation може бути випадковою, time window — хибною, telemetry — неповною, а останній deploy — лише помітною, але не причинною подією. On-call owner підтверджує scope і mitigation. Після change система читає authoritative health state та перевіряє postcondition; красивий фінальний текст не є доказом recovery.

Inspect описаний як background agent у sandboxed VM з локальним development stack. Така ізоляція дозволяє A4: агент довго й самостійно виконує bounded task, користується інструментами та відновлюється після локальних помилок. Але autonomy обмежена середовищем і task contract. Production secrets, merge, deploy та incident command не повинні автоматично успадковуватися від людини, яка створила задачу.

Кожен tool отримує окремі read/write scopes. Datadog/Sentry read доступ не дає права змінювати alerts; GitHub branch write не дає merge; LaunchDarkly read не дає змінювати production flag. Для consequential action потрібні policy check, explicit approver, idempotency key і reconciliation. Це не бюрократія навколо агента, а спосіб зробити довгі runs безпечними.

Acceptance contract має бути executable там, де це можливо: targeted unit/integration tests, typecheck, lint, security scan, migration dry run, visual comparison, telemetry query або invariant feature flag. Agent зберігає command, environment/version, exit status і relevant artifact. Reviewer повинен бачити не лише diff, а зв'язок між вимогою та доказом.

Passing tests теж не абсолютний oracle: test suite може не покривати вимогу або бути модифікований самим агентом так, щоб приховати regression. Тому незалежні CI controls, protected test assets для critical slices, diff limits і human review лишаються потрібними. Для incident task verification включає стабілізацію authoritative metrics протягом визначеного window, а не одноразовий зелений snapshot.

Основні failure modes: main просунувся після старту; ticket змінився; permission відкликали; MCP повернув truncated data; tool timeout стався після side effect; тест flaky; telemetry lag створив хибне recovery; агент змінив ширший scope, ніж дозволено. Для кожного run потрібні task ID, base revision, tool/model versions, checkpoints і immutable audit events.

Resume не продовжує стару сесію сліпо. Він повторно перевіряє identity, permissions, source freshness, target state й acceptance contract. Після невизначеного write діє `reconcile first, retry second`: спочатку прочитати GitHub, flag system або інший system of record, потім вирішити, чи потрібна повторна дія. Conflict або недостатнє evidence переводять task у human review, а не стимулюють агента вигадувати closure.

Мільйон AI-suggested lines — adoption/volume signal, але line count не вимірює customer value, correctness або maintainability. Майже 50% weekly usage також не показує, які task classes завершилися успішно. Для власного rollout корисніші accepted-task rate, lead time by task class, first-pass test rate, escaped defect severity, incident time-to-evidence, review minutes, rollback rate і cost per verified outcome.

Повна собівартість включає model/API, context retrieval, MCP/connectors, sandbox compute, CI, observability queries, storage, human review, rework та incident reserve. Окремо вимірюйте false-positive investigation cost: agent може швидко зібрати багато сигналів, але хибна впевненість забере більше on-call часу, ніж ручний пошук. Порівнювати слід із власним baseline на однакових задачах.

Eval corpus складається із закритих tickets та incidents: straightforward fix, ambiguous requirement, stale branch, flaky test, vulnerable dependency, incomplete telemetry, misleading recent deploy, permission denial, prompt injection у ticket/log і timeout after write. Deterministic graders перевіряють build, tests, scope та forbidden actions; engineering reviewers — requirement fidelity, diagnosis support, maintainability й severity пропусків.

Rollout: `offline replay → read-only incident synthesis → sandbox coding → PR-only agent → bounded background tasks → selected incident tooling`. Promotion відбувається окремо для кожного task/risk slice. Будь-який production-authority violation блокує розширення незалежно від середнього score. Model, prompt, tool або MCP-server change запускає regression replay і canary.

Патерн підходить engineering organizations із зрілими tests, observability, service ownership і branch protection. Якщо немає reproducible environment та зрозумілого definition of done, background agent лише швидше масштабує технічну невизначеність. Почніть із одного repository і одного bounded class задач — наприклад, test repair або evidence collection для типового alert.

За 3–5 тижнів зберіть 50–100 historical tasks, pinned sandboxes, read-only observability tools, task manifests та незалежний CI gate. Порівняйте час до verified artifact, reviewer effort, error severity і full cost. Лише після стабільного replay дайте branch writes; merge та production mitigation залиште за людьми, доки окремі safety evals не доведуть вузьке розширення authority.