Як Harvey використовує Claude для legal workflows і domain evals

Legal AI працює з довгими договорами, due diligence, litigation material і compliance, де гарно написана помилка може коштувати значно дорожче за повільну відповідь. Harvey інтегрував Claude у domain-specific platform і оцінює моделі не лише на загальних benchmarks, а через власний BigLaw Bench, product environments і перевірку legal та AI researchers.

Anthropic customer story повідомляє, що Claude був розгорнутий у Harvey менш ніж за місяць, показав один із найсильніших результатів на їх proprietary evaluation і statistically significant improvements у складних long-context workflows. Це provider/customer evidence, не незалежний legal benchmark. Сильна частина кейсу — не headline score, а дисципліна: model selection прив'язаний до domain evals.

Harvey описує Assistant, Vault і Workflows, де legal users працюють із документами та end-to-end tasks. Відтворюваний pattern: визначити matter/tenant і authorized sources, нормалізувати documents, поставити конкретну legal task, отримати structured intermediate work, дати reviewer checkpoint, зафіксувати edits/approval і лише після цього сформувати final artifact.

Human-in-the-loop тут не декоративний. Customer story прямо описує checkpoints, де користувач може додати, змінити, видалити або переформувати content перед approval. Це правильна authority boundary для high-stakes knowledge work: модель прискорює synthesis і reasoning, але professional judgment, client-specific interpretation і consequential filing або advice не стають автоматично model-owned.

• Scope → matter, user, jurisdiction, authorized corpus.
• Retrieve/read → exact documents and versions.
• Reason → task-specific analysis або draft.
• Cite/trace → evidence to source passages where supported.
• Checkpoint → lawyer edits, approves або escalates.
• Finalize → work product with version/provenance.
• Evaluate → substance + form + hallucination/materiality errors.

Harvey описує три шари оцінки: proprietary BigLaw Bench, реальні product environments і unstructured assessment AI та legal researchers. У BigLaw Bench оцінюють substance — accuracy, materiality, hallucination — та form: tone, length, formatting. Така схема набагато ближча до production truth, ніж одна leaderboard цифра.

У 2026 Harvey продовжує публічно оновлювати model portfolio: Sonnet 5 та Opus 5 доступні у відповідних product surfaces, а Harvey публікує власні benchmark results для нових releases. Це current product evidence, але його не слід змішувати з первинним integration case. Для AI-Magister головний pattern — кожен model upgrade проходить domain eval before routing або rollout.

Anthropic/Harvey повідомляють deployment Claude across platform менш ніж за місяць і statistically significant improvements у complex long-context workflows. Harvey у червні 2026 повідомив, що Claude Sonnet 5 набрав 91,3% на їх BigLaw Bench — найвищий зафіксований Harvey результат серед Sonnet та Opus на момент публікації. У липні 2026 Harvey також зробив Opus 5 доступним у Model Selector.

Ці числа — Harvey proprietary evaluation, не універсальна legal accuracy. Вони не означають 91,3% «правильних юридичних відповідей» у будь-якій юрисдикції. Для власного deployment потрібні task-level metrics: issue spotting, citation validity, clause extraction accuracy, material omission rate, unsupported claim rate, reviewer correction severity, time-to-approved-work-product і critical-error ceiling.

Legal workload часто містить privileged, confidential або deal-sensitive data, тому architecture починається з identity й matter boundary. Retrieval має бачити лише дозволений corpus, temporary uploads не повинні випадково стати shared knowledge, а cross-matter leakage тестується adversarially. Model/provider policy не замінює application-side access control.

Для audit зберігайте source/version IDs, task contract, model/version, retrieval evidence, generated artifact hash, reviewer edits і final approval — але retention має відповідати legal/data policy. Логи з повними договорами «для observability» можуть створити новий uncontrolled repository. Мінімізація даних тут є і security control, і operational discipline.

Модель може добре працювати з великим контекстом і все одно пропустити критичний exception, переплутати amendment version, зробити unsupported inference або надати правильне правило не для тієї jurisdiction. Тому потрібні versioned source packs, conflict detection, explicit unknown/abstain behavior і critical-issue checklist.

Другий ризик — automation bias: красивий draft прискорює review настільки, що reviewer перестає шукати omission. Розв'язання — targeted graders і blind spot tests: навмисно підмішати superseded clause, contradictory schedules, missing annex, adverse precedent або prompt injection у document text. High-severity miss блокує rollout незалежно від середнього score.

Для public Harvey/Claude case доречний A3: значний analysis і drafting автоматизований, але checkpoints і professional approval залишаються центральними. Не можна з customer story зробити висновок, що Claude має самостійно подавати filings, погоджувати material deal terms або видавати остаточну legal advice без qualified human authority.

Authority matrix: read authorized documents; create draft; propose issue/action; request additional evidence; never expand matter scope самостійно; consequential external action лише через authenticated application flow і required professional approval. Якщо модель знаходить «термінову проблему», це підвищує priority review, але не видає їй нові permissions.

Виберіть 30–100 завершених legal tasks із approved work product і source corpus. Розбийте scoring на substance і form; substance має більшу вагу для high-risk tasks. Додайте material omissions, hallucinations, citation errors і jurisdiction mistakes як hard failures. Запустіть кілька моделей blind, не показуючи reviewer brand або model, і порівняйте не лише quality, а reviewer time та cost.

Після offline eval — shadow mode на live matters, потім bounded pilot для одного workflow, наприклад contract review. Model upgrade або prompt/retrieval change проходить regression set. Production KPI — time to approved work product при незмінному або кращому critical-error budget. Якщо модель пише удвічі швидше, а senior lawyer витрачає стільки ж часу на verification, business outcome не змінився.