Як Boston Children’s застосував OpenAI для повторного аналізу рідкісних хвороб

Rare-disease cases можуть залишатися нерозв'язаними роками: геномні варіанти численні, phenotype неповний, а gene-disease literature змінюється швидше, ніж одна команда може системно перечитувати все вручну. Саме periodic reanalysis є дорогою когнітивною задачею, де reasoning model потенційно корисна як search-and-hypothesis amplifier.

Boston Children’s, Harvard і OpenAI перевірили це ретроспективно на 376 already analyzed unsolved cases. Критична межа кейсу: model surfaced evidence-linked hypotheses; physicians established diagnoses лише після expert adjudication, додаткових tests і clinical confirmation. Тому правильна production abstraction тут — research copilot з autonomy A2, а не autonomous diagnostician.

Trigger — approved retrospective reanalysis event: new literature, updated gene-disease evidence або scheduled review of unresolved cases. Input — de-identified clinical phenotype, genomic information, inheritance/context metadata та дозволена scientific evidence base. До model call діють data-eligibility, de-identification і access controls.

AI stage synthesizes phenotype, variant/context information і literature, формуючи candidate explanations із evidence trail. Integrations у production-like research environment можуть включати case registry, variant annotations, literature retrieval і laboratory workflow, але consequential clinical systems не повинні бути writable за замовчуванням. Output — ranked/reviewable hypotheses з citations, uncertainty і missing-evidence fields.

• Trigger → scheduled/knowledge-driven reanalysis approved by research/clinical owner.
• Input → de-identified, task-eligible clinical/genomic packet + versioned scientific evidence.
• AI → generate evidence-linked candidate hypotheses, не diagnosis.
• Human → specialist adjudication → additional test where indicated → clinical/lab confirmation.
• Output → reviewed research finding; patient-facing decision лишається clinical authority.

Для такого workflow одна з найнебезпечніших помилок — змішати levels of evidence. Model-generated hypothesis має нижчий статус, ніж specialist interpretation; specialist interpretation — нижчий, ніж validated laboratory/clinical confirmation. UI і data model повинні зберігати цей hierarchy явно, а не показувати всі outputs як однаково 'готові'.

Claim-level provenance має включати source publication, access date/version, genomic annotation version, model/reasoning configuration і reviewer decision. Якщо literature змінилася, попередній hypothesis не стає автоматично false, але його evidence snapshot уже historical. Reanalysis має бути version-aware.

A2 означає, що AI може автоматизувати підготовку й аналіз, але decision loop залишається expert-led. OpenAI прямо зазначає: модель не діагностувала participants і не приймала clinical decisions. Кожен позитивний lead проходив established review/testing/confirmation processes. Це не косметичний disclaimer, а основна архітектура безпеки.

Study використовував de-identified information і не передавав protected health information поза approved environments. Для реального deployment потрібні purpose limitation, least-privilege access, auditability, retention/deletion rules і локальна regulatory review. Навіть дуже сильний model result не дає права розширити data scope постфактум.

Failure modes: phenotype incomplete; variant annotation stale; literature contradicts candidate; model overweights a plausible paper; citation не підтримує claim; duplicate patient/case identity; data-quality artifact; hypothesis medically coherent but laboratory test negative. System повинен зберігати rejected/uncertain state, а не тиснути reviewer до binary answer.

No-answer є валідним outcome. Якщо evidence недостатньо, модель повертає unresolved gaps і possible next research questions, а не вигадує closure. Negative findings і false leads мають потрапляти в evaluation corpus, інакше система вчитиметься лише на красивих success stories.

Study result 18/376, або 4.8% additional diagnostic yield, не є '95.2% error rate' і не є general diagnostic accuracy. Cohorts heterogeneous; early psychosis subgroup був малий; reviewers не були blinded to model confidence. OpenAI прямо вказує, що time saved, cost, clinician effort і false-positive workload не вимірювались.

Production KPI мають включати hypothesis recall on adjudicated historical cases, unsupported-citation rate, reviewer workload, time to adjudication, additional-test burden, privacy incidents, clinically confirmed yield і harmful false-reassurance rate. Окремо вимірюється abstention quality. Будь-яка ROI-модель без reviewer/test cost тут буде бухгалтерською фантастикою.

Eval set: solved historical cases з hidden outcome, truly unresolved cases, phenotype noise, outdated literature, conflicting papers, ancestry/data-bias slices, missing inheritance info, citation traps і adversarial text inside imported documents. Deterministic checks validate structured fields/citations/data eligibility; specialist graders оцінюють plausibility, evidence support, harmful omission і next-step appropriateness.

Rollout: `retrospective offline study → shadow reanalysis → research-only candidate generation → specialist-reviewed workflow → narrowly governed prospective assistance`. Ніякого automatic patient communication або treatment recommendation. Model upgrade запускає full regression on locked cases; high-severity miss або privacy breach блокує promotion.

Патерн релевантний academic medical centers, genomic research programs і specialist diagnostic teams із curated case registry, scientific-literature access і established confirmation processes. Він не підходить consumer symptom checker, який намагається напряму перенести research model у patient-facing diagnosis.

Pilot починається зі retrospective de-identified dataset і ethics/privacy approval. Зафіксуйте baseline specialist process, lock outcomes, побудуйте provenance-preserving case packet, проганяйте model у shadow і оцінюйте hypotheses blind там, де можливо. Лише після доказу incremental utility та прийнятного reviewer burden переходьте до prospective research assistance.