Перейти к основному содержимому
Основной•8–12 часов

Лаборатория release envelope для AI serving

Постройте управляемый release-контракт для AI runtime: точный fingerprint модели/конфигурации, readiness-проверки, ограниченные retries, canary, rollback и runtime verification вместо предположения, что зелёный CI уже означает production truth.

AI servingrelease envelopesruntime verificationcanary rolloutrollbackreliability engineering

Сценарий

Задача

Команда меняет модель, prompt, retrieval index или конфигурацию tools и получает зелёный CI. Production всё равно может запустить другую ревизию модели, устаревший prompt, неполный index или старые tool scopes. Постройте release envelope, который связывает проверенный candidate с фактическим runtime и доказывает, что canary и production выполняют именно протестированную конфигурацию.

Пошаговое выполнение

1. Определите release unit шире git commit

Результат: Команда может однозначно назвать поведенческую конфигурацию, которую действительно проверяла.

Задачи

  • →Соберите fingerprint code/model/prompt/retrieval/tools/policy/dependencies
  • →Зафиксируйте immutable или resolvable идентификаторы версий
  • →Назначьте owner каждому mutable component
  • →Запретите ambiguous aliases в production evidence без resolved version

Проверки

  • ✓Один approved envelope соответствует одной воспроизводимой конфигурации
  • ✓Смена model alias или retrieval index меняет fingerprint
  • ✓Secrets не попадают в evidence artifact

2. Постройте readiness и failure contract

Результат: Runtime не принимает traffic, если критическая зависимость или policy state не готовы.

Задачи

  • →Разделите liveness и readiness
  • →Установите timeout, cancellation и bounded retry
  • →Добавьте health provider/retrieval/tools
  • →Опишите degraded modes и stop conditions

Проверки

  • ✓Readiness fail не маскируется liveness success
  • ✓Retry budget не создаёт retry storm
  • ✓Degraded mode не расширяет authority или data scope

3. Проведите staged rollout

Результат: Candidate получает ограниченную production exposure до полной promotion.

Задачи

  • →Запустите shadow или replay, где возможно
  • →Выделите canary cohort
  • →Сравните quality/reliability/cost signals с baseline
  • →Зафиксируйте явный verdict promote/hold/rollback

Проверки

  • ✓Критическая safety- или authority-регрессия блокирует promotion независимо от aggregate score
  • ✓Canary имеет observation window, соответствующий risk class
  • ✓Rollback target проверен до rollout

4. Докажите runtime truth

Результат: Production status подтверждается runtime evidence, а не фактом завершения pipeline.

Задачи

  • →Считайте фактический runtime fingerprint
  • →Сравните его с approved envelope
  • →Смоделируйте stale model/prompt/index mismatch
  • →Сохраните deployment verification artifact

Проверки

  • ✓Mismatch завершается FAIL или UNKNOWN, но не PASS
  • ✓CI PASS не подменяет deploy verification
  • ✓Rollback также подтверждается фактическим runtime fingerprint

Критерии приёмки

  • Release envelope версионирует code, model, prompt, retrieval, tools, policies, dependencies и eval dataset
  • Readiness проверяет критические AI-зависимости и имеет bounded timeout/retry/cancellation policy
  • Canary имеет explicit promote/hold/rollback criteria и known-good rollback target
  • Production verification машинно сравнивает фактический runtime fingerprint с approved envelope
  • Stale или mismatched runtime configuration не может получить PASS