Перейти до основного вмісту
Основний•8–12 годин

AI Serving Release Envelope Lab

Побудуйте керований release contract для AI runtime: exact model/config fingerprint, readiness checks, bounded retries, canary, rollback і runtime verification замість припущення, що зелений CI вже означає production truth.

AI servingrelease envelopesruntime verificationcanary rolloutrollbackreliability engineering

Сценарій

Задача

Команда змінює модель, prompt, retrieval index або tool configuration і отримує зелений CI. Небезпека в тому, що production може запустити інший model revision, stale prompt, неповний index або старі tool scopes. Потрібен release envelope, який зв’язує перевірений candidate із фактичним runtime та дозволяє довести, що canary і production виконують саме протестовану конфігурацію.

Покрокове виконання

1. Визначте release unit ширше за git commit

Результат: Команда може однозначно назвати поведінкову конфігурацію, яку фактично перевіряла.

Завдання

  • →Зберіть code/model/prompt/retrieval/tool/policy/dependency fingerprint
  • →Зафіксуйте immutable або resolvable version identifiers
  • →Визначте owner кожного mutable component
  • →Забороніть ambiguous aliases у production evidence без resolved version

Перевірки

  • ✓Одна approved envelope відповідає одній відтворюваній конфігурації
  • ✓Зміна model alias або retrieval index змінює fingerprint
  • ✓Secrets не потрапляють у evidence artifact

2. Побудуйте readiness та failure contract

Результат: Runtime не приймає трафік, якщо критична залежність або policy state не готові.

Завдання

  • →Розділіть liveness і readiness
  • →Встановіть timeout, cancellation і bounded retry
  • →Додайте provider/retrieval/tool dependency health
  • →Опишіть degraded mode та stop conditions

Перевірки

  • ✓Readiness fail не маскується liveness success
  • ✓Retry budget не створює retry storm
  • ✓Degraded mode не розширює authority або data scope

3. Проведіть staged rollout

Результат: Candidate отримує bounded production exposure до повного promotion.

Завдання

  • →Запустіть shadow або replay там, де це можливо
  • →Виділіть canary cohort
  • →Порівняйте runtime quality/reliability/cost signals з baseline
  • →Зафіксуйте explicit promote/hold/rollback verdict

Перевірки

  • ✓Critical safety або authority regression блокує promotion незалежно від aggregate score
  • ✓Canary має достатній observation window для заявленого risk class
  • ✓Rollback target перевірений до rollout

4. Доведіть runtime truth

Результат: Production status підтверджується зовнішнім/runtime evidence, а не фактом завершення pipeline.

Завдання

  • →Зчитайте фактичний runtime fingerprint
  • →Порівняйте його з approved envelope
  • →Симулюйте stale model/prompt/index mismatch
  • →Збережіть deployment verification artifact

Перевірки

  • ✓Mismatch завершується FAIL або UNKNOWN, але не PASS
  • ✓CI PASS не підміняє deploy verification
  • ✓Rollback також підтверджується фактичним runtime fingerprint

Критерії приймання

  • Release envelope версіонує code, model, prompt, retrieval, tools, policies, dependencies і eval dataset
  • Readiness перевіряє критичні AI-залежності та має bounded timeout/retry/cancellation policy
  • Canary має explicit promote/hold/rollback criteria і known-good rollback target
  • Production verification машинно порівнює фактичний runtime fingerprint з approved envelope
  • Stale або mismatched runtime configuration не може отримати PASS

Матеріали перед виконанням

LLM serving: базова архітектура

LLM serving перетворює ваги моделі на керований багатокористувацький сервіс. Пояснюємо router, scheduler, prefill і decode, KV cache, continuous batching, streaming, admission control, SLO, безпечний rollout і capacity planning.

Retries, rate limits та idempotency

Як повторювати тимчасові збої без retry storm, обробляти 429, використовувати exponential backoff, jitter, retry budget та idempotency keys для безпечних операцій.

Production monitoring AI-систем

Production monitoring AI-систем поєднує SRE-сигнали з якістю, safety, drift, вартістю та людським feedback. Стаття визначає telemetry contract, SLI/SLO, sampling, privacy, алерти, canary, rollback і зв’язок із evaluation datasets.

Incident response для AI

AI incident response адаптує Detect–Respond–Recover до помилок моделей, retrieval, tools, даних і політик. Розглядаємо severity, evidence preservation, containment, safe rollback, комунікації, відновлення та перетворення інцидентів на контрольні тести.