Перейти до основного вмісту
Основний•8–14 годин

AI Capacity, Cost & Chaos Lab

Перевірте AI workload під навантаженням: concurrency, token/tool budgets, queues, backpressure, 429/5xx/timeouts, load shedding, degraded mode та cost per successful verified task.

capacity planningautoscalingqueueingbackpressurefailure injectionAI unit economics

Сценарій

Задача

AI endpoint стабільний на демо-навантаженні, але production traffic має bursty arrival rate, довгі contexts, parallel tool calls і provider quotas. Просте autoscaling CPU не вирішує token throughput, queue delay, 429, retry amplification або cost explosion. Потрібна capacity model, яка вимірює корисно завершені задачі, а не лише кількість запущених pod-ів.

Покрокове виконання

1. Побудуйте workload model

Результат: Capacity planning враховує AI-specific demand, а не середню кількість HTTP requests.

Завдання

  • →Виміряйте arrival rate і burstiness
  • →Зберіть distribution input/output tokens
  • →Зафіксуйте tool-call fan-out і slowest dependency
  • →Розділіть user-facing, batch і high-priority workloads

Перевірки

  • ✓P95/P99 workload відрізняється від average case
  • ✓Unknown quota або provider limit позначений як risk
  • ✓Priority policy не дозволяє starvation критичних задач

2. Встановіть budgets і scaling signals

Результат: Autoscaling реагує на saturation, queue і token throughput, а не лише CPU.

Завдання

  • →Визначте concurrency ceiling
  • →Встановіть token/tool/time budgets
  • →Додайте queue age/depth і saturation signals
  • →Розрахуйте cost per successful verified task

Перевірки

  • ✓Budget exhaustion завершує або деградує задачу контрольовано
  • ✓Scaling signal має causal relation до bottleneck
  • ✓Cost metric не рахує failed/unsafe tasks як успіх

3. Проведіть chaos/load tests

Результат: Відомі overload і dependency failures мають передбачувану системну реакцію.

Завдання

  • →Інжектуйте 429/5xx/timeouts
  • →Затримайте tool/retrieval dependency
  • →Створіть burst із long-context requests
  • →Перевірте retry amplification і queue recovery

Перевірки

  • ✓Немає infinite retries або unbounded queue growth
  • ✓Load test не обходить tenant/risk limits
  • ✓Recovery не створює second spike через synchronized retries

4. Перевірте graceful degradation

Результат: При дефіциті capacity система зменшує функціональність, а не контроль.

Завдання

  • →Протестуйте load shedding
  • →Перевірте lower-cost/fallback model лише на eligible tasks
  • →Вимкніть non-essential tools
  • →Зафіксуйте recovery та normal-mode re-entry criteria

Перевірки

  • ✓Fallback проходить мінімальний eval contract
  • ✓Degraded mode не підвищує autonomy
  • ✓Повернення в normal mode не відбувається до стабілізації dependencies

Критерії приймання

  • Workload model містить burst, token, tool, queue і provider-quota характеристики
  • Capacity policy має bounded concurrency/token/tool/time budgets та explicit autoscaling signals
  • Chaos suite покриває 429, 5xx, timeout, slow dependency, quota exhaustion і retry amplification
  • Є load shedding/degraded mode з незмінними authority та privacy boundaries
  • Cost оцінюється як cost per successful verified task, а не просто cost per request

Матеріали перед виконанням

Autoscaling AI-навантажень

AI-навантаження мають дорогий cold start, нерівномірні запити й дефіцитні GPU, тому CPU-based autoscaling часто запізнюється. Стаття показує вибір сигналу, capacity buffer, warm-up, scale-down і тестування.

Оптимізація вартості LLM-систем

Як зменшувати витрати без сліпого downgrade: unit economics, token budgets, model routing, caching, batching, retrieval, observability і quality-adjusted cost.

Production monitoring AI-систем

Production monitoring AI-систем поєднує SRE-сигнали з якістю, safety, drift, вартістю та людським feedback. Стаття визначає telemetry contract, SLI/SLO, sampling, privacy, алерти, canary, rollback і зв’язок із evaluation datasets.

Retries, rate limits та idempotency

Як повторювати тимчасові збої без retry storm, обробляти 429, використовувати exponential backoff, jitter, retry budget та idempotency keys для безпечних операцій.