Система работы с курсом
Как проходить курс, чтобы остался проверяемый результат
1. Начать с проблемы, а не с модели
Для каждой темы зафиксируйте user или job, частоту, baseline текущего процесса, impact отказа и критерий, показывающий, что AI действительно лучше более простой автоматизации.
2. Определить evidence до prototype
До demo опишите representative cases, acceptance thresholds, forbidden outcomes и бизнес-метрику. Иначе prototype убедительно доказывает в основном то, что prototype существует.
3. Экспериментировать через evals
Каждое изменение model, prompt, context или tool сравнивайте с одним evaluation contract и baseline. Online experiment запускайте только после offline quality и safety gates.
4. Запускать как операционную систему
Canary, budget, monitoring, human review, incident path, rollback и sunset — часть product design. «Operations разберётся после launch» для AI обычно означает передать им сюрприз.