1. Подтвердите проблему evidence
Результат: Проблема подтверждена, а не придумана ради AI.
Задачи
- →Соберите user evidence
- →Опишите текущий workflow
- →Определите non-AI baseline
Проверки
- ✓Задокументирована рабочая non-AI альтернатива
Основной•10–16 часов
Досье discovery для AI-функции
Подготовьте decision-ready пакет по AI-функции: проблема, capability fit, UX, метрики, риски, экономика и план эксперимента.
product discoveryAI UXmetricsunit economicsrisk management
Сценарий
Задача
Команда предлагает AI-функцию без чёткой метрики ценности. Нужно решить, стоит ли её строить, как измерять качество и при каких условиях rollout должен быть остановлен.
Пошаговое выполнение
2. Оцените capability fit
Результат: Сильные и слабые стороны модели известны.
Задачи
- →Выберите репрезентативные задачи
- →Опишите impact ошибок
- →Определите необходимость approvals
Проверки
- ✓Нет promises без eval plan
3. Постройте metrics и economics
Результат: Ценность оценивается вместе с quality, latency и cost.
Задачи
- →Постройте metric tree
- →Рассчитайте cost per task
- →Определите thresholds
Проверки
- ✓Vanity metrics не используются как release gates
4. Спроектируйте rollout
Результат: Есть bounded experiment и путь rollback.
Задачи
- →Проведите offline eval
- →Определите pilot cohort
- →Добавьте monitoring
- →Зафиксируйте stop conditions
Проверки
- ✓Rollout не является big bang релизом
Критерии приёмки
- Есть non-AI baseline
- Metrics имеют thresholds
- Risks имеют controls
- Cost per task оценён
- Rollback criteria зафиксированы
Рубрика оценки
Как оценивается результат
Проходной балл: 72/100 · Отличие: 90/100
Evidence проблемы
Проблема подтверждена user evidence и non-AI baseline.
Недостаточно
AI ищет проблему.
Компетентно
Есть evidence и baseline.
Сильно
Есть quantified pain, альтернативы и различия сегментов.
Необходимые доказательства
- ✓ Ссылка на артефакт или код
- ✓ README с решениями и компромиссами
- ✓ Evidence выполненных проверок
- ✓ Problem brief
Capability fit и риски
Ограничения модели, impact сбоев и controls задокументированы.
Недостаточно
Capabilities декларируются без tests.
Компетентно
Есть representative tasks и controls.
Сильно
Есть eval dataset, approval policy и residual risk.
Необходимые доказательства
- ✓ Ссылка на артефакт или код
- ✓ README с решениями и компромиссами
- ✓ Evidence выполненных проверок
- ✓ Capability-risk matrix
Метрики и economics
Value, quality, safety, latency и cost имеют thresholds.
Недостаточно
Есть только vanity metrics.
Компетентно
Release metrics имеют thresholds.
Сильно
Есть sensitivity analysis, routing options и margin model.
Необходимые доказательства
- ✓ Ссылка на артефакт или код
- ✓ README с решениями и компромиссами
- ✓ Evidence выполненных проверок
- ✓ Metric tree и unit economics
Эксперимент и rollout
Offline eval, pilot, monitoring и rollback ограничены контролируемыми рамками.
Недостаточно
Запланирован big-bang launch.
Компетентно
Есть phased rollout и stop conditions.
Сильно
Есть holdout, counterfactual baseline и sunset criteria.
Необходимые доказательства
- ✓ Ссылка на артефакт или код
- ✓ README с решениями и компромиссами
- ✓ Evidence выполненных проверок
- ✓ Experiment plan