Основной•8–14 часов

Проверяемый AI Analytics Workflow

Постройте аналитический workflow для CSV и SQL с проверенными вычислениями, provenance, privacy controls и воспроизводимым executive report.

аналитический promptingSQL validationкачество данныхprovenanceprivacyreporting

Сценарий

Задача

Аналитик получает CSV и SQL-выгрузку и должен подготовить выводы для руководства. AI помогает исследовать данные, но каждое число и утверждение должны быть проверены и воспроизводимы.

Пошаговое выполнение

1. Проведите data audit

Результат: Качество данных, значение полей и privacy-риски известны до начала анализа.

Задачи

→Опишите schema
→Проверьте missing values и duplicates
→Отметьте PII
→Зафиксируйте business definitions

Проверки

✓Метрики имеют однозначные определения
✓Sensitive fields не передаются модели без необходимости

2. Постройте analysis plan

Результат: Гипотезы и необходимые вычисления отделены от AI-generated narrative.

Задачи

→Сформулируйте вопросы
→Определите SQL или formulas
→Добавьте sanity checks
→Зафиксируйте expected ranges

Проверки

✓Каждый вывод имеет planned evidence
✓AI не выполняет скрытые вычисления в тексте

3. Выполните и проверьте анализ

Результат: Результаты воспроизводятся независимо от модели.

Задачи

→Выполните SQL или Python calculations
→Сравните totals
→Проверьте edge segments
→Сохраните queries и outputs

Проверки

✓Ключевые числа имеют deterministic verification
✓Aggregation levels не смешиваются

4. Создайте evidence-first report

Результат: Narrative не выходит за пределы доказательств.

Задачи

→Свяжите claims с evidence
→Добавьте caveats
→Отметьте uncertainty
→Проведите adversarial review

Проверки

✓Неподтверждённые claims удалены
✓Отчёт воспроизводится из артефактов

Критерии приёмки

Data contract и definitions зафиксированы
Ключевые числа проверены deterministic code
Каждый вывод имеет provenance
Privacy controls применены
Executive report содержит caveats и confidence

Рубрика оценки

Как оценивается результат

Проходной балл: 70/100 · Отличие: 90/100

Data contract и качество

Schema, definitions, privacy и quality rules заданы явно.

25 баллов

Недостаточно

Поля и метрики неоднозначны.

Компетентно

Definitions и checks зафиксированы.

Сильно

Есть reusable metric layer и automated data tests.

Необходимые доказательства

✓ Ссылка на код или артефакт
✓ README с решениями
✓ Вывод тестов или runtime evidence
✓ Data contract

Проверка вычислений

Ключевые числа воспроизводятся deterministic code.

30 баллов

Недостаточно

Модель генерирует числа в тексте.

Компетентно

Ключевые метрики проверены.

Сильно

Есть independent reconciliation и regression checks.

Необходимые доказательства

✓ Ссылка на код или артефакт
✓ README с решениями
✓ Вывод тестов или runtime evidence
✓ SQL/Python calculations

Provenance выводов

Claims связаны с query, formula или source slice.

25 баллов

Недостаточно

Выводы без доказательств.

Компетентно

Каждый ключевой claim имеет provenance.

Сильно

Lineage генерируется автоматически.

Необходимые доказательства

✓ Ссылка на код или артефакт
✓ README с решениями
✓ Вывод тестов или runtime evidence
✓ Evidence table

Качество executive report

Отчёт содержит caveats и confidence и не выходит за пределы evidence.

20 баллов

Недостаточно

Есть unsupported claims.

Компетентно

Claims, caveats и uncertainty указаны явно.

Сильно

Есть adversarial review и audience-specific summary.

Необходимые доказательства

✓ Ссылка на код или артефакт
✓ README с решениями
✓ Вывод тестов или runtime evidence
✓ Final report