Agent Skill evaluation checklist: як перевірити skill перед rollout

Не приймайте Agent Skill за одним вдалим demo. Перед rollout окремо доведіть, що client активує його для правильної задачі, агент дотримується потрібної procedure, а фінальний стан або артефакт відповідає acceptance criteria. Discovery, trajectory та outcome можуть ламатися незалежно: правильна відповідь іноді приховує зайвий tool call, а безпечний execution може завершитися непридатним файлом.

Почніть із малого corpus реальних запитів і порівняйте versioned skill із baseline без нього або з попередньою версією. Primary guide Agent Skills радить реалістичні prompts, expected output, ізольовані runs, assertions та evidence-backed grading. AI Magister додає activation collisions, authority fixtures, authoritative-state verification, portability slices і release receipt. Це engineering checklist, а не універсальний benchmark чи гарантія безпеки.

• Discovery: чи завантажився потрібний skill.
• Trajectory: чи збережено constraints і authority.
• Outcome: чи правильний authoritative final state.
• Operations: чи перевірено rollback.

Snapshot містить skill digest, SKILL.md і references, client та model version, доступні tools, sandbox, policy revision, fixtures і expected output. Без цього failed run неможливо відтворити, а покращення може бути наслідком зміни model або середовища. Не зберігайте secrets у corpus: використовуйте synthetic identifiers, fake connectors і redacted receipts.

Для кожного case запишіть prompt, input files, precondition, дозволені side effects, assertions, verifier, timeout і terminal state. Filename, JSON schema, row count, exit code та system-of-record status перевіряйте кодом. Якість пояснення може оцінювати reviewer або model grader, але PASS потребує конкретного evidence reference.

Metadata завантажується до body, тому description є routing contract. Зберіть positive prompts із різною лексикою, near-negative задачі тієї самої теми, ambiguous inputs, які потребують уточнення, та collision cases, де два skills претендують на запит. Для кожного case зафіксуйте expected activation: required, forbidden або clarify.

Не оптимізуйте description лише під точні фрази suite. Додайте paraphrases, короткі запити, typo, змішані мови й реальні назви файлів. False activation витрачає context і нав'язує чужу procedure; missed activation залишає задачу без expertise. Публікуйте counts лише з denominator і corpus revision, не називаючи їх production accuracy без репрезентативного traffic sample.

• Positive: різні формулювання місії.
• Near-negative: схожа тема, інший результат.
• Ambiguous: бракує input або authority.
• Collision: перетин із сусіднім skill.

Запускайте той самий case у чистому контексті з поточним skill і без нього; для revision використовуйте pinned попередню версію. Вхідні файли, model, tools, timeout і grading rules мають бути однаковими. Повторюйте ризикові cases й зберігайте всі результати, включно з невдалими, замість вибору найкращої відповіді.

Skill має довести інформаційний приріст. Він може поліпшити constraint retention чи artifact quality, але додати latency, tokens або зайві tool calls. Записуйте trade-offs без вигаданого єдиного score. Якщо baseline уже стабільно проходить критерії, скоротіть skill, звузьте його до специфічної expertise або не promote-іть.

Фінальна відповідь не показує, чи агент прочитав потрібний reference, звернувся до забороненого path або зробив write до approval. Trace assertions перевіряють завантажені файли, tool names і schemas, порядок critical checks, policy verdict, redacted arguments, retry count та receipt. Не вимагайте chain of thought: зберігайте лише потрібні для аудиту операційні події без sensitive content.

Додайте fixtures для missing reference, malformed input, unavailable tool, stale policy, permission denial, prompt injection, duplicate request, partial write і timeout після можливої дії. Expected transition для невідомого external state — UNKNOWN, потім read-back і reconciliation; сліпий retry є FAIL. Реальний deny забезпечують sandbox, application policy та target system, а не SKILL.md.

Для тексту перевірте required sections, citations, schema, consistency та заборонені твердження. Для code — tests, lint, diff scope і reproducible build. Для зовнішньої операції receipt від tool ще не є доказом успіху: прочитайте system of record за correlation або idempotency key і звірте postcondition. Human reviewer оцінює usefulness, але не підміняє deterministic checks.

Розділіть assertion failure, grader uncertainty й infrastructure error. Невпевнена оцінка не стає PASS; unavailable evaluator не означає, що skill поганий. Зберігайте raw output reference, assertion verdict, evidence excerpt, verifier version і reviewer override із причиною. Так corpus можна переграти після зміни rubric без переписування історії.

Сумісний SKILL.md не гарантує однакову поведінку в Claude, OpenAI або іншому harness. Запустіть однаковий corpus у кожному заявленому client/version і зафіксуйте discovery path, supported metadata, context loading, tool aliases, filesystem, network, approvals та compaction. Unsupported capability повинна мати fallback або явну відмову.

Прив'яжіть regression suite до dependency map: зміна description запускає activation і collision cases; body — instruction та outcome; script — deterministic і sandbox cases; tool schema чи MCP server — integration та authority; model/client — portability corpus. Повний suite лишається release gate для major revision.

Promotion record містить owner, mission, digest, source і license, client/model matrix, dependency versions, permissions, corpus revision, failed cases, reviewer, approved scope та expiry. Рухайтеся від static validation і isolated replay до sandbox, read-only canary, shadow decision і лише потім bounded write з approval. Production signals сегментуйте за skill version і task class.

Rollback має вимкнути discovery entry або відновити known-good digest без допомоги самого skill. Перевірте kill switch до write canary. Якщо версія могла змінити external state, rollback доповнюється reconciliation queue. Release блокується за невідомого owner, unexplained regression, ширших permissions, unverifiable postcondition або неперевіреного rollback path.

• PASS: required cases пройдено.
• CONDITIONAL: лише read-only canary з expiry.
• BLOCK: authority bypass або unknown side effect.
• RETIRE: місія застаріла.