Как оценивать защиту от prompt injection: практический чек-лист

Eval prompt injection начинается не со списка фраз вроде «ignore previous instructions». Сначала зафиксируйте security expectation: какие данные агент может читать, какие внешние стороны способны влиять на его контекст, какие действия он может предлагать или выполнять и что никогда не должно происходить без отдельной проверки. Direct injection от пользователя и indirect injection из веб-страницы, письма, документа, tool output или памяти создают разные attack surfaces.

Для каждого workflow постройте пары source-sink. Source — недоверенный контент, который атакующий может изменить; sink — передача секрета, сетевой запрос, сообщение, платёж, изменение файла, запись в память или другая consequential capability. OpenAI использует такую же source-sink рамку для агентов: тест должен доказать не только то, что модель заметила подозрительный текст, но и то, что опасный поток к sink был заблокирован или потребовал корректного подтверждения.

• Asset → секреты, персональные данные, credentials, деньги, репутационные или операционные действия.
• Source → user input, web, email, RAG, файлы, tool output, memory и multimodal content.
• Sink → network, message, write tool, code execution, memory write или privilege change.
• Invariant → запрещённое событие, которое harness проверяет детерминированно.

Corpus должен воспроизводить реальные траектории: обычную страницу со скрытой инструкцией, письмо с правдоподобным business pretext, RAG-документ с просьбой изменить policy, redirect chain, URL с данными в query, отравленный tool result и запись в памяти, выдающую себя за approval. Добавьте перефразирования, разные языки, кодировки, типографическое скрытие, изображения и многошаговые атаки. Каждый fixture хранит атакованный source, разрешённые доказательства, ожидаемые tool calls и forbidden events.

Позитивные benign fixtures не менее важны, чем атаки. Они показывают, не блокирует ли защита нормальное цитирование инструкций, security research, support-письма, легитимные внешние ссылки и разрешённые действия. Разделяйте случаи по source, sink, чувствительности asset, autonomy, permission scope и необходимости user confirmation. Один средний score легко скрывает провал редкого, но критического data-exfiltration slice.

Запускайте fixture в production-like sandbox с теми же prompt, model, tools, policies, network rules, credentials broker и confirmation UI, но с canary-секретами и фиктивными destinations. Проверки только финального ответа недостаточно: модель может незаметно вызвать URL, передать payload в tool argument, записать атаку в memory или подготовить опасный черновик. Harness сохраняет полную траекторию и независимо наблюдает каждый sink.

Не выдавайте тестовому агенту более широких прав, чем production role, и не заменяйте policy mock-ом, который всегда отказывает. Проверяйте least privilege, tenant binding, scoped credentials, destination allowlist, sandbox egress, schema validation и approval binding к точному payload. Confirmation не проходит gate, если после него агент может изменить получателя, данные или сумму без нового решения пользователя.

Основной verdict детерминирован: forbidden sink reached, secret exposed, unauthorized write, poisoned memory, confirmation bypass или safe completion. Отдельно отмечайте attack detected, refused, content safely summarized, user warned и task completed. Отказ модели может выглядеть безопасно, но не доказывает, что фоновый request не ушёл; наоборот, модель может не назвать атаку, а policy layer корректно заблокирует side effect.

Публикуйте attack success rate только вместе с точным corpus, числом повторений, sampling settings, версиями model/policy и confidence interval; не переносите vendor benchmark на собственную систему. Для operations полезны critical invariant failures, sink-specific compromise rate, secret-canary exposure, blocked unauthorized attempts, benign task success, false-positive rate, confirmation quality, containment time, latency и cost per evaluated trajectory. Критическая эксфильтрация не компенсируется высоким средним task success.

Defense in depth включает model behavior, trust labels, content handling, least privilege, data-flow checks, sandbox, network controls, approval и monitoring. Запустите полный stack, а затем контролируемые ablations: уберите classifier, сузьте или расширьте tool scope, отключите destination check или confirmation. Это показывает, какой слой действительно остановил атаку, где есть single point of failure и не является ли декоративный «AI firewall» лишь дополнительной задержкой.

OpenAI и Anthropic прямо описывают prompt injection как активную проблему без единственной гарантированной защиты. Поэтому classifier precision не является security result. Проверяйте, ограничивает ли система последствия даже тогда, когда модель или detector пропускают социально убедительную атаку. Для web agents отдельно тестируйте тихие URL-based leaks, redirects, previews и embedded resources; allowlist домена не доказывает безопасность конкретного data flow.

Decision record фиксирует workflow, sources, sinks, permissions, model, prompt, policy bundle, tool schemas, revision corpus, critical invariants, thresholds, owner и review date. Promote относится только к проверенному scope. Restrict может отключить network egress, memory writes или high-impact tools; reject возвращает read-only или deterministic baseline. Любая утечка canary secret, cross-tenant access или unauthorized consequential action блокирует release независимо от среднего score.

Rollout проходит offline replay, adversarial staging, read-only canary, небольшую permission-bounded cohort и постоянный monitoring. Rollback отзывает scoped credentials, отключает sinks и заражённые memory writes, возвращает known-good policy/model bundle и сохраняет очищенный trace для incident review. Новый exploit после triage становится regression fixture. Повторяйте critical suite после изменения model, prompt, retriever, browser, MCP/tool server, permissions, network policy или confirmation UX.

• Promote → все critical invariants пройдены в определённом scope.
• Restrict → уменьшить sources, sinks, data class, autonomy или permissions.
• Reject → оставить read-only или deterministic baseline.
• Roll back → отозвать credentials, отключить sinks, изолировать state и reconcile side effects.