Перейти к основному содержимому

Полный учебный курс

Cybersecurity Specialist + AI

Threat modeling, red teaming и защита AI-систем

Траектория для security-специалиста: prompt injection, data leakage, agent permissions, model supply chain, sandboxing, AI red teaming и incident response.

После курса у вас должен остаться не набор jailbreak-скриншотов, а security evidence pack: threat model, проверенные attack paths, control map, regression corpus, release gate и incident drill для AI-систем с tools и данными.

0%0/11 уроков

Прогресс сохраняется локально в вашем браузере.

10–16 недель3 модулей11 уроков5 assessment

Система работы с курсом

Как проходить курс, чтобы остался проверяемый результат

1. Определить boundary

Для каждой темы сначала зафиксируйте assets, actors, trust boundaries, data flows и разрешённые side effects. «Модель сказала что-то плохое» — не threat model.

2. Построить exploit path

Превратите риск в воспроизводимую цепочку: attacker input → манипуляция model/context → доступ к tool или данным → наблюдаемый impact.

3. Проверить control

Тестируйте фактическое состояние системы, а не наличие guardrail-текста: заблокировано ли действие, не утекли ли данные, сохранён ли least privilege и есть ли audit evidence.

4. Сделать regression

Каждый подтверждённый exploit или near miss должен стать versioned test case с ожидаемым result и release-blocking severity.

Правила курса

Не просто прочитал — а доказал

  • Не путайте safety refusal с security control: если tool может выполнить опасное действие, проверяйте permission и side effect.
  • Single-shot jailbreak pass не доказывает устойчивость; для важных сценариев используйте adaptive attempts и attack families.
  • Каждый security finding должен иметь reproduction, severity, owner, control и regression test; «интересное поведение модели» ещё не finding.
  • Не принимайте vendor-reported security claims за собственный evidence. Release gate живёт на ваших tests, traces и system state.

Модуль 1

Общий AI Core

Границы моделей и evaluation в security-контексте.

РезультатСпециалист понимает специфические для AI режимы отказа и отделяет поведение модели от реальных гарантий безопасности.

  1. AI-грамотность и границы моделей

    Основной

    Возможности, галлюцинации, ограничения контекста, приватность и ответственное использование.

    Материал →

  2. Prompt и context engineering

    Основной

    Инструкции, примеры, ограничения, контекст и проверка результата.

    Предпосылки: AI-грамотность и границы моделей

    Материал →

  3. Structured outputs и evaluation

    Основной

    Схемы ответов, детерминированные проверки, тестовые сценарии и критерии приёмки.

    Предпосылки: Prompt и context engineering

    Материал →Ресурс →

Checkpoint после модуля

AI security baseline

  • ✓ есть inventory assets и trust boundaries
  • ✓ misuse отделён от vulnerability
  • ✓ для high-impact actions определён authority owner

Scenario transfer lab

Transfer lab: разложить реального AI-агента по trust boundaries

Используйте кейс support-agent Claude/Kodif как референс системы, которая читает customer context и может инициировать tool actions. Постройте data-flow diagram и отметьте, где untrusted input способен повлиять на privileged action.

Deliverable

Одностраничный DFD плюс таблица assets / trust boundaries / abuse cases / owner для каждой boundary.

AI-кейс Claude/Kodif →Карта знаний →Roadmap Cybersecurity + AI →
  • ✓ минимум четыре trust boundaries
  • ✓ model decision и application execution отмечены отдельно
  • ✓ для каждой high-impact boundary есть owner и verification signal

Модуль 2

AI threat model

Атаки на prompts, данные, tools, models и AI supply chain.

РезультатСистема имеет явную модель угроз, сопоставленные controls и воспроизводимые security-тесты.

  1. Prompt injection и эксфильтрация данных

    Основнойpractice + assessment

    Прямая и косвенная injection, RAG poisoning, утечки секретов и нарушения trust boundaries.

    Материал →Практикум →Assessment →

  2. Права агентов и злоупотребление tools

    Основной

    Least privilege, approvals, sandboxing, capability boundaries и audit trail.

    Материал →

  3. Безопасность моделей и AI supply chain

    Основнойpractice + assessment

    Артефакты, зависимости, provenance, model registry, integrity checks и риски третьих сторон.

    Материал →Практикум →Assessment →

  4. Проект: AI threat model и план controls

    Проектpractice + assessment

    Угрозы, abuse cases, controls, проверочные тесты, владельцы и residual risk.

    Предпосылки: Prompt injection и эксфильтрация данных, Права агентов и злоупотребление tools

    Материал →Практикум →Assessment →

Checkpoint после модуля

Control effectiveness

  • ✓ prompt/tool abuse имеет executable tests
  • ✓ least privilege, approval и sandbox проверены
  • ✓ supply-chain provenance и границы secrets задокументированы

Scenario transfer lab

Transfer lab: agentic tool-abuse kill chain

Смоделируйте direct или indirect prompt injection, которая пытается перейти от контента к реальному действию. Сравните consumer-risk и public-service контексты: одна и та же ошибка модели может иметь разный blast radius.

Deliverable

Executable attack case плюс control trace: preconditions, payload, attempted tool call, policy decision, final state и audit event.

AI² Consumer →AI² Government →Agent security →Практикум threat model →
  • ✓ атака проверяет side effect, а не только текст модели
  • ✓ tool permission ограничен необходимым минимумом
  • ✓ failure path заканчивается block или escalation без скрытого повторного действия

Модуль 3

Red teaming и incident response

Adversarial evaluation, monitoring, containment, recovery и lessons learned.

РезультатРегрессии безопасности AI выявляются до релиза и быстро локализуются в production.

  1. AI red teaming

    Основной

    Таксономия атак, test harnesses, jailbreaks, tool abuse, фиксация evidence и воспроизводимость.

    Материал →

  2. Security evals в CI

    Основной

    Регрессионный корпус, thresholds, block/allow decisions, отчёты и release gates.

    Материал →

  3. AI incident response

    Основнойpractice + assessment

    Detection, containment, kill switches, rollback, сохранение evidence и postmortems.

    Материал →Практикум →Assessment →

  4. Milestone: готовность AI security

    Контрольная точкаpractice + assessment

    Threat model, red-team evidence, CI gates, monitoring и отработанный incident-response plan.

    Предпосылки: AI red teaming, Security evals в CI, AI incident response

    Материал →Практикум →Assessment →

Checkpoint после модуля

Red-team readiness

  • ✓ есть adaptive attack budget и regression corpus
  • ✓ security eval gate может блокировать release
  • ✓ containment, rollback и kill switch проверены drill-ом

Scenario transfer lab

Transfer lab: adaptive red-team → CI gate → incident drill

Соберите небольшой adaptive attack set для одного high-impact сценария, прогоните несколько вариантов атаки и каждый подтверждённый exploit переведите в regression test. Затем отрепетируйте containment и recovery.

Deliverable

Versioned attack corpus, security-eval report, release decision и короткий incident timeline с evidence containment, rollback и recovery.

LLM red teaming →AI incident response →Safety evals →AI Кейсы →
  • ✓ есть adaptive attempts, а не только single-shot
  • ✓ critical regression блокирует release
  • ✓ incident drill подтверждает kill switch или rollback
  • ✓ postmortem создаёт новый regression case

Capstone contract

Capstone: AI security readiness dossier

Выберите AI-систему с retrieval или tools и докажите её security readiness воспроизводимыми атаками, controls и runtime response. Красивый threat-model PDF без executable evidence здесь не считается.

Что сдать

  • — system/data-flow diagram с assets, actors, trust boundaries и privileged actions
  • — threat model и backlog abuse cases с severity и residual risk
  • — red-team harness с versioned attack corpus, включая indirect injection и tool abuse
  • — control map: prevention, detection, containment, recovery и owner
  • — security eval report с release thresholds и regression history
  • — incident runbook плюс evidence из tabletop или executable containment drill

Когда это можно считать готовым

  • ✓ минимум один end-to-end attack path от attacker input до attempted side effect реально воспроизведён
  • ✓ critical/high controls проверяются machine-readable или deterministic evidence там, где это возможно
  • ✓ успешный exploit автоматически становится regression case и влияет на release decision
  • ✓ high-impact tool не может выполнить действие вне defined identity/authority boundary
  • ✓ containment и recovery проверены на практике, а не описаны в будущем времени

Финальная практика и assessment

Курс завершается практическим артефактом и рубрикой приёмки. Результат считается готовым после прохождения acceptance criteria, а не только после чтения материалов.

Prompt injection и эксфильтрация данных →Безопасность моделей и AI supply chain →Проект: AI threat model и план controls →AI incident response →Milestone: готовность AI security →Открыть roadmap →