Fortgeschritten•12–20 Stunden

KI-Bedrohungsmodell und Kontrollplan

Erstelle ein Bedrohungsmodell für ein KI-System mit Missbrauchsfällen, Kontrollen, Sicherheitstests, Restrisiko und Incident-Playbook.

BedrohungsmodellierungPrompt InjectionAgent-BerechtigungenRed TeamingIncident Response

Szenario

Aufgabe

Ein KI-Assistent nutzt RAG und Tools mit Schreibzugriff. Vor dem Produktionsstart müssen Vertrauensgrenzen, Angriffspfade und Kontrollen definiert werden.

Schrittweise Umsetzung

1. Systemgrenzen abbilden

Ergebnis: Alle Daten- und Berechtigungsflüsse sind sichtbar.

Aufgaben

→Vertrauenswürdige und nicht vertrauenswürdige Inputs markieren
→Secrets identifizieren
→Tools klassifizieren

Prüfungen

✓Schreibberechtigungen sind nicht verborgen

2. Missbrauchsfälle erstellen

Ergebnis: Bedrohungen sind mit realen Flüssen verknüpft.

Aufgaben

→Prompt Injection
→RAG Poisoning
→Datenexfiltration
→Tool-Missbrauch
→Supply-Chain-Kompromittierung

Prüfungen

✓Jede Bedrohung hat Voraussetzung und Auswirkung

3. Kontrollen und Tests definieren

Ergebnis: Kontrollen sind überprüfbar.

Aufgaben

→Least Privilege
→Approval Gates
→Sandboxing
→Security Evals

Prüfungen

✓Eine Kontrolle ohne Testnachweis gilt nicht als bereit

4. Incident-Übung durchführen

Ergebnis: Das Team kann erkennen, eindämmen und wiederherstellen.

Aufgaben

→Szenario auslösen
→Kill Switch
→Rollback
→Postmortem

Prüfungen

✓Zeitstempel und Nachweise sind erfasst

Akzeptanzkriterien

Vertrauensgrenzen sind vollständig
Bedrohungsregister ist priorisiert
Kontrollen haben Tests
Restrisiko hat einen Owner
Incident-Übung ist abgeschlossen

Bewertungsraster

Wie das Ergebnis bewertet wird

Bestehensgrenze: 75/100 · Auszeichnung: 92/100

System- und Vertrauensgrenzen

Daten, Modell, Tools, Nutzer, Secrets und externe Systeme sind vollständig abgebildet.

25 Punkte

Unzureichend

Berechtigungs- oder Datenflüsse bleiben verborgen.

Kompetent

Die zentralen Grenzen sind explizit.

Stark

Datenklassifizierung, Tenant-Grenzen und Supply-Chain-Lineage sind dokumentiert.

Erforderliche Nachweise

✓ Link zu Artefakt oder Code
✓ README mit Entscheidungen und Kompromissen
✓ Nachweis der ausgeführten Prüfungen
✓ Architektur-/Bedrohungsdiagramm

Bedrohungsregister

Bedrohungen besitzen Voraussetzungen, Auswirkung, Wahrscheinlichkeit und einen Owner.

25 Punkte

Unzureichend

Die Liste ist allgemein und nicht mit realen Flüssen verknüpft.

Kompetent

Bedrohungen sind kontextualisiert und priorisiert.

Stark

Attack Trees, verkettete Missbrauchsfälle und Restrisiko sind dokumentiert.

Erforderliche Nachweise

✓ Link zu Artefakt oder Code
✓ README mit Entscheidungen und Kompromissen
✓ Nachweis der ausgeführten Prüfungen
✓ Priorisiertes Bedrohungsregister

Kontrollen und Sicherheitstests

Prevent-, Detect- und Respond-Kontrollen besitzen Testnachweise.

30 Punkte

Unzureichend

Kontrollen sind nur deklarativ.

Kompetent

Die wichtigsten Kontrollen sind verifiziert.

Stark

Automatisierte Security Evals, Policy as Code und ein Regression Gate sind umgesetzt.

Erforderliche Nachweise

✓ Link zu Artefakt oder Code
✓ README mit Entscheidungen und Kompromissen
✓ Nachweis der ausgeführten Prüfungen
✓ Kontroll-/Testmatrix

Incident-Bereitschaft

Kill Switch, Eindämmung, Rollback und Postmortem-Abläufe sind verifiziert.

20 Punkte

Unzureichend

Der Response-Plan wurde nicht getestet.

Kompetent

Die Übung ist mit Nachweisen abgeschlossen.

Stark

Zeitgebundene Recovery-Metriken und automatisierte Eindämmung sind umgesetzt.

Erforderliche Nachweise

✓ Link zu Artefakt oder Code
✓ README mit Entscheidungen und Kompromissen
✓ Nachweis der ausgeführten Prüfungen
✓ Bericht zur Incident-Übung