Erstelle ein entscheidungsreifes Dossier für eine KI-Funktion mit Problem, Capability Fit, UX, Metriken, Risiken, Wirtschaftlichkeit und Experimentplan.
Szenario
Ein Team schlägt eine KI-Funktion ohne klare Wertmetrik vor. Es muss entschieden werden, ob sie gebaut werden soll, wie Qualität gemessen wird und unter welchen Bedingungen der Rollout gestoppt werden muss.
Ergebnis: Das Problem ist validiert und nicht zur Rechtfertigung von KI erfunden.
Aufgaben
Prüfungen
Ergebnis: Stärken und Grenzen des Modells sind bekannt.
Aufgaben
Prüfungen
Ergebnis: Wert wird zusammen mit Qualität, Latenz und Kosten bewertet.
Aufgaben
Prüfungen
Ergebnis: Es gibt ein begrenztes Experiment und einen Rollback-Pfad.
Aufgaben
Prüfungen
Bewertungsraster
Das Problem ist durch Nutzer-Evidenz und eine Non-AI-Baseline belegt.
Unzureichend
KI sucht nach einem Problem.
Kompetent
Evidenz und eine Baseline sind vorhanden.
Stark
Quantifizierter Pain, Alternativen und Segmentunterschiede sind dokumentiert.
Erforderliche Nachweise
Modellgrenzen, Failure Impact und Controls sind dokumentiert.
Unzureichend
Capabilities werden ohne Tests behauptet.
Kompetent
Repräsentative Tasks und Controls sind vorhanden.
Stark
Eval-Datensatz, Approval Policy und Restrisiko sind dokumentiert.
Erforderliche Nachweise
Value, Qualität, Safety, Latenz und Kosten besitzen Schwellenwerte.
Unzureichend
Es gibt nur Vanity Metrics.
Kompetent
Release-Metriken besitzen Schwellenwerte.
Stark
Sensitivitätsanalyse, Routing-Optionen und Margenmodell sind dokumentiert.
Erforderliche Nachweise
Offline Eval, Pilot, Monitoring und Rollback sind begrenzt.
Unzureichend
Ein Big-Bang-Launch ist geplant.
Kompetent
Phasenweiser Rollout und Stop Conditions sind vorhanden.
Stark
Holdout, kontrafaktische Baseline und Sunset-Kriterien sind definiert.
Erforderliche Nachweise