Fortgeschritten•8–12 Stunden

Labor für Kalibrierung und Zuverlässigkeit von AI-Gradern

Baue einen Evaluation-Workflow, in dem ein modellbasierter Grader gegen menschlich geprüfte Evidenz kalibriert wird und eine Disagreement-Policy, Risk Slices sowie ein versionsgebundenes Release-Gate besitzt.

Grader-KalibrierungEvaluationsdesignHuman ReviewRisk SlicingRelease Gating

Szenario

Aufgabe

Ein Team bewertet Hunderte AI-Antworten mit einem modellbasierten Grader. Der aggregierte Score wirkt stabil, doch kritische Edge Cases und Abweichungen von menschlichen Reviewern verschwinden im Mittelwert. Es muss nachgewiesen werden, wann der Grader für Release-Entscheidungen geeignet ist und wann sein Urteil blockiert oder in die Adjudication gegeben werden muss.

Schrittweise Umsetzung

1. Human Baseline festlegen

Ergebnis: Ground Truth besitzt Provenance und verwechselt Experten-Disagreement nicht mit Grader-Fehlern.

Aufgaben

→Repräsentative Normal-, Edge- und High-Impact-Fälle auswählen
→Mindestens zwei Reviewer den kritischen Slice unabhängig bewerten lassen
→Disagreement und Adjudication-Begründung festhalten
→Datensatz und Rubric versionieren

Prüfungen

✓Ein kritisches Label stammt nicht von nur einem ungeprüften Judge
✓Ein mehrdeutiger Fall hat einen expliziten unresolved- oder adjudicated-Status

2. Grader-Fingerprint einfrieren

Ergebnis: Ein wiederholter Run ist reproduzierbar und erklärbar.

Aufgaben

→Modell und Revision festhalten
→Grader-Prompt und Rubric speichern
→Inference-Settings und Parsing-Schema festhalten
→Invalid-, Refusal- und Timeout-States ergänzen

Prüfungen

✓Kein stiller Fallback auf eine andere Modellrevision
✓Invalid Output wird nie in PASS umgewandelt

3. Zuverlässigkeit nach Risk Slices messen

Ergebnis: Der Aggregate Score verbirgt keine teuren Failure Classes mehr.

Aufgaben

→Agreement und Confusion Matrix berechnen
→Severe False-Pass separat messen
→Multilingual-, No-Answer- und Adversarial-Slices prüfen
→Instabile Verdicts über wiederholte Trials analysieren

Prüfungen

✓High-Severity False-Pass besitzt einen eigenen Blocking Threshold
✓Es gibt eine explizite Fallliste für Human Adjudication

4. Kalibrierung in ein Release-Gate überführen

Ergebnis: Der Grader wird nur innerhalb seiner nachgewiesenen Zuverlässigkeitsgrenzen eingesetzt.

Aufgaben

→PASS-, REVIEW-, BLOCKED- und UNKNOWN-Policy definieren
→Rekalibrierung bei Modell-, Prompt- oder Rubric-Änderungen verlangen
→Production-Disagreement in den Regression Loop zurückführen
→Machine-readable Report in CI speichern

Prüfungen

✓Eine Änderung des Grader-Fingerprints invalidiert alte Kalibrierungsevidenz
✓Ein Override besitzt Owner, Begründung und Audit Trail

Akzeptanzkriterien

Ein versionierter, menschlich geprüfter Kalibrierungssatz existiert
Der Grader-Fingerprint ist vollständig reproduzierbar
High-Severity False-Pass wird separat gemessen
Disagreement besitzt einen Adjudication-Pfad
Das Release-Gate behandelt UNKNOWN oder Invalid Output nie als PASS