Kern•8–14 Stunden

Verifizierter AI-Analytics-Workflow

Baue einen Analytics-Workflow für CSV und SQL mit verifizierten Berechnungen, Provenance, Privacy Controls und einem reproduzierbaren Executive Report.

analytisches PromptingSQL-ValidierungDatenqualitätProvenancePrivacyReporting

Szenario

Aufgabe

Ein Analyst erhält eine CSV-Datei und einen SQL-Export und muss Erkenntnisse für die Führungsebene vorbereiten. AI unterstützt die Datenanalyse, aber jede Zahl und jede Aussage muss verifiziert und reproduzierbar sein.

Schrittweise Umsetzung

1. Data Audit durchführen

Ergebnis: Datenqualität, Feldbedeutung und Privacy-Risiken sind vor der Analyse bekannt.

Aufgaben

→Schema dokumentieren
→Missing Values und Duplikate prüfen
→PII markieren
→Business-Definitionen festhalten

Prüfungen

✓Metriken haben eindeutige Definitionen
✓Sensible Felder werden nicht ohne Notwendigkeit an das Modell gesendet

2. Analyseplan erstellen

Ergebnis: Hypothesen und notwendige Berechnungen sind von AI-generiertem Narrativ getrennt.

Aufgaben

→Fragestellungen formulieren
→SQL-Queries oder Formeln definieren
→Sanity Checks ergänzen
→Erwartete Wertebereiche festhalten

Prüfungen

✓Jede Schlussfolgerung hat geplante Evidenz
✓AI führt keine versteckten Berechnungen im Narrativ aus

3. Analyse ausführen und verifizieren

Ergebnis: Ergebnisse sind unabhängig vom Modell reproduzierbar.

Aufgaben

→SQL- oder Python-Berechnungen ausführen
→Summen vergleichen
→Edge-Segmente prüfen
→Queries und Outputs speichern

Prüfungen

✓Kernzahlen haben deterministische Verifikation
✓Aggregationsebenen werden nicht vermischt

4. Evidence-first Report erstellen

Ergebnis: Das Narrativ bleibt innerhalb der Evidenzgrenzen.

Aufgaben

→Claims mit Evidenz verknüpfen
→Caveats ergänzen
→Unsicherheit markieren
→Adversarial Review durchführen

Prüfungen

✓Nicht belegte Claims sind entfernt
✓Der Bericht ist aus den Artefakten reproduzierbar

Akzeptanzkriterien

Datenvertrag und Definitionen sind dokumentiert
Kernzahlen sind mit deterministischem Code verifiziert
Jede Schlussfolgerung hat Provenance
Privacy Controls sind angewendet
Der Executive Report enthält Caveats und Confidence

Bewertungsraster

Wie das Ergebnis bewertet wird

Bestehensgrenze: 70/100 · Auszeichnung: 90/100

Data Contract und Qualität

Schema, Definitionen, Privacy und Qualitätsregeln sind explizit.

25 Punkte

Unzureichend

Felder und Metriken sind mehrdeutig.

Kompetent

Definitionen und Checks sind dokumentiert.

Stark

Ein wiederverwendbarer Metric Layer und automatisierte Datentests sind umgesetzt.

Erforderliche Nachweise

✓ Link zu Code oder Artefakt
✓ README mit Entscheidungen
✓ Testausgabe oder Runtime-Evidenz
✓ Data Contract

Verifikation der Berechnungen

Zentrale Zahlen sind mit deterministischem Code reproduzierbar.

30 Punkte

Unzureichend

Das Modell erzeugt Zahlen im Fließtext.

Kompetent

Zentrale Metriken sind verifiziert.

Stark

Unabhängige Reconciliation und Regression Checks sind vorhanden.

Erforderliche Nachweise

✓ Link zu Code oder Artefakt
✓ README mit Entscheidungen
✓ Testausgabe oder Runtime-Evidenz
✓ SQL/Python-Berechnungen

Provenance der Aussagen

Claims sind mit Query, Formel oder Source Slice verknüpft.

25 Punkte

Unzureichend

Schlussfolgerungen haben keine Evidenz.

Kompetent

Jeder zentrale Claim hat Provenance.

Stark

Lineage wird automatisch erzeugt.

Erforderliche Nachweise

✓ Link zu Code oder Artefakt
✓ README mit Entscheidungen
✓ Testausgabe oder Runtime-Evidenz
✓ Evidence Table

Qualität des Executive Reports

Der Report enthält Caveats und Confidence und bleibt innerhalb der Evidenz.

20 Punkte

Unzureichend

Es gibt unbelegte Claims.

Kompetent

Claims, Caveats und Unsicherheit sind explizit.

Stark

Adversarial Review und zielgruppenspezifische Summary sind enthalten.

Erforderliche Nachweise

✓ Link zu Code oder Artefakt
✓ README mit Entscheidungen
✓ Testausgabe oder Runtime-Evidenz
✓ Final Report