Baue einen RAG-Assistenten, der nur auf verifizierter Evidenz antwortet, Quellen zitiert und die Retrieval-Qualität misst.
Szenario
Ein Team benötigt einen Assistenten für interne Richtlinien. Das System darf keine Antworten erfinden, muss Quellen offenlegen und bei unzureichender Evidenz die Antwort verweigern.
Ergebnis: Dokumente besitzen Owner-, Versions- und Zugriffsmetadaten.
Aufgaben
Prüfungen
Ergebnis: Relevante Passagen gelangen stabil in die Top-k.
Aufgaben
Prüfungen
Ergebnis: Das Modell kann fehlende Evidenz nicht verbergen.
Aufgaben
Prüfungen
Ergebnis: Retrieval- und Generierungsqualität werden getrennt gemessen.
Aufgaben
Prüfungen
Bewertungsraster
Dokumente, Chunks, Metadaten, Versionen und Source URIs sind reproduzierbar.
Unzureichend
Quellen besitzen keine Version oder Owner-Metadaten, oder Chunks verlieren ihre Provenienz.
Kompetent
Jeder Chunk besitzt Quelle, Metadaten und Version.
Stark
Freshness Policy, Lineage und Change Control sind umgesetzt.
Erforderliche Nachweise
Hybrid Retrieval, Filter und Reranking werden auf einem Query Set gemessen.
Unzureichend
Es gibt kein Testset oder Retrieval wird subjektiv bewertet.
Kompetent
Baseline, Query Set und messbares Top-k existieren.
Stark
Mehrere Strategien werden mit Regression Threshold und Fehlertaxonomie verglichen.
Erforderliche Nachweise
Aussagen werden durch Evidenz gestützt; fehlende Evidenz führt zu Abstention.
Unzureichend
Das Modell kann ohne Evidenz antworten oder Zitationen öffnen die Quelle nicht.
Kompetent
Unsupported Claims werden blockiert und Zitationen sind valide.
Stark
Groundedness und Citation Correctness werden automatisch gemessen.
Erforderliche Nachweise
ACL wird bereits im Retrieval angewendet und mit negativen Tests geprüft.
Unzureichend
Filterung erfolgt erst nach Retrieval oder Leaks sind weiterhin möglich.
Kompetent
ACL wird in der Suche angewendet und negativ getestet.
Stark
Tenant Isolation, Audit Log und Policy Tests sind umgesetzt.
Erforderliche Nachweise