Construye un asistente RAG que responda solo con evidencias verificadas, muestre citas y mida la calidad del retrieval.
Escenario
Un equipo necesita un asistente para políticas internas. El sistema no debe inventar respuestas, debe mostrar las fuentes y debe abstenerse cuando la evidencia sea insuficiente.
Resultado: Los documentos tienen owner, versión y metadata de acceso.
Tareas
Comprobaciones
Resultado: Los fragmentos relevantes llegan de forma estable al top-k.
Tareas
Comprobaciones
Resultado: El modelo no puede ocultar la falta de evidencias.
Tareas
Comprobaciones
Resultado: La calidad de retrieval y generación se mide por separado.
Tareas
Comprobaciones
Rúbrica de evaluación
Documentos, chunks, metadata, versiones y source URI son reproducibles.
Insuficiente
Las fuentes no tienen versión u owner, o los chunks pierden la procedencia.
Competente
Cada chunk tiene fuente, metadata y versión.
Sólido
Se implementan política de frescura, lineage y control de cambios.
Evidencia requerida
Hybrid retrieval, filtros y reranking se miden sobre un conjunto de queries.
Insuficiente
No existe un conjunto de prueba o el retrieval se evalúa de forma subjetiva.
Competente
Existen baseline, query set y top-k medible.
Sólido
Se comparan varias estrategias con umbral de regresión y taxonomía de fallos.
Evidencia requerida
Las afirmaciones se apoyan en evidencias y la falta de evidencia provoca abstención.
Insuficiente
El modelo puede responder sin evidencia o las citas no abren la fuente.
Competente
Las afirmaciones sin soporte se bloquean y las citas son válidas.
Sólido
Groundedness y citation correctness se miden automáticamente.
Evidencia requerida
ACL se aplica durante el retrieval y se verifica con pruebas negativas.
Insuficiente
El filtrado ocurre después del retrieval o todavía es posible una fuga.
Competente
ACL se aplica a la búsqueda y tiene pruebas negativas.
Sólido
Se implementan aislamiento de tenant, audit log y policy tests.
Evidencia requerida