Construye un regression gate para una función LLM con comprobaciones deterministas, model graders, casos de seguridad y umbrales de release.
Escenario
Un equipo cambia prompts y modelos con frecuencia. Necesita un gate automático que bloquee el release cuando empeoren la calidad, la seguridad o la estabilidad de los structured outputs.
Resultado: Los riesgos del producto están cubiertos por clases de prueba explícitas.
Tareas
Comprobaciones
Resultado: Cada propiedad tiene un método de evaluación adecuado.
Tareas
Comprobaciones
Resultado: Las decisiones de release siguen reglas registradas.
Tareas
Comprobaciones
Resultado: Cada cambio recibe un veredicto transparente.
Tareas
Comprobaciones
Rúbrica de evaluación
El dataset cubre escenarios normales, edge y adversariales.
Insuficiente
Predominan los happy paths.
Competente
Los riesgos críticos están cubiertos.
Sólido
La cobertura está vinculada a fallos de producción y al threat model.
Evidencia requerida
Los checks deterministas y model graders corresponden a las propiedades evaluadas.
Insuficiente
Un único LLM judge evalúa todo.
Competente
Los checks deterministas y model-based están separados.
Sólido
La calibración y el análisis de desacuerdos están automatizados.
Evidencia requerida
Baseline, umbrales y reglas de bloqueo están versionados.
Insuficiente
El veredicto es subjetivo.
Competente
Los umbrales y condiciones de bloqueo son explícitos.
Sólido
Hay excepciones basadas en riesgo y análisis de tendencias.
Evidencia requerida
El gate bloquea releases débiles y conserva evidencia.
Insuficiente
El informe no afecta al release.
Competente
Un fallo hace fallar el job.
Sólido
Hay artifacts, diff report y control de flaky evals.
Evidencia requerida