Construye monitoring y un flujo de incidentes para una carga de IA con evidencia de latencia, coste, calidad, fallback y rollback.
Escenario
Una función de IA depende de un modelo externo y de retrieval interno. El equipo debe detectar degradaciones de latencia, coste, tasa de errores y calidad de respuestas antes que los usuarios.
Resultado: El estado operativo de la función de IA se mide a lo largo de todo el pipeline.
Tareas
Comprobaciones
Resultado: El equipo tiene límites explícitos para la degradación aceptable.
Tareas
Comprobaciones
Resultado: El sistema puede entrar en modo degradado de forma segura.
Tareas
Comprobaciones
Resultado: La recuperación queda respaldada por evidencia.
Tareas
Comprobaciones
Rúbrica de evaluación
Las capas de modelo, retrieval y aplicación tienen visibilidad end-to-end.
Insuficiente
Solo existen logs de aplicación.
Competente
Latency, errores, coste y calidad están correlacionados.
Sólido
Hay distributed tracing y una política de redacción.
Evidencia requerida
Las alertas reflejan el impacto en usuarios y el error budget.
Insuficiente
Las alertas son ruidosas o no tienen SLO.
Competente
Los SLO y umbrales están definidos.
Sólido
Las alertas de burn rate y señales de capacidad están automatizadas.
Evidencia requerida
Rate limits, fallback, backpressure y kill switch están verificados.
Insuficiente
No existe un degraded mode seguro.
Competente
Fallback y kill switch funcionan.
Sólido
Hay routing automático y política de rollback.
Evidencia requerida
El failure drill incluye timeline, recovery y postmortem.
Insuficiente
El runbook es solo declarativo.
Competente
El drill se completó con evidencia.
Sólido
La recuperación está automatizada y se prueba regularmente.
Evidencia requerida