Saltar al contenido principal

Curso completo

Especialista en Ciberseguridad + IA

Threat modeling, red teaming y protección de sistemas de IA

Ruta para especialistas de seguridad sobre prompt injection, fuga de datos, permisos de agentes, supply chain de modelos, sandboxing, AI red teaming y respuesta a incidentes.

Al terminar el curso debes tener un paquete de evidencia de seguridad, no una carpeta de capturas de jailbreak: threat model, attack paths verificados, mapa de controles, corpus de regresión, release gate e incident drill para sistemas de IA con tools y datos.

0%0/11 lecciones

El progreso se guarda localmente en tu navegador.

10–16 semanas3 módulos11 lecciones5 evaluaciones

Sistema operativo de estudio

Cómo completar el curso y conservar un resultado real

1. Definir el boundary

Para cada tema, identifica primero assets, actores, trust boundaries, flujos de datos y side effects permitidos. “El modelo dijo algo malo” no es un threat model.

2. Construir el exploit path

Convierte un riesgo en una cadena reproducible: input del atacante → manipulación de modelo/contexto → acceso a tools o datos → impacto observable.

3. Verificar el control

Prueba el estado real del sistema, no la presencia de texto guardrail: ¿se bloqueó la acción, quedaron protegidos los datos, se mantuvo least privilege y existe audit evidence?

4. Convertirlo en regresión

Cada exploit confirmado o near miss pasa a ser un test case versionado con resultado esperado y severidad capaz de bloquear el release.

Reglas del curso

No basta con leer: hay que demostrarlo

  • No confundas un safety refusal con un security control: si una tool puede ejecutar una acción peligrosa, verifica permisos y side effects.
  • Superar un jailbreak single-shot no demuestra resiliencia; usa intentos adaptativos y familias de ataques para escenarios importantes.
  • Cada security finding necesita reproducción, severidad, owner, control y regression test; un “comportamiento interesante del modelo” aún no es un finding.
  • No trates claims de seguridad del proveedor como evidencia propia. Tu release gate se basa en tus tests, traces y estado del sistema.

Módulo 1

Núcleo común de IA

Límites de los modelos y evaluación en un contexto de seguridad.

ResultadoEl especialista entiende los modos de fallo específicos de la IA y separa el comportamiento del modelo de las garantías reales de seguridad.

  1. Alfabetización en IA y límites de los modelos

    Principal

    Capacidades, alucinaciones, límites de contexto, privacidad y uso responsable.

    Material →

  2. Ingeniería de prompts y contexto

    Principal

    Instrucciones, ejemplos, restricciones, contexto y verificación de resultados.

    Prerrequisitos: Alfabetización en IA y límites de los modelos

    Material →

  3. Salidas estructuradas y evaluación

    Principal

    Esquemas de respuesta, comprobaciones deterministas, casos de prueba y criterios de aceptación.

    Prerrequisitos: Ingeniería de prompts y contexto

    Material →Recurso →

Checkpoint después del módulo

Baseline de seguridad de IA

  • ✓ assets y trust boundaries están inventariados
  • ✓ misuse está separado de vulnerability
  • ✓ las acciones de alto impacto tienen un authority owner definido

Laboratorio de transferencia de escenario

Transfer lab: descomponer un agente de IA real en trust boundaries

Usa el caso del support-agent Claude/Kodif como referencia de un sistema que lee contexto de cliente y puede iniciar tool actions. Construye un diagrama de flujo de datos y marca dónde un input no confiable puede influir en una acción privilegiada.

Entregable

DFD de una página más una tabla de assets, trust boundaries, abuse cases y owner para cada boundary.

Caso IA Claude/Kodif →Mapa de conocimiento →Roadmap Cybersecurity + AI →
  • ✓ se identifican al menos cuatro trust boundaries
  • ✓ model decision y application execution están marcados por separado
  • ✓ cada boundary de alto impacto tiene owner y señal de verificación

Módulo 2

Modelo de amenazas de IA

Ataques contra prompts, datos, herramientas, modelos y la cadena de suministro de IA.

ResultadoEl sistema dispone de un modelo de amenazas explícito, controles mapeados y pruebas de seguridad repetibles.

  1. Prompt injection y exfiltración de datos

    Principalpráctica + evaluación

    Inyección directa e indirecta, envenenamiento de RAG, fuga de secretos y fallos en límites de confianza.

    Material →Práctica →Evaluación →

  2. Permisos de agentes y abuso de herramientas

    Principal

    Mínimo privilegio, aprobaciones, sandboxing, límites de capacidades y trazabilidad de auditoría.

    Material →

  3. Seguridad de modelos y supply chain de IA

    Principalpráctica + evaluación

    Artefactos, dependencias, procedencia, registros de modelos, controles de integridad y riesgo de terceros.

    Material →Práctica →Evaluación →

  4. Proyecto: modelo de amenazas y plan de controles de IA

    Proyectopráctica + evaluación

    Amenazas, casos de abuso, controles, pruebas de verificación, responsables y riesgo residual.

    Prerrequisitos: Prompt injection y exfiltración de datos, Permisos de agentes y abuso de herramientas

    Material →Práctica →Evaluación →

Checkpoint después del módulo

Efectividad de controles

  • ✓ prompt/tool abuse tiene tests ejecutables
  • ✓ least privilege, approval y sandbox están verificados
  • ✓ supply-chain provenance y límites de secrets están documentados

Laboratorio de transferencia de escenario

Transfer lab: kill chain de agentic tool abuse

Modela una prompt injection directa o indirecta que intente pasar del contenido a una acción real. Compara contextos consumer-risk y public-service: el mismo fallo del modelo puede tener blast radius muy distinto.

Entregable

Caso de ataque ejecutable más control trace: precondiciones, payload, tool call intentado, decisión de policy, estado final y audit event.

AI² Consumer →AI² Government →Seguridad de agentes →Práctica de threat model →
  • ✓ el ataque verifica un side effect y no solo texto del modelo
  • ✓ el permiso de la tool queda limitado al mínimo necesario
  • ✓ el failure path termina en bloqueo o escalado sin reintento oculto

Módulo 3

Red teaming y respuesta a incidentes

Evaluación adversarial, monitorización, contención, recuperación y aprendizaje posterior.

ResultadoLas regresiones de seguridad de IA se detectan antes del release y se contienen rápidamente en producción.

  1. Red teaming de IA

    Principal

    Taxonomía de ataques, test harnesses, jailbreaks, abuso de herramientas, captura de evidencia y reproducibilidad.

    Material →

  2. Evaluaciones de seguridad en CI

    Principal

    Corpus de regresión, umbrales, decisiones block/allow, informes y release gates.

    Material →

  3. Respuesta a incidentes de IA

    Principalpráctica + evaluación

    Detección, contención, kill switches, rollback, preservación de evidencia y postmortems.

    Material →Práctica →Evaluación →

  4. Milestone: preparación de seguridad para IA

    Hitopráctica + evaluación

    Modelo de amenazas, evidencia de red team, CI gates, monitorización y un plan de respuesta a incidentes ejercitado.

    Prerrequisitos: Red teaming de IA, Evaluaciones de seguridad en CI, Respuesta a incidentes de IA

    Material →Práctica →Evaluación →

Checkpoint después del módulo

Preparación para red team

  • ✓ existen un adaptive attack budget y un corpus de regresión
  • ✓ el security eval gate puede bloquear el release
  • ✓ containment, rollback y kill switch se verifican mediante un drill

Laboratorio de transferencia de escenario

Transfer lab: red team adaptativo → CI gate → incident drill

Construye un pequeño conjunto adaptativo de ataques para un escenario de alto impacto, ejecuta varias variantes y convierte cada exploit confirmado en un regression test. Después ensaya containment y recovery.

Entregable

Corpus de ataques versionado, informe de security eval, decisión de release y timeline breve del incidente con evidencia de containment, rollback y recovery.

LLM red teaming →Respuesta a incidentes de IA →Safety evals →Casos de IA →
  • ✓ las pruebas son adaptativas y no solo single-shot
  • ✓ una regresión crítica bloquea el release
  • ✓ el incident drill verifica kill switch o rollback
  • ✓ el postmortem genera un nuevo regression case

Contrato capstone

Capstone: dossier de preparación de seguridad de IA

Elige un sistema de IA con retrieval o tools y demuestra su security readiness mediante ataques reproducibles, controles y respuesta en runtime. Un PDF de threat model elegante sin evidencia ejecutable no cuenta.

Qué entregar

  • — diagrama del sistema y flujo de datos con assets, actores, trust boundaries y acciones privilegiadas
  • — threat model y backlog de abuse cases con severidad y riesgo residual
  • — red-team harness con corpus de ataques versionado, incluida indirect injection y tool abuse
  • — mapa de controles: prevention, detection, containment, recovery y owner
  • — informe de security eval con umbrales de release e historial de regresiones
  • — incident runbook más evidencia de un tabletop o un containment drill ejecutable

Cuándo puede considerarse terminado

  • ✓ se reproduce al menos un attack path end-to-end desde input del atacante hasta un side effect intentado
  • ✓ los controles critical/high usan evidencia machine-readable o determinista cuando sea posible
  • ✓ un exploit exitoso se convierte automáticamente en regression case y afecta a la decisión de release
  • ✓ una tool de alto impacto no puede actuar fuera del boundary definido de identidad y autoridad
  • ✓ containment y recovery se verifican en la práctica y no se dejan descritos en futuro

Práctica final y evaluación

El curso termina con un artefacto práctico y una rúbrica de aceptación. El resultado se considera completo después de cumplir los criterios de aceptación, no solo de leer los materiales.

Prompt injection y exfiltración de datos →Seguridad de modelos y supply chain de IA →Proyecto: modelo de amenazas y plan de controles de IA →Respuesta a incidentes de IA →Milestone: preparación de seguridad para IA →Abrir roadmap →