Zum Hauptinhalt springen

Vollständiger Lernkurs

AI Engineer

Von Programmiergrundlagen zu produktiven AI-Systemen

Ein schrittweiser Kompetenzpfad für Engineers, die praktische Produkte mit Foundation Models, RAG, Agenten, Evaluation und Produktionsinfrastruktur bauen.

Arbeite nicht nur die Materialien durch. Baue ein Portfolio produktionsreifer Artefakte: einen zuverlässigen API-Client, evidence-first RAG, einen kontrollierten Agenten, ein Evaluation-Gate und ein vollständiges AI-System mit Runtime-Kontrollen.

0%0/33 Lektionen

Der Fortschritt wird lokal in deinem Browser gespeichert.

6–12 Monate6 Module33 Lektionen4 Assessments

Lern-Betriebssystem

So arbeitest du den Kurs durch und behältst ein belastbares Ergebnis

1. Konzept verstehen

Lies das Kernmaterial und formuliere mit eigenen Worten, welches Problem es löst, wo es scheitert und welche Trade-offs entstehen.

2. Praktisch reproduzieren

Gehe nicht nach einmaligem Lesen weiter. Baue ein minimales funktionierendes Artefakt: Code, Diagramm, Eval-Set, Policy oder beobachtbaren Workflow.

3. Eigene Lösung brechen

Füge mindestens einen Failure Case hinzu: Timeout, veralteter Kontext, Prompt Injection, ungültiges Schema, falscher Tool-Aufruf oder Budgetüberschreitung.

4. Evidenz sichern

Speichere Testausgaben, Screenshot oder Trace, Acceptance-Ergebnis oder kurzes Postmortem. Bewertet wird der Funktionsnachweis, nicht die Zahl geöffneter Seiten.

Kursregeln

Nicht nur gelesen — sondern nachgewiesen

  • Eine Lektion ist nicht allein durch Lesen abgeschlossen; Artefakt oder Evidenz ist erforderlich.
  • Ist ein Prerequisite schwach, gehe zurück. Der Kurs ist ein Dependency Graph, keine Playlist.
  • Optimiere Kosten nicht vor einer Quality Baseline und skaliere Autonomie nicht vor Evaluation und Controls.
  • Schließe jedes Projekt oder Milestone mit einem kurzen Postmortem ab: Was brach, was wurde geändert und welches Signal wird jetzt überwacht?

Modul 1

Engineering-Grundlagen

Die Basis, damit AI-Produkte nicht zu fragilen Demos werden.

ErgebnisEin zuverlässiges Python/API-Projekt mit Typisierung, Tests und kontrollierter Fehlerbehandlung.

  1. Python für Production

    Kern

    Typisierung, virtuelle Umgebungen, Packaging, Async, Logging und Tests.

    Material →

  2. Typing und Datenverträge

    Kern

    Typen, Dataclasses, Pydantic und Schema-Validierung.

    Material →

  3. Async und API-Clients

    Kern

    Nebenläufigkeit, Timeouts, Retries und Rate Limits.

    Material →

  4. Reliability Patterns

    Empfohlen

    Idempotenz, Backoff, Circuit Breaker und Observability.

    Material →

  5. HTTP, APIs und Backend-Grundlagen

    Kern

    REST, Streaming, Authentifizierung, Queues und Background Jobs.

    Voraussetzungen: Python für Production

    Material →

  6. Projekt: resilienter AI-API-Client

    ProjektPraxis + Assessment

    Ein Client mit strukturierten Outputs, Retries, Timeouts, Tracing und Tests.

    Voraussetzungen: Python für Production, HTTP, APIs und Backend-Grundlagen

    Material →Praxis →Assessment →

Checkpoint nach dem Modul

Engineering-Baseline

  • ✓ API-Client besteht Tests
  • ✓ Retries, Timeouts und Idempotenz sind umgesetzt
  • ✓ Fehler haben kontrollierte Typen und Logs

Modul 2

LLM Engineering Core

Wie Modelle in Anwendungssystemen arbeiten und wie ihr Verhalten kontrolliert wird.

ErgebnisEin kontrollierter LLM-Workflow mit strukturierten Outputs, Context Management und Model Routing.

  1. LLMs, Tokens, Kontext und Inferenz

    Kern

    Transformer-Grundlagen, Tokenisierung, Kontextfenster, Latenz und Kosten.

    Material →Ressource →

  2. Prompt- und Context Engineering

    Kern

    System Instructions, Beispiele, Constraints, Context Packing und Failure Modes.

    Voraussetzungen: LLMs, Tokens, Kontext und Inferenz

    Material →

  3. Structured Outputs und Tool Calling

    Kern

    JSON Schema, Validierung, Function Contracts und sichere Tool-Ausführung.

    Voraussetzungen: Prompt- und Context Engineering

    Material →Ressource →

  4. Modellauswahl und Routing

    Empfohlen

    Qualität, Kosten, Latenz, Fallbacks und Multi-Model-Strategie.

    Voraussetzungen: LLMs, Tokens, Kontext und Inferenz

    Material →

Checkpoint nach dem Modul

Kontrollierter LLM-Workflow

  • ✓ Structured Output wird gegen ein Schema validiert
  • ✓ Tool-Verträge haben explizite Grenzen
  • ✓ Model- und Fallback-Entscheidung ist definiert

Modul 3

RAG und Wissenssysteme

Systeme bauen, die auf eigenen Daten und überprüfbaren Belegen antworten.

ErgebnisProduction-ready RAG mit Zitaten, Evaluation, Aktualität und Zugriffskontrolle.

  1. Embeddings und semantische Suche

    Kern

    Vektorrepräsentationen, Ähnlichkeit und Indexierung.

    Material →

  2. Ingestion und Chunking

    Kern

    Parsing, Metadaten, Chunk-Strategien und Dokumentqualität.

    Voraussetzungen: Embeddings und semantische Suche

    Material →

  3. Retrieval, Hybrid Search und Reranking

    Kern

    Query Rewriting, Multi-Query Retrieval, Filter und Reranker.

    Voraussetzungen: Ingestion und Chunking

    Material →

  4. Zitate, Aktualität, ACL und Observability

    Kern

    Belege, versionierte Fakten, Berechtigungen, Traces und Evaluations.

    Voraussetzungen: Retrieval, Hybrid Search und Reranking

    Material →

  5. Projekt: evidenzbasierter Wissensassistent

    ProjektPraxis + Assessment

    Ein Assistent mit Zitaten, ACL, Regression-Evaluations und Freshness Policy.

    Voraussetzungen: Zitate, Aktualität, ACL und Observability

    Material →Praxis →Assessment →

Checkpoint nach dem Modul

Evidence-first Wissenssystem

  • ✓ Antworten enthalten Quellenangaben
  • ✓ ACL und Aktualität werden geprüft
  • ✓ Retrieval-Regression-Cases existieren

Modul 4

Agenten und Tool-Ökosysteme

Gesteuerte mehrstufige Systeme mit Tools, State und menschlicher Aufsicht.

ErgebnisEin Agent mit explizitem State, Berechtigungsgrenzen, Audit Log und Evaluation.

  1. Agent Loop und Planung

    Kern

    Ziel, Plan, Aktion, Beobachtung und Stop-Bedingungen.

    Material →

  2. State und Memory

    Kern

    Working State, Verlauf, dauerhaftes Wissen und Kontextgrenzen.

    Voraussetzungen: Agent Loop und Planung

    Material →

  3. State Machines, Handoffs und Multi-Agent

    Empfohlen

    Deterministischer Kontrollfluss, Delegation und Koordination.

    Voraussetzungen: State und Memory

    Material →

  4. MCP-Server, Clients und Autorisierung

    Kern

    Standardisierte Tool-/Datenintegration und sichere Verträge.

    Voraussetzungen: Agent Loop und Planung

    Material →

  5. Projekt: gesteuerter Operations-Agent

    ProjektPraxis + Assessment

    Ein Agent mit Freigaben, Kosten-/Zeitlimits, Tools, Audit Log und Rollback.

    Voraussetzungen: State Machines, Handoffs und Multi-Agent, MCP-Server, Clients und Autorisierung

    Material →Praxis →Assessment →

Checkpoint nach dem Modul

Kontrollierter Agent

  • ✓ State und Stop-Bedingungen sind explizit
  • ✓ High-impact-Aktionen haben eine Approval-Grenze
  • ✓ Tool-Aktionen besitzen einen Audit Trail

Modul 5

Evaluation, Sicherheit und Qualität

Systematische Prüfung von Qualität, Sicherheit und Regressionen.

ErgebnisEine Evaluation-Pipeline, die unsichere oder schwache Releases blockiert.

  1. Evaluation-Datensätze und Testfälle

    Kern

    Repräsentative Fälle, Golden Sets und Produktionsfeedback.

    Material →

  2. Metriken und Model Grader

    Kern

    Deterministische Checks, LLM Judges, Kalibrierung und Bias.

    Voraussetzungen: Evaluation-Datensätze und Testfälle

    Material →

  3. Prompt Injection, Guardrails und Red Teaming

    Kern

    Threat Models, Tool-Isolation, Data Leakage und adversariale Tests.

    Material →

  4. Regression- und Release-Gates

    MeilensteinPraxis + Assessment

    Schwellenwerte, Baselines, CI-Integration und Rollback-Kriterien.

    Voraussetzungen: Metriken und Model Grader, Prompt Injection, Guardrails und Red Teaming

    Material →Praxis →Assessment →

Checkpoint nach dem Modul

Release-Quality-Gate

  • ✓ repräsentativer Eval-Datensatz existiert
  • ✓ Qualitätsschwellen sind definiert
  • ✓ gefährliche Regression blockiert den Release

Modul 6

Production-AI-Systeme und Runtime-Betrieb

Deployment, Serving, Observability, Runtime-Evidenz, kontrollierte Modell-/Provider-Änderungen, Kosten, Zuverlässigkeit und Incident Response.

ErgebnisEin AI-System mit SLOs, nachvollziehbarer Runtime Truth, kontrollierten Modell-/Provider-Änderungen, Rollback auf einen Known-Good-Stand und verifizierter Wirtschaftlichkeit.

  1. Serving, Streaming und Batching

    Kern

    Managed APIs, Self-Hosting, vLLM, Queues, Backpressure, Quotas und Kapazitätsgrenzen.

    Material →

  2. Tracing, SLOs und Production Monitoring

    Kern

    End-to-End-Traces über Modell-, Retrieval- und Tool-Aufrufe hinweg sowie Latenz, Kosten, Qualität, Fehler, Drift und Alerts.

    Voraussetzungen: Serving, Streaming und Batching

    Material →Ressource →

  3. Runtime-Evidenz und False-Green-Prävention

    Kern

    Erfassung des deployten Commit-/Config-Fingerprints, autoritativer Postconditions, Production-Verifikation und getrennter Wahrheiten für CI, Deploy und Indexierung.

    Voraussetzungen: Tracing, SLOs und Production Monitoring

    Material →Ressource →

  4. Change Control für Modell, Prompt, Retrieval und Provider

    Kern

    Versionierter Release-Envelope für Modellrevision, Prompt, Retrieval/Index, Tools, Policy und Provider; Replay, Canary, Holdback und Rollback als ein Change Contract.

    Voraussetzungen: Runtime-Evidenz und False-Green-Prävention, Regression- und Release-Gates

    Material →Ressource →

  5. Kapazitäts-, Kosten- und Routing-Budgets

    Empfohlen

    Concurrency, Rate Limits, Token-/Tool-Budgets, Kosten pro erfolgreich verifizierter Aufgabe und Fallback-Ökonomie zwischen Modellen oder Providern.

    Voraussetzungen: Serving, Streaming und Batching

    Material →Ressource →

  6. Datenschutz, Secrets und Governance

    Kern

    PII, Datenrichtlinien, Supply Chain, Sandboxing, Policy Engines und Tool-Zugriff nach dem Least-Authority-Prinzip.

    Material →Ressource →

  7. Fehlerinjektion, Failover und Reconciliation

    Empfohlen

    Tests für 429/5xx, Timeouts, Provider-Ausfälle, partielle Side Effects und doppelte Zustellung; zuerst reconciliieren, dann erneut versuchen; Fallback vor einem realen Incident verifizieren.

    Voraussetzungen: Runtime-Evidenz und False-Green-Prävention, Change Control für Modell, Prompt, Retrieval und Provider

    Material →Ressource →

  8. Incident Response und Rollback

    Empfohlen

    Runbooks, begrenzte Kill Switches, Modell-/Provider-Fallback, Wiederherstellung einer Known-Good-Konfiguration und Postmortem → permanenter Regressionstest.

    Voraussetzungen: Fehlerinjektion, Failover und Reconciliation

    Material →Ressource →

  9. Capstone: Production-AI-System

    Meilenstein

    End-to-End-System mit Contracts, RAG/Agents, Evals, versioniertem Release-Envelope, Deployment-Gates, Runtime-Evidenz, Failure Drills und verifizierter Recovery.

    Voraussetzungen: Incident Response und Rollback, Datenschutz, Secrets und Governance, Kapazitäts-, Kosten- und Routing-Budgets

    Material →Ressource →

Checkpoint nach dem Modul

Production Readiness

  • ✓ SLOs und Monitoring existieren
  • ✓ Rollback oder Kill Switch wurde getestet
  • ✓ Kosten und Failure Modes werden gemessen

Capstone-Vertrag

Capstone: produktives AI-System

Baue ein End-to-End-System, in dem das LLM nur eine Komponente ist. Es muss reale Eingaben verarbeiten, mit Wissen oder Tools arbeiten, Evals bestehen, Observability liefern und sich bei Fehlern kontrolliert verhalten.

Was abzugeben ist

  • — Architekturdiagramm und kurzer ADR mit zentralen Trade-offs
  • — Repository oder ausführbarer Prototyp mit README und Setup
  • — Evaluation-Datensatz plus Baseline- und Regression-Ergebnisse
  • — Observability-Evidenz: Traces, Latenz, Fehler und Kosten
  • — Security- und Authority-Modell für Daten und Tool-Aktionen
  • — Runbook für Failure, Rollback, Kill Switch und Recovery

Wann es als fertig gilt

  • ✓ Happy Path funktioniert vom Input bis zum verifizierten Output
  • ✓ mindestens drei Failure-Szenarien sind reproduzierbar und werden vorhersehbar behandelt
  • ✓ kritische Aktionen laufen nicht außerhalb der definierten Authority Boundary
  • ✓ Release kann ohne manuelles Chaos gestoppt oder zurückgerollt werden
  • ✓ ein anderer Engineer kann das Ergebnis anhand von Evidenz nachvollziehen statt über „scheint zu funktionieren“

Abschlusspraxis und Assessment

Der Kurs endet mit einem praktischen Artefakt und einer Abnahmerubrik. Das Ergebnis gilt erst nach erfüllten Akzeptanzkriterien als abgeschlossen, nicht bloß nach dem Lesen der Materialien.

Projekt: resilienter AI-API-Client →Projekt: evidenzbasierter Wissensassistent →Projekt: gesteuerter Operations-Agent →Regression- und Release-Gates →Roadmap öffnen →