AI-SEC · Pfad 3: Regeln und schützen
Secure GenAI und Agent Threat Modeling
Zwei Tage, nach denen Sie ein Threat Model, ein Datenflussbild und einen Testplan für eine echte Anwendung haben statt einer Liste theoretischer Risiken.
- Dauer
- 2 Tage
- Gruppe
- bis 12 Personen
- Format
- Inhouse · Remote · Im Lab
- Sprache
- Deutsch oder Englisch
- Preis
- 15.800 € pauschal, zzgl. MwSt.
Für wen dieser Track ist
Für Sicherheits- und Governance-Verantwortliche zusammen mit Engineering, die eine GenAI- oder Agenten-Anwendung absichern müssen. Ideal, wenn eine Anwendung vor dem Produktivgang steht oder bereits läuft und ihr Schutz systematisch werden soll.
Für wen nicht
Nicht für Teams, die noch keine konkrete Anwendung haben und nur einen Überblick suchen. Für den Überblick auf Entscheiderebene passt das Sovereign AI Executive Briefing (AI-EXEC) besser.
Ausgangssituation
Ihre erste GenAI-Anwendung mit Wissensanbindung oder ein Agent mit Werkzeugzugriff steht, aber die Sicherheitsbetrachtung fehlt. Klassische Bedrohungsmodelle passen nicht sauber auf Prompt-Eingaben, RAG-Quellen und Tool-Aufrufe, und niemand hat den Datenfluss vollständig aufgezeichnet.
Das existiert nach dem Track
- Ein Datenflussbild Ihrer Anwendung von der Eingabe über Modell, Wissensquellen und Werkzeuge bis zur Ausgabe
- Ein Threat Model, das eine STRIDE-artige Systematik auf GenAI und Agenten überträgt
- Ein Katalog konkreter Schutzmaßnahmen: Guardrails, Berechtigungen und Ausgabefilter, je Bedrohung zugeordnet
- Ein Testplan, der prüfbar macht, ob eine Maßnahme wirkt
- Eine priorisierte Restrisikoliste mit Verantwortlichen
Voraussetzungen
Grundkenntnisse in Anwendungsarchitektur und Informationssicherheit. Sie brauchen eine reale Anwendung, die Sie betrachten wollen, mindestens als Architekturskizze.
Vorarbeit vor dem Track
Sie bringen eine Beschreibung Ihrer Zielanwendung mit: welche Modelle, welche Wissensquellen, welche Werkzeuge und Berechtigungen, welche Nutzergruppen. Aus dieser Skizze entsteht an Tag 1 das gemeinsame Datenflussbild.
Lieferumfang
- Zwei Präsenz- oder Remote-Tage mit Dino Bordonaro und maximal zwölf Teilnehmenden
- Threat-Modeling-Vorlage für GenAI und Agenten mit Datenfluss-Notation
- Referenzrahmen entlang bekannter OWASP-LLM-Risikofelder als Checkliste, in eigener Formulierung
- Maßnahmen- und Testplan-Vorlage zum Weiterführen im Haus
- Zugang zur Lab-Umgebung für die Demonstrationen und 30-minütiges Nachgespräch nach vier Wochen
Agenda
Tag 1
Warum GenAI andere Bedrohungen hat
Prompt Injection, unsichere Ausgaben, Datenabfluss über Wissensquellen und Werkzeuge. Kernfrage: Wo unterscheidet sich das von klassischer Anwendungssicherheit und wo nicht?
Datenflussbild Ihrer Anwendung
Wir zeichnen den vollständigen Fluss: Eingabe, Modell, RAG-Quellen, Tool-Aufrufe, Ausgabe. Übung: Jede Vertrauensgrenze wird markiert und benannt.
STRIDE-artige Systematik auf GenAI übertragen
Wir gehen die Bedrohungskategorien durch und übersetzen sie auf Prompt, Kontext, Werkzeuge und Ausgabe. Der OWASP-LLM-Referenzrahmen dient als Checkliste, damit keine Kategorie vergessen wird.
Bedrohungen an Ihrer Anwendung sammeln
Übung an Ihrem Datenflussbild: Je Vertrauensgrenze benennen wir plausible Angriffe. Tagesergebnis: ein erstes Threat Model mit priorisierten Bedrohungen.
Tag 2
Live-Demonstration im Lab
Wir zeigen an einer präparierten Umgebung, wie eine Prompt Injection über eine RAG-Quelle wirkt und was ein zu weit berechtigtes Werkzeug preisgibt. Keine Kundendaten, nur zum Verständnis der Wirkung.
Schutzmaßnahmen je Bedrohung
Guardrails, Berechtigungen nach geringstem Recht, Ausgabefilter, Quellenprüfung. Entscheidung je Bedrohung: welche Maßnahme, welcher Aufwand, welches Restrisiko bleibt?
Testplan bauen
Zu jeder Maßnahme ein Test, der ihre Wirkung nachweist. Übung: Wir formulieren pro wichtiger Bedrohung einen konkreten Testfall mit erwartetem Ergebnis.
Restrisiken und Übergabe
Wir tragen zusammen, was bleibt, und benennen Verantwortliche. Tagesergebnis: Threat Model, Maßnahmenkatalog, Testplan und priorisierte Restrisikoliste für Ihre Anwendung.
Übungen und Lab-Anteil
Am zweiten Tag zeigen Live-Demonstrationen in der Lab-Umgebung die Wirkung von Prompt Injection und zu weiten Berechtigungen. Das Threat Model und der Testplan entstehen an Ihrer echten Anwendung.
Plattformen
Durchführung in Ihren Räumen, remote oder in unserem Enterprise-Lab. Die Demonstrationen laufen in einer präparierten Umgebung ohne Kundendaten, Ihr Threat Model arbeitet mit Ihrer Architekturskizze, nicht mit produktiven Systemen.
Transfernachweis
Geprüft wird die Vollständigkeit von Threat Model, Maßnahmenkatalog und Testplan am Ende von Tag 2, jeweils an Ihrer Anwendung. Teilnahme und Inhalte werden revisionssicher dokumentiert.
Mitgenommene Artefakte
- Datenflussbild Ihrer Anwendung mit markierten Vertrauensgrenzen
- Threat Model mit priorisierten Bedrohungen
- Maßnahmenkatalog mit Guardrails, Berechtigungen und Ausgabefiltern
- Testplan mit konkreten Testfällen je Maßnahme
- Priorisierte Restrisikoliste mit Verantwortlichen
Optionale Erweiterungen
- Evaluation, Observability und Guardrails (AI-EVAL) zur messbaren Absicherung Ihrer Anwendung im Betrieb
- AI Risk Classification Lab (AI-RISK) zur vorgelagerten Einstufung der Anwendung
- Evaluation, Observability und Guardrails (AI-EVAL) zur laufenden Überwachung der umgesetzten Maßnahmen
Abgrenzung
Der Track liefert Modell, Maßnahmen und Testplan als Entwurf. Er ersetzt keine Implementierung, kein Penetrationstest-Mandat und keinen betriebenen Sicherheitsdienst.
Häufige Fragen
Müssen wir eine fertige Anwendung mitbringen?
Nein, eine belastbare Architekturskizze genügt. Wichtig ist, dass Modelle, Wissensquellen, Werkzeuge und Nutzergruppen benannt sind, denn daran entsteht das Datenflussbild und das Threat Model.
Kopieren Sie einfach die OWASP-LLM-Liste?
Nein. Wir nutzen die bekannten OWASP-LLM-Risikofelder als Referenzrahmen und Checkliste, damit keine Kategorie fehlt, und übertragen sie mit eigener Systematik auf Ihre konkrete Anwendung. Das Ergebnis ist Ihr Threat Model, nicht eine abgeschriebene Liste.
Greifen Sie unser System dabei an?
Nein. Wir modellieren Bedrohungen und zeigen ihre Wirkung an einer vorbereiteten Lab-Demonstration. Ihr Team geht mit einem priorisierten Testplan heraus und arbeitet ihn selbst oder mit einem Prüfpartner ab.