AI-OPS · Pfad 4: Bauen und betreiben
LLMOps für verbundene, getrennte und Air-Gap-Umgebungen
Drei Tage, nach denen ein Modell-Update auch dann sicher ankommt, wenn kein Kabel nach draußen führt.
- Dauer
- 3 Tage
- Gruppe
- bis 12 Personen
- Format
- Inhouse · Im Lab
- Sprache
- Deutsch oder Englisch
- Preis
- 23.700 € pauschal, zzgl. MwSt.
Für wen dieser Track ist
Plattform- und Betriebsteams, die eine LLM-Plattform in Umgebungen mit eingeschränkter oder fehlender Internetanbindung verantworten: Behörden, kritische Infrastruktur, Verteidigung, produzierende Industrie mit getrennten Netzen. Auch für Teams, deren Plattform heute verbunden ist, die aber ein belastbares Trennungs-Szenario brauchen.
Für wen nicht
Nicht für Teams, die noch keine Plattform betreiben oder planen. Die bauen zuerst das Fundament im Sovereign AI Platform Engineering (AI-PLATFORM).
Ausgangssituation
Ihre KI-Plattform soll in einer Umgebung laufen, in der übliche MLOps-Rezepte scheitern: kein Zugriff auf Hugging Face, keine Container-Registry im Internet, kein Telemetrie-Backend in der Cloud. Modelle, Container und Signaturen müssen kontrolliert über eine Schleuse hinein, Updates dürfen nichts kaputt machen, und ein Rollback muss ohne Herstellersupport von außen funktionieren.
Das existiert nach dem Track
- Ein dokumentierter Artefaktfluss für Modelle, Container, Prompts und Konfigurationen mit Versionierung und Signaturkette
- Ein Promotion-Prozess dev-test-prod mit definierten Gates, inklusive Evaluations-Gate vor jedem Modellwechsel
- Ein Offline-Updatekonzept: Transferpaket, Schleusenprozess, Signaturprüfung und Staging ohne Internetzugang, im Lab einmal vollständig durchgespielt
- Ein Incident- und Rollback-Runbook für Modellregression, kompromittierte Artefakte und Plattformausfall, in einer Übung getestet
- Ein Monitoring-Konzept, das ohne Cloud-Backend auskommt und trotzdem Modellqualität sichtbar macht
Voraussetzungen
Betriebserfahrung mit Containern und CI/CD-Grundverständnis. Ideal ist der vorherige Besuch von AI-PLATFORM oder eine bestehende Inference-Umgebung im eigenen Haus.
Vorarbeit vor dem Track
Sie skizzieren vorab Ihre Zielumgebung auf einer Seite: Netzzonen, erlaubte Übergänge, heutige Update-Wege und die eine Störung, die Sie nachts am meisten fürchten. Diese Skizzen werden am ersten Tag zu Fallstudien der Gruppe.
Lieferumfang
- 3 Trainingstage, gehalten von Dino Bordonaro
- Lab-Umgebung mit einer bewusst abgeschotteten Netzzone je Team, in der die Offline-Übungen real stattfinden
- Vorlagen für Transferpaket-Manifest, Promotion-Gates und Rollback-Runbook
- Teilnahmezertifikate und revisionssichere Schulungsdokumentation
- 60-minütiges Follow-up mit dem Team 4 Wochen nach dem Kurs
Agenda
Tag 1
Drei Betriebsmodelle, drei Wahrheiten
Verbunden, zeitweise getrennt, dauerhaft getrennt: was sich je Modell an Update-Frequenz, Monitoring und Supportfähigkeit wirklich ändert. Ehrliche Einordnung von Azure Local Disconnected Operations: zugangsbeschränkt, mit Eligibility-Prüfung, kein frei bestellbares Produkt.
Alles ist ein Artefakt
Modelle, Container, Prompts, Konfigurationen und Evaluationsdaten als versionierte, signierte Artefakte. Konkrete Frage je Artefakttyp: Wo entsteht es, wer signiert es, was beweist die Signatur?
Promotion-Gates, die etwas aufhalten
Der Weg von dev über test nach prod mit Gates, die scharf gestellt sind: Evaluations-Suite, Signaturprüfung, Vier-Augen-Freigabe. Diskussion am Fall: Welches Gate hätte den letzten schlechten Modellwechsel Ihres Hauses gestoppt?
Übung: Promotion-Pipeline im Lab
Jedes Team baut die Pipeline nach: ein Modellartefakt durchläuft dev und test, ein absichtlich verschlechtertes Modell muss am Evaluations-Gate hängen bleiben. Tut es das nicht, wird das Gate nachgeschärft.
Tagesergebnis: dokumentierter Promotion-Prozess
Jedes Team hat einen Promotion-Prozess mit definierten Gates als Dokument und als lauffähige Pipeline, nachgewiesen durch ein Modell, das durchkam, und eines, das gestoppt wurde.
Tag 2
Anatomie eines Transferpakets
Was über die Schleuse geht: Modellgewichte, Container-Images, Signaturen, Manifeste, Evaluationsdaten. Aufbau eines Manifests, das Vollständigkeit und Unversehrtheit prüfbar macht, bevor irgendetwas installiert wird.
Die Schleuse als Prozess, nicht als USB-Stick
Rollen, Prüfschritte und Protokollierung beim Übergang in die getrennte Zone. Welche Prüfungen laufen außen, welche innen, und wer trägt die Freigabe? Abgleich mit den mitgebrachten Netzskizzen.
Übung: Offline-Update unter Realbedingungen
Die Lab-Zone jedes Teams ist vom Internet getrennt. Ein neues Modell samt Container wird als Transferpaket gebaut, eingeschleust, gegen das Manifest geprüft und im Staging aktiviert. Ein manipuliertes Paket ist im Umlauf und muss an der Signaturprüfung scheitern.
Nachbereitung: wo es hakte
Auswertung der Übung entlang der Protokolle: Welche Prüfung hat gefehlt, welche war doppelt, wie lange hat der Durchlauf gedauert? Die Erkenntnisse fließen direkt ins eigene Updatekonzept.
Tagesergebnis: durchgeführtes Offline-Update mit Protokoll
Jedes Team hat ein Update ohne Internetzugang vollständig durchgeführt und das manipulierte Paket nachweislich abgewiesen. Das Schleusenprotokoll dokumentiert jeden Schritt.
Tag 3
Monitoring ohne Cloud-Backend
Modellqualität, Drift und Plattformgesundheit sichtbar machen, wenn kein SaaS-Dashboard erlaubt ist. Aufbau der Metrik-Pipeline in der getrennten Zone, inklusive der Frage, welche Auswertungen periodisch nach außen dürfen und welche nie.
Incident-Szenarien für LLM-Plattformen
Modellregression nach Update, Verdacht auf kompromittiertes Artefakt, GPU-Ausfall, Prompt-Injection-Welle: für jedes Szenario Erkennungsweg, Sofortmaßnahme und Kommunikationskette im Runbook festlegen.
Übung: Rollback unter Zeitdruck
Das am Vortag eingespielte Modell zeigt in der Übung eine massive Regression. Jedes Team rollt nach Runbook auf den letzten guten Stand zurück, misst die Zeit und weist per Evaluation nach, dass der alte Zustand wiederhergestellt ist.
Ihr 90-Tage-Plan für den echten Betrieb
Priorisierung im Team: welche drei Lücken zwischen Lab-Übung und eigener Umgebung zuerst geschlossen werden, wer die Signaturkette im Haus verantwortet, wann der erste eigene Schleusen-Testlauf stattfindet.
Tagesergebnis: getestetes Incident- und Rollback-Runbook
Jedes Team hat ein Runbook, das eine echte Rollback-Übung überstanden hat, samt gemessener Wiederherstellungszeit und dokumentiertem 90-Tage-Plan für die eigene Umgebung.
Übungen und Lab-Anteil
Etwa 60 Prozent der Zeit sind Übungen: jedes Team betreibt eine real abgeschottete Lab-Zone, baut Transferpakete, weist ein manipuliertes Paket ab und führt einen vollständigen Rollback unter Zeitmessung durch.
Plattformen
Durchführung auf unserer Lab-Umgebung mit getrennten Netzzonen, auf Wunsch inhouse mit Ihrer eigenen Infrastruktur, sofern Zugriffe und Freigaben vorliegen. Azure Local Disconnected Operations behandeln wir ehrlich als zugangsbeschränktes Angebot mit Eligibility-Prüfung, alle Plattformfunktionen gelten in der jeweils verfügbaren Version.
Transfernachweis
Drei dokumentierte Nachweise: die Pipeline, die ein schlechtes Modell stoppt, das Schleusenprotokoll des Offline-Updates mit abgewiesenem Manipulationspaket und die gemessene Rollback-Übung. Alle drei werden den Teilnehmenden als Dokumentation übergeben.
Mitgenommene Artefakte
- Promotion-Prozess dev-test-prod als Dokument und Pipeline-Vorlage
- Transferpaket-Manifest und Schleusenprotokoll als Vorlagen
- Incident- und Rollback-Runbook, in der Übung getestet
- Monitoring-Konzept für Umgebungen ohne Cloud-Backend
- 90-Tage-Plan für die Übertragung in die eigene Umgebung
Optionale Erweiterungen
- Azure Arc und Azure Local als Hybrid-Control-Plane (AI-ARC) für das Entscheidungsbild verbunden gegen getrennt
- Evaluation, Observability und Guardrails (AI-EVAL) zur Vertiefung der Evaluations-Gates
- Begleiteter erster Schleusen-Testlauf in Ihrer Umgebung als separater Service
Abgrenzung
Der Kurs liefert Prozesse, Vorlagen und geübte Handgriffe, keine Zertifizierung Ihrer Umgebung und keine Implementierung Ihrer Schleuse. Aufbau und Betrieb in Ihrem Haus sind Projektleistungen und werden separat beauftragt.
Häufige Fragen
Ist unsere Umgebung nach dem Kurs air-gapped und sicher?
Nein, und Vorsicht vor jedem, der das verspricht. Der Kurs vermittelt die Prozesse und Nachweise, mit denen Sie eine getrennte Umgebung betreibbar machen. Ob und wie streng Ihre Trennung ausfällt, entscheiden Ihre Sicherheitsarchitektur und Ihre Aufsicht, nicht ein Training.
Geht das auch remote?
Der Kern des Kurses lebt von den abgeschotteten Lab-Zonen und der physischen Schleusen-Übung, deshalb bieten wir ihn nur in Präsenz an: im Lab oder inhouse bei Ihnen. Das Follow-up nach 4 Wochen findet remote statt.
Wir sind heute vollständig verbunden. Lohnt sich der Kurs trotzdem?
Ja, wenn ein Trennungs-Szenario realistisch werden kann, etwa durch Auflagen, Kunden aus kritischer Infrastruktur oder Zertifizierungsziele. Der Promotion-Prozess und die Signaturkette aus Tag 1 verbessern auch verbundene Umgebungen sofort, der Rest ist Ihre Versicherung.