AI-RAG · Pfad 4: Bauen und betreiben
Enterprise RAG Engineering
Ein RAG-Demo ist ein Nachmittag, ein RAG-System mit Berechtigungen und messbarer Qualität ist Engineering. Hier bauen Sie das zweite.
- Dauer
- 3 Tage
- Gruppe
- bis 12 Personen
- Format
- Inhouse · Offene Durchführung · Im Lab
- Sprache
- Deutsch oder Englisch
- Preis
- 23.700 € pauschal, zzgl. MwSt.
Für wen dieser Track ist
Entwickler, Data Engineers und Architekten, die ein RAG-System für den Unternehmenseinsatz bauen oder verantworten. Auch für Teams, die einen bestehenden Prototyp auf ein belastbares Fundament stellen wollen.
Für wen nicht
Nicht für Teilnehmende ohne Programmierpraxis, für den konzeptionellen Einstieg in Quellen und Berechtigungen ist AI-DATA der richtige Start. Wer primär Qualitätsmessung im Betrieb sucht, ist in AI-EVAL besser aufgehoben.
Ausgangssituation
Der erste RAG-Prototyp aus dem Tutorial funktioniert im Demo-Termin und versagt an realen Dokumenten: Tabellen zerfallen beim Chunking, die Suche findet Synonyme nicht, jeder sieht jedes Dokument und niemand kann sagen, ob Version 2 besser antwortet als Version 1. Zwischen Tutorial und Produktion liegt genau das Engineering, das dieser Track vermittelt.
Das existiert nach dem Track
- Ein lauffähiger RAG-Prototyp auf der Lab-Umgebung, gebaut vom eigenen Team, mit nachvollziehbarer Architekturentscheidung je Komponente
- Eine Ingestion-Pipeline mit dokumentierten Chunking-Strategien für Fließtext, Tabellen und strukturierte Dokumente
- Hybrid-Retrieval aus Vektor- und Volltextsuche mit Reranking, im direkten Messvergleich zur naiven Vektorsuche
- Ein Evaluationsset mit 30-50 Frage-Antwort-Paaren und ein erster gemessener Qualitätsstand als Baseline
- Ein implementiertes Berechtigungsmodell mit document-level security und ein Grenzdokument, das ehrlich festhält, was der Prototyp nicht kann
Voraussetzungen
Solide Programmierkenntnisse in Python, Grundverständnis von APIs und Datenbanken. Vorerfahrung mit Embeddings ist hilfreich, aber nicht Bedingung.
Vorarbeit vor dem Track
Sie erhalten vorab Zugang zur Lab-Umgebung mit einem Setup-Check von 30 Minuten sowie einen Fragenkatalog: 10 reale Fragen, die Ihr künftiges System beantworten soll, mit den Dokumenttypen, in denen die Antworten stehen. Diese Fragen werden Teil Ihres Evaluationssets.
Lieferumfang
- 3 Trainingstage mit Dino Bordonaro, wahlweise inhouse oder im Lab
- Persönliche Umgebung je Teilnehmendem auf unserem Enterprise-Lab für die Dauer des Trainings plus 14 Tage Nachlauf
- Vollständiges Code-Repository mit Referenzimplementierung, Übungsständen und Musterlösungen
- Vorlagen für Evaluationsset, Berechtigungsmodell und Grenzdokumentation
- Teilnahmezertifikate und Schulungsdokumentation für Ihr Compliance-Archiv
- 90-minütige Remote-Sprechstunde 4 Wochen nach dem Training für Fragen aus der eigenen Umsetzung
Agenda
Tag 1
Warum das Tutorial-RAG an Ihren Dokumenten scheitert
Live-Befund am Lab: ein naives RAG gegen reale Dokumenttypen mit Tabellen, Scans und Versionen. Jeder Fehler wird einer Komponente zugeordnet, daraus entsteht die Bauliste der drei Tage.
Ingestion: aus Dokumenten werden verwertbare Einheiten
Hands-on: Parser für PDF, Office und HTML, Umgang mit Tabellen und Kopfzeilen, Metadaten-Extraktion. Jeder baut die Pipeline gegen einen präparierten Dokumentensatz mit bekannten Fallen.
Chunking ist eine Entscheidung, kein Default
Übung mit Messvergleich: feste Fenster, strukturbasiertes und semantisches Chunking gegen denselben Fragenkatalog. Wann welche Strategie trägt und wie man die Entscheidung dokumentiert.
Embeddings und Index in Betrieb nehmen
Embedding-Modelle im Vergleich, Dimensionen, Sprachen, Kosten. Aufbau des Vektorindex in der eigenen Lab-Umgebung, erste Abfragen gegen den eigenen Bestand.
Tagesergebnis: die Pipeline läuft
Jede Person zeigt: Dokumentensatz ingestiert, Chunks inspiziert, Index abfragbar. Prüfkriterium ist eine dokumentierte Chunking-Entscheidung mit Begründung, nicht nur laufender Code.
Tag 2
Die Grenzen der reinen Vektorsuche
Messübung am eigenen Index: Produktnummern, Eigennamen und Abkürzungen, an denen semantische Suche vorbeigreift. Die Fehlerliste motiviert den Hybrid-Ansatz.
Hybrid-Retrieval bauen
Hands-on: Volltextsuche neben dem Vektorindex, Score-Fusion und Gewichtung. Jeder misst den Effekt am eigenen Fragenkatalog statt ihn zu glauben.
Reranking: Präzision auf den letzten Metern
Einbau eines Rerankers in die eigene Pipeline, Latenz- und Kostenmessung inklusive. Entscheidung am Messwert: Wann lohnt der zusätzliche Schritt und wann nicht?
Das Evaluationsset entsteht
Aus den mitgebrachten Fragenkatalogen wird ein strukturiertes Evaluationsset mit Erwartungsantworten und Quellenangaben. Automatisierter Lauf gegen die eigene Pipeline liefert die erste Baseline.
Tagesergebnis: gemessene Qualität statt Bauchgefühl
Jede Person legt Zahlen vor: Trefferquote und Antwortqualität für naive Suche, Hybrid und Hybrid mit Reranking im Vergleich. Die Messtabelle ist das überprüfbare Ergebnis des Tages.
Tag 3
Berechtigungen: die Frage, die Projekte stoppt
Demonstration am Lab: ein RAG ohne Berechtigungsprüfung beantwortet Gehaltsfragen aus einem HR-Dokument. Danach Architekturen für document-level security: ACL-Übernahme, Filterung zur Abfragezeit, Trusted-Identity-Durchreichung.
Document-level security implementieren
Hands-on: Berechtigungsmetadaten im Index, Sicherheitsfilter in der Retrieval-Schicht, Test mit zwei Nutzerrollen gegen denselben Bestand. Verifikation: Die gesperrte Rolle bekommt weder Antwort noch Zitat.
Antwortqualität: Grounding, Zitate, Ich-weiß-es-nicht
Prompting der Generierungsschicht: Antworten mit Quellenzitat, Verhalten bei fehlendem Kontext, Umgang mit widersprüchlichen Dokumenten. Messlauf gegen das Evaluationsset zeigt den Effekt jeder Änderung.
Grenzdokument und Betriebsübergabe
Jedes Team schreibt die ehrliche Grenzdokumentation: Welche Fragetypen beantwortet der Prototyp belastbar, welche nicht, was fehlt bis zur Produktion? Ausblick auf Observability und Release-Gates als Brücke zu AI-EVAL.
Tagesergebnis: der Prototyp im Review
Abschluss-Review je Person: Live-Abfrage mit zwei Rollen, Evaluationsergebnis, Grenzdokument. Die Runde prüft gegen eine Checkliste: Läuft es, misst es, schützt es, und steht ehrlich drin, was fehlt?
Übungen und Lab-Anteil
Mindestens 60 Prozent der Zeit ist Arbeit im Code auf der eigenen Umgebung im Enterprise-Lab: Pipeline bauen, Indexe füllen, Retrieval messen, Sicherheitsfilter testen. Jede Architekturentscheidung wird am eigenen Messwert überprüft.
Plattformen
Gebaut wird auf unserer Lab-Umgebung mit Open-Source-Komponenten und lokal betriebenen Modellen, es werden keine Kundendaten verwendet. Die Muster sind auf Azure-, On-Prem- und Hybrid-Zielumgebungen übertragbar, Plattformdienste jeweils in der verfügbaren Version. Der Sovereign Assistant dient als Referenz eines produktiven On-Prem-RAG.
Transfernachweis
Das Abschluss-Review am Tag 3 dokumentiert je Person den lauffähigen Prototyp, die Evaluationsergebnisse und das Grenzdokument gegen eine feste Checkliste. Teilnahme und Ergebnisse werden revisionssicher dokumentiert.
Mitgenommene Artefakte
- Eigener RAG-Prototyp mit Ingestion, Hybrid-Retrieval und Reranking, exportierbar aus der Lab-Umgebung
- Code-Repository mit Referenzimplementierung und Musterlösungen zur Weiterverwendung
- Evaluationsset mit 30-50 Frage-Antwort-Paaren und gemessener Baseline
- Implementiertes Berechtigungsmodell mit dokumentiertem Sicherheitsfilter
- Grenzdokument als ehrliche Entscheidungsgrundlage für den Produktionsweg
Optionale Erweiterungen
- Evaluation, Observability und Guardrails (AI-EVAL) für den Weg vom Prototyp zum betreibbaren System
- LLMOps für verbundene, getrennte und Air-Gap-Umgebungen (AI-OPS) für den souveränen Betrieb
- Sovereign Assistant als Produktweg, wenn Sie ein betreutes On-Prem-RAG statt Eigenbau wollen
Abgrenzung
Der Track baut einen Prototyp mit Ihrem Team und vermittelt die Engineering-Entscheidungen dahinter. Er ist keine Produkteinführung und kein Implementierungsprojekt in Ihrer Produktionsumgebung, dafür sprechen wir über ein Projekt oder den Sovereign Assistant.
Häufige Fragen
Wir haben schon einen Prototyp mit einem Framework gebaut. Was lernen wir noch?
Der Unterschied liegt zwischen Laufen und Belastbarkeit: Hybrid-Retrieval mit Messvergleich, Reranking-Entscheidung nach Zahlen, document-level security und ein Evaluationsset als Baseline. Genau die Teile, die in Framework-Tutorials fehlen und Projekte später stoppen.
Brauchen wir eine eigene GPU-Umgebung oder Cloud-Zugänge?
Nein. Jede Person arbeitet auf einer eigenen Umgebung in unserem Enterprise-Lab mit 2.516 CPU-Cores und 24 TB RAM, inklusive 14 Tagen Nachlauf. Für die Übertragung in Ihre Zielumgebung nehmen Sie Code und Architekturentscheidungen mit.
Was kostet die Teilnahme, wenn wir nur 2 Entwickler schicken wollen?
Der Track läuft als Inhouse-Durchführung für 23.700 € zzgl. MwSt. mit 4 bis 12 Teilnehmenden, mit Fragenkatalogen und Dokumenttypen aus Ihrem Haus. Mit weniger als 4 eigenen Entwicklern kombinieren Sie sinnvoll mit dem Data- oder Plattform-Team, gerade RAG lebt von dieser Mischung.