AI-CHECK · Pfad 1: Verstehen und sicher nutzen
KI-Ergebnisse prüfen und verbessern
Ein Tag nur für die Fähigkeit, die über Nutzen oder Schaden entscheidet: KI-Ergebnisse systematisch prüfen. Quellen und Zahlen, plausible Irrtümer, Gegenproben und die Frage, wann ein Ergebnis eine Freigabe braucht.
- Dauer
- 1 Trainingstag
- Gruppe
- 4 bis 12 Personen
- Format
- Inhouse · Remote
- Sprache
- Deutsch oder Englisch
- Vorlauf
- ab 2 Wochen
- Preis
- 7.900 € pauschal, zzgl. MwSt.
Durchführung ab vier tatsächlich angemeldeten Teilnehmenden. Der Termin wird nach Abstimmung von Umfang, Voraussetzungen und Verfügbarkeit schriftlich bestätigt.
Für wen dieser Track ist
Teams, die KI-Entwürfe bereits nutzen und nun die Qualitätssicherung dazu brauchen: Sachbearbeitung, Assistenz, Fachabteilungen, Controlling-nahe Rollen. Auch als Aufbautag nach AI-WORK oder AI-LIT-LAB.
Für wen nicht
Nicht für Teams ohne jede KI-Nutzung, die starten im AI Literacy Praxislabor (AI-LIT-LAB). Nicht für die technische Evaluation von KI-Systemen mit Metriken und Gates, dafür gibt es Evaluation, Observability und Guardrails (AI-EVAL).
Ausgangssituation
Die Entwürfe kommen inzwischen aus der KI, aber die Prüfung ist Bauchgefühl: Der eine liest alles dreimal und spart keine Zeit, die andere übernimmt ungeprüft und riskiert den Fehler im Kundendokument. Was fehlt, ist eine gemeinsame, schnelle und nachweisbare Prüfroutine.
Das existiert nach dem Track
- Eine Prüfliste für KI-Ergebnisse, an mehreren Fallklassen geübt und aufs Team angepasst
- Ein Katalog der plausiblen Irrtümer: erfundene Quellen, verschobene Zeiträume, stille Annahmen
- Geübte Gegenproben: Rückrechnung, Quellabgleich, Gegenfrage an das Modell
- Eine dokumentierte Eskalations- und Freigaberegel für kritische Ergebnisse
- Ein Prüfprotokoll-Muster für nachweispflichtige Fälle
Voraussetzungen
Erste eigene Erfahrung mit KI-Entwürfen im Arbeitsalltag, etwa aus AI-WORK, AI-LIT-LAB oder eigener Praxis. Ein Laptop mit Browser genügt.
Vorarbeit vor dem Track
Sie sammeln vorab drei anonymisierte Beispiele aus Ihrem Alltag, bei denen ein KI-Ergebnis falsch, unvollständig oder verdächtig glatt war. Kein Beispiel zur Hand? Wir stellen synthetische Fälle Ihrer Branche.
Lieferumfang
- 1 Trainingstag mit Dino Bordonaro, inhouse oder remote
- Synthetische Prüffälle mit eingebauten, dokumentierten Fehlern
- Prüflisten-Vorlage und Prüfprotokoll-Muster zur Weiterverwendung
- Teilnahmezertifikat und Schulungsdokumentation
- 4 Wochen später eine 60-Minuten-Fragerunde remote für strittige Fälle
Agenda
Warum plausibel nicht richtig ist
Die Fehlerklassen von Sprachmodellen an echten Mustern: erfundene Quellen, falsche Zahlenbezüge, stille Annahmen, überzeugender Ton. Übung: In drei vorbereiteten Ausgaben steckt je ein Fehler, wer findet ihn ohne Hilfsmittel?
Die Prüfliste, Schritt für Schritt
Quellen, Zahlen, Vollständigkeit, Auftragstreue, Tonalität, Datenherkunft. Jeder Prüfschritt bekommt eine konkrete Handbewegung und ein Zeitbudget. Prüfen muss schneller sein als selbst schreiben, sonst macht es niemand.
Gegenproben, die wirken
Rückrechnung bei Zahlen, Quellabgleich bei Behauptungen, Gegenfrage an das Modell bei Unsicherheit. Übung an synthetischen Fällen: Welche Gegenprobe entlarvt welchen Fehlertyp?
Ihre Fälle, Runde eins
Die mitgebrachten anonymisierten Beispiele werden mit der Prüfliste bearbeitet. Was hätte die Liste gefangen, was nicht? Die Liste wird dort nachgeschärft, wo sie am eigenen Material versagt.
Eskalation und Freigabe
Nicht jedes Ergebnis braucht vier Augen, manche brauchen sechs. Entscheidungsbaum: Was gebe ich selbst frei, was prüft ein Kollege, was geht an die Führungskraft? Die Regel wird schriftlich und teamtauglich.
Prüfprotokoll für den Nachweis
Für nachweispflichtige Fälle: das schlanke Protokoll, das dokumentiert, was geprüft wurde. Übung am eigenen Fall, danach ist das Muster einsatzbereit.
Teamregel und nächster Schritt
Die angepasste Prüfliste wird zur Teamvereinbarung: Welche Prüfschritte sind ab morgen Pflicht, wer pflegt die Liste, wann wird nachgeschärft. Jeder geht mit einem konkreten Anwendungsvorsatz.
Übungen und Lab-Anteil
Rund zwei Drittel des Tages sind Prüfarbeit an synthetischen Fällen mit dokumentierten eingebauten Fehlern und an den eigenen mitgebrachten Beispielen.
Plattformen
Durchführung mit dem in Ihrem Haus freigegebenen KI-Werkzeug in der jeweils verfügbaren Version. Die Prüffälle sind synthetisch, echte Kundendaten werden nicht benötigt und nicht angenommen.
Transfernachweis
Bestanden hat, wer im Abschlussfall die eingebauten Fehler mit der Prüfliste findet und die Eskalationsentscheidung begründet. Das Ergebnis wird in der Schulungsdokumentation festgehalten.
Mitgenommene Artefakte
- Teamspezifisch angepasste Prüfliste für KI-Ergebnisse
- Fehlerkatalog der plausiblen Irrtümer mit Gegenproben
- Eskalations- und Freigaberegel als Teamvereinbarung
- Prüfprotokoll-Muster für nachweispflichtige Fälle
Optionale Erweiterungen
- Bessere Aufträge, bessere KI-Ergebnisse (AI-CONTEXT), damit weniger Fehler überhaupt entstehen
- Evaluation, Observability und Guardrails (AI-EVAL) für die systematische technische Qualitätssicherung
- Regelmäßige 60-Minuten-Fragerunden für strittige Fälle aus dem Alltag
Abgrenzung
Der Track schult die menschliche Prüfung von KI-Ergebnissen. Er ersetzt keine Fachprüfung, keine Rechtsberatung und keine technische Evaluationspipeline.
Häufige Fragen
Wir prüfen doch ohnehin alles. Was ist hier neu?
Alles zu lesen ist keine Prüfung, sondern Zeitverbrauch ohne System. Die Prüfliste ersetzt das Dreimal-Lesen durch gezielte Handgriffe je Fehlerklasse. Das ist schneller und fängt nachweislich mehr, gerade die überzeugend formulierten Irrtümer.
Funktioniert die Prüfliste für jedes KI-Werkzeug?
Ja, sie prüft Ergebnisse, nicht Werkzeuge. Ob der Entwurf aus einem Chat-Assistenten, einer Suchintegration oder einem internen System kommt: Quellen, Zahlen, Annahmen und Auftragstreue bleiben dieselben Prüffragen.
Was unterscheidet den Tag von AI-EVAL?
AI-CHECK schult Menschen, einzelne Ergebnisse im Alltag zu prüfen. AI-EVAL baut die technische Qualitätssicherung eines KI-Systems: Testfälle, Metriken, Gates. Das eine ersetzt das andere nicht, sie greifen ineinander.