Schwellenwert-Validierung driftender KI-Systeme

Ihre KI-Modelle wurden vor dem ersten Einsatz geprüft. Im laufenden Einsatz oft nicht mehr.

KI_AUDIT prüft, ob die Ergebnisse produktiver KI-Systeme im laufenden Einsatz gegen ihre Freigabe-Schwellenwerte belastbar bleiben — damit Freigaben, interne Prüfungen und Aufsichtsgespräche auf belastbarem Boden stehen, auch wenn Modelle driften.

Executive Summary

Organisationen validieren KI-Modelle bei der Freigabe und überwachen im Betrieb technische Metriken wie Latenz, Verfügbarkeit und Datenqualität. In klassischen Prüfformaten typischerweise nicht adressiert: ob die inhaltlichen Ergebnisse eines Modells noch gegen die bei Freigabe gesetzten Schwellenwerte halten, wenn sich Daten, Nutzung und Umfeld verschieben. Diese Ebene — die Belastbarkeit von KI-Ergebnissen über den Lebenszyklus, gemessen gegen definierte Schwellenwerte — ist der Gegenstand von KI_AUDIT.

Relevant u.a. für: EU AI Act · ISO/IEC 42001 · NIST AI RMF · EIOPA-Erwartungen an Model Monitoring

01 — Warum das relevant istModell-Drift ist die ungeprüfte Ebene zwischen Freigabe und Betrieb

Ein KI-Modell wird bei Roll-out geprüft und freigegeben. Danach verschieben sich Eingabedaten, Nutzungsmuster und Umfeld — und mit ihnen die Ergebnisse. Ob diese noch gegen die Freigabe-Schwellenwerte halten, wird selten formal nachgeprüft.

Und das ist kein Randfall: Eine in Scientific Reports (Nature, 2022) veröffentlichte Studie von Forschenden aus Harvard, MIT und dem Whitehead Institute fand über 32 Datensätze aus vier Branchen in 91 % der untersuchten Fälle eine Verschlechterung der Modellgüte über die Zeit — „AI aging". Quelle

Technisches Monitoring erfasst Latenz, Verfügbarkeit und Datenqualität. Model Validation prüft das Modell zum Freigabezeitpunkt. Die inhaltliche Frage dazwischen — halten die Ergebnisse über die Zeit gegen die definierten Schwellenwerte — fällt zwischen die Zuständigkeiten.

Diagramm: die tatsächliche Fehlerrate eines KI-Modells steigt nach Drift-Beginn über das Freigabe-Band, während technische Monitoring-Metriken unauffällig bleiben.
Schematisch: Nach Drift-Beginn verlassen die Ergebnisse das Freigabe-Band. Technische Monitoring-Metriken bleiben dabei unauffällig.
Illustratives Szenario

Ein KI-Modell im Underwriting-Support wird bei Freigabe gegen eine Fehler-Schwelle von 10 % geprüft und läuft 14 Monate produktiv. Technisches Monitoring: durchgehend grün — Latenz, Verfügbarkeit und Datenqualität unauffällig.

Tatsächlich ist die Fehlerrate der Ergebnisse schrittweise auf rund 18 % gestiegen. Die Ergebnisse haben ihr Freigabe-Band verlassen — ohne dass eine Instanz sie im Betrieb gegen die Schwellenwerte geprüft hätte.

Konsequenz: Entscheidungen auf Basis von Ergebnissen außerhalb ihres geprüften Bands; die Haftung dafür verbleibt beim Betreiber; und im Nachhinein ist ein einzelnes Ergebnis nur schwer zu rekonstruieren.

02 — Was Sie riskieren, wenn es ungeprüft bleibtKonkrete Konsequenzen ungeprüfter Schwellenwert-Belastbarkeit

Typische Konsequenzen
  • KI-Ergebnisse, die außerhalb ihres Freigabe-Bands liegen, ohne dass es dokumentiert ist
  • Scheinsicherheit auf Executive-Ebene — „das Modell wurde geprüft" gilt für die Freigabe, nicht für den heutigen Betrieb
  • Fehler, die sich über korrelierte Modelle akkumulieren, ohne als Konzentration sichtbar zu werden
  • KI-Governance-Aussagen, die einer Aufsichtsprüfung im Betriebszustand nicht standhalten
  • Haftung für KI-Ergebnisse, die beim Betreiber verbleibt — auch wenn das Modell zugekauft wurde
  • Fehlende Nachvollziehbarkeit eines einzelnen Modellergebnisses Monate später

Warum jetzt: Laufendes Monitoring ist gefordert, nicht Kür: EU AI Act Art. 72 (Post-Market-Monitoring) und Art. 15 (Genauigkeit und Robustheit über den Lebenszyklus), die EIOPA-Opinion zur KI-Governance (2025) und das NIST AI RMF (fortlaufendes MEASURE/MANAGE) verlangen die Überwachung über den Betrieb hinweg. KI_AUDIT ist die spezialisierte Prüfdisziplin dafür.

03 — Was Sie erhaltenVier konkrete Deliverables je KI_AUDIT-Prüfung

Vier konkrete Deliverables, die Sie sofort verwenden können — sie senken Rekonstruktionsaufwand, beschleunigen interne Freigaben, reduzieren das Haftungsrisiko bei KI-gestützten Entscheidungen und stellen Nachweise für Aufsicht und Revision auf Abruf bereit:

Deliverable 1
KI-Drift-Report

Technische Analyse je Modell: Calibration Lift, Drift-Sensitivität und Fehler-Attribution gegen die Freigabe-Schwellenwerte, mit dokumentierten Annahmen und Grenzen. 25–40 Seiten.

Deliverable 2
Schwellenwert-Validierungs-Matrix

Visuelle Landkarte Ihrer KI-Modelle: jedes Modell bewertet nach Schwellenwert-Belastbarkeit, Drift-Sensitivität und Akkumulations-Exposure. Ampel-basiert.

Deliverable 3
Risk Register KI-Modelle

Priorisierte Risiko-Datenbank aller identifizierten Drift- und Akkumulations-Risiken mit drei Bewertungsdimensionen: Aufsichtsrelevanz, Executive-Impact, Behebungsaufwand.

Deliverable 4
Model-Governance-Empfehlungen

Priorisierter Handlungsplan: welche Schwellenwerte zu rekalibrieren sind, welche Modelle laufende Drift-Dokumentation brauchen, welche Akkumulationen als bekannt dokumentiert bleiben können.

04 — Methodik & WirksamkeitWie wir prüfen — und was der Ansatz konkret leistet

Statt ein Modell nur an seinen eigenen, oft wenigen Messwerten zu beurteilen, vergleicht KI_AUDIT diese mit dem Verhalten vieler vergleichbarer Systeme. Dieser breitere Maßstab trennt echtes Drift-Signal von zufälligem Rauschen — gerade dann, wenn pro Modell nur wenige belastbare Ergebnisse vorliegen. Das Verfahren stammt aus der Credibility-Theorie der Versicherungsmathematik. In der Sprache des Model Risk Managements: Kalibrierung, Diskriminierung und Stabilität (PSI/CSI) — gemessen nicht nur bei Freigabe, sondern laufend.

Balkendiagramm: Fehlalarme bei gleicher Drift-Detektion, naive Messung 36 Prozent gegenüber credibility-gewichtet 24 Prozent.

Bei gleicher Drift-Detektion: rund ein Drittel weniger Fehlalarme.

In einer reproduzierbaren synthetischen Evaluation (60 vergleichbare Modelle, dünne Datenlage) erkennt die credibility-gewichtete Schätzung dieselben driftenden Modelle wie die naive lokale Messung — bei deutlich weniger Fehlalarmen. Weniger Fehlalarme heißt weniger Alert-Fatigue und klarere Signale für die zweite Linie.

Methodik-Kurzfassung ansehen →

Diese Zahlen belegen das Prinzip, sind aber kein Wirksamkeitsnachweis an Kundenmodellen; sie sind über mehrere Läufe stabil, nicht aus einem Einzellauf. Der belastbare Nachweis entsteht im Pilot an Ihren Modellen.

05 — KI_AUDIT im KontextWo KI_AUDIT im Assurance-Ökosystem steht

Model Validation, Monitoring und Audit decken jeweils einen Teil ab. Ihr Zusammenspiel trägt aber nur, solange die Modell-Ergebnisse im laufenden Betrieb belastbar bleiben — und genau das prüft KI_AUDIT: ergänzend zu den bestehenden Instanzen und ohne Umbau Ihrer Kontrollen.

InstanzPrüfgegenstand
Model ValidationEinzelnes Modell bei Freigabe: methodische Güte, Backtesting, Kalibrierung
MLOps / MonitoringTechnische Metriken im Betrieb: Latenz, Verfügbarkeit, Datenqualität
Internal AuditProzesse und Kontrollen im KI-Governance-Rahmen
KI_AUDITDie Belastbarkeit von KI-Modell-Ergebnissen über den Betriebslebenszyklus — Schwellenwert-Validierung bei Drift, inklusive Fehler-Attribution und Akkumulation über korrelierte Modelle

06 — Wie wir arbeitenFünf strukturierte KI_AUDIT-Prüfschritte

KI_AUDIT Scoping
Inventur der KI-Modelle. Priorisierung nach Drift-Risiko und Entscheidungsnähe.
KI_AUDIT Baseline
Rekonstruktion der Freigabe-Schwellenwerte und der bei Roll-out geltenden Annahmen.
KI_AUDIT Drift Analysis
Aktuelle Ergebnisse gegen die Freigabe-Baseline. Calibration Lift, Drift-Sensitivität, Fehler-Attribution, Akkumulation.
KI_AUDIT Findings Workshop
Priorisierung mit Ihren Fach- und Governance-Verantwortlichen. Kalibrierung, Handlungs-Ableitung.
KI_AUDIT Assurance Report
Übergabe aller vier Deliverables. Optional: Executive-Debriefing.

Vollständiges Assessment: sechs bis acht Wochen. Ihre interne Beteiligung: drei bis fünf Termine à 60–90 Min plus Dokumenten-Bereitstellung.

07 — Für wenHäuser mit produktiven KI-Modellen unter Governance-Anspruch

KI_AUDIT ist auf Organisationen zugeschnitten, in denen KI-Ergebnisse Entscheidungen tragen, die Aufsichts-, Vorstands- oder Kunden-Fragen aushalten müssen.

Rückversicherer mit KI-Modell-Portfolios
Schwellenwert-Verlässlichkeit über Modell-Landschaften, u.a. im Kontext von KI-Performance-Deckungen und Akkumulations-Kontrollen.
Erstversicherer mit produktiver KI
KI-gestütztes Underwriting und Claims-Handling: Belastbarkeit der Ergebnisse über den Betrieb, Nachvollziehbarkeit im Einzelfall.
Banken mit KI-basierten Risiko-Modellen
Scoring- und Entscheidungs-Modelle unter Modell-Risiko-Anforderungen: Drift gegen Freigabe-Schwellenwerte, korrelierte Fehler.
Konzerne mit Multi-Modell-KI-Landschaften
Modell-Zoo unter EU-AI-Act-Pflicht: konsistente Schwellenwert-Belastbarkeit und Akkumulations-Sicht über viele Modelle.

08 — RahmenInvestitions-Größenordnung

ab 100.000 €
pro Assessment, sechsstelliger Bereich je nach Scope und Modell-Anzahl

Der finale Rahmen wird nach dem KI_AUDIT Executive Briefing auf Basis Ihrer konkreten Modell-Landschaft festgelegt. KI_AUDIT wird durch ein Senior-Team direkt betreut, ohne Delegation an Junior-Ressourcen. Delivery & Sicherheit: read-only, EU-Datenresidenz, Datenminimierung und Löschung nach Abschluss, NDA-Standard — Details in der Methodik-Kurzfassung.

09 — HintergrundKI_AUDIT ist eine Sparte der ARQON Group

Die ARQON Group arbeitet an der Schnittstelle von KI-Governance, aktuarieller Methodik und Aufsichts-Anforderungen. Das Team bringt Erfahrung aus Risk Management, Modellprüfung, Standards-Arbeit und Aufsichts-Kommunikation mit. Bei Bedarf ergänzen wir kunden-spezifisch mit ausgewählten Fachexperten.

Die KI_AUDIT-Methodik verbindet etablierte Credibility-Theorie aus der Versicherungsmathematik mit aktueller Forschung zu Modell-Drift und vergleichender Modellbewertung. Für KI_AUDIT-Assessments arbeiten wir mit einer begrenzten Anzahl paralleler Kunden.

Innerhalb der ARQON Group prüft KI_AUDIT die Belastbarkeit von KI-Ergebnissen gegen ihre Schwellenwerte über den Betriebslebenszyklus — Drift, auch über korrelierte Modelle hinweg. Geht es dagegen um die Zusammenführung mehrerer Bewertungen, Ratings oder Kanäle zu einer tragenden Gesamt-Aussage, ist die Schwester-Sparte ACRA der richtige Ansprechpartner.

10 — Häufige FragenFAQ

Warum gibt es KI_AUDIT — reicht unsere Model Validation nicht?
Model Validation prüft ein Modell zum Freigabezeitpunkt: methodische Güte, Backtesting, Kalibrierung. Sie sagt nichts darüber, ob die Ergebnisse zwölf Monate später noch gegen dieselben Schwellenwerte halten. Genau diese Betriebs-Ebene füllt KI_AUDIT — beides zusammen ergibt eine durchgängige Aussage über den Modell-Lebenszyklus.
Warum KI_AUDIT und nicht eine große Prüfungs- oder Beratungsgesellschaft?
Große Häuser prüfen breit — KI_AUDIT ist auf eine Frage spezialisiert: die Schwellenwert-Belastbarkeit von KI-Ergebnissen im Betrieb. Die Prüfung ist unabhängig vom Modellbau (wir bauen keine Modelle und haben kein Interesse an einem bestimmten Ergebnis), methodisch fokussiert und stützt sich auf ein eigenes, zum Patent angemeldetes Verfahren statt auf generische Governance-Checklisten.
Ersetzt KI_AUDIT unser Model Monitoring?
Nein. Model Monitoring erfasst technische Metriken wie Latenz, Verfügbarkeit und Datenqualität. KI_AUDIT adressiert die inhaltliche Frage: bleibt das Ergebnis gegen definierte Schwellenwerte belastbar, und wie ordnet sich Fehler zu, wenn Modelle korrelieren. Monitoring und KI_AUDIT ergänzen sich.
Ist KI_AUDIT ein Audit im klassischen Sinne?
KI_AUDIT ist eine Assurance-Prüfung, kein Testat nach IDW-Standards. Wir liefern belastbare inhaltliche Aussagen zur Schwellenwert-Belastbarkeit Ihrer KI-Modelle, die Sie intern und gegenüber Aufsicht argumentativ nutzen können. Verantwortung und Freigabe verbleiben bei Ihnen.
Funktioniert das auch für ein einzelnes Modell?
Ja. Die Methodik entfaltet ihre volle Stärke bei Modell-Portfolios mit vergleichbaren Systemen, weil die Einordnung der Ergebnisse eine Vergleichsbasis voraussetzt. Für ein Einzelmodell reduziert sich die Prüfung auf die lokale Schwellenwert- und Drift-Analyse.
Welche Daten benötigen Sie?
Beschreibungen Ihrer Modelle und der bei Freigabe gesetzten Schwellenwerte, exemplarische Ergebnis- und Performance-Logs sowie Angaben zu Modell-Herkunft und Einsatzkontext. Wir arbeiten primär mit Struktur- und Metadaten, mit Datenminimierung und Löschung nach Abschluss. NDA ist Standard.
Wie lange dauert ein Assessment?
Sechs bis acht Wochen vom Scoping bis zur Übergabe der Deliverables. Ihre interne Beteiligung liegt bei drei bis fünf Terminen à 60–90 Minuten plus Dokumenten-Bereitstellung.

KI_AUDIT Executive Briefing

Ein strukturiertes 45-Minuten-Erstgespräch, in dem wir gemeinsam eingrenzen, wo in Ihrem Modell-Portfolio die Schwellenwert-Belastbarkeit am ehesten offen ist.

Briefing anfragen kontakt@arqon.group