KI-Monitoring im laufenden Betrieb: Kontinuierliche Überwachung nach EU AI Act

Art. 72 EU AI Act verpflichtet Anbieter von Hochrisiko-KI-Systemen zu einem proaktiven Post-Market Surveillance-System. Dieses muss: systematisch Daten aus dem Markt sammeln und auswerten, Erfahrungen von Betreibern und Betroffenen einbeziehen, Qualität, Leistung und Sicherheit des Systems laufend bewerten, erkannte Probleme an die Behörden melden, das System bei identifizierten Mängeln korrigieren oder zurückziehen. Anbieter müssen jährlich einen Post-Market Surveillance Plan erstellen und umsetzen.

Je nach Systemtyp sind unterschiedliche Metriken relevant: Klassifikationssysteme: Accuracy, Precision, Recall, F1-Score, AUC-ROC. Generative Systeme: Halluzinationsrate, Faktentreue, Harm-Rate. Empfehlungssysteme: Click-Through-Rate, Diversity, Fairness-Metriken. Entscheidungssysteme: Entscheidungsgenauigkeit, Überprüfungsrate, Widerspruchsquote. Für alle Systeme: Latenz, Verfügbarkeit, Fehlerrate. Definieren Sie Schwellenwerte, bei deren Unterschreitung automatisch ein Incident-Prozess ausgelöst wird.

Ein besonders kritischer Aspekt des KI-Monitorings ist die kontinuierliche Überprüfung auf Diskriminierung. Statistical Parity (gleiche Entscheidungsraten über Gruppen), Equalized Odds (gleiche Fehlerrate über Gruppen), Individual Fairness (ähnliche Individuen werden ähnlich behandelt) müssen regelmäßig gemessen werden. Datenverschiebungen (Data Drift) können Bias einführen oder verstärken, der beim Training nicht vorhanden war. Automatisierte Fairness-Tests sollten Teil jedes regelmäßigen Monitoring-Zyklus sein.

Art. 12 EU AI Act schreibt für Hochrisiko-Systeme vor: automatische Protokollierung aller Systementscheidungen, Protokollierung von Ein- und Ausgabedaten (soweit technisch möglich), Zeitstempel aller Operationen, Identifikation des verantwortlichen Betreibers, Aufbewahrung der Logs für mindestens 6 Monate (bei biometrischen Systemen: 6 Monate). Diese Logs sind bei einer Behördenprüfung oder nach einem Vorfall nachzuweisen und zu analysieren.

Etablieren Sie einen strukturierten Audit-Rhythmus: Wöchentlich: automatisierte Performance-Reports, Anomalie-Alerts. Monatlich: manueller Review der Bias-Metriken, Nutzer-Feedback-Analyse. Quartalsweise: vollständiger Performance-Report, Vergleich mit Baseline-Metriken, Review der technischen Dokumentation. Jährlich: umfassender Compliance-Audit, Überprüfung der Risikoklassifizierung, Post-Market Surveillance-Bericht. Bei wesentlichen Änderungen: Neubewertung aller relevanten Metriken vor und nach der Änderung.