KI-Incident Management: Vorfälle erkennen, melden und beheben

Art. 3 Nr. 49 definiert einen ernsthaften Vorfall als jedes Ereignis, das eine Beeinträchtigung der Gesundheit, Sicherheit oder Grundrechte von Personen verursacht oder verursachen könnte. Das umfasst: direkte physische Schäden durch KI-Entscheidungen, Diskriminierungen aufgrund von Merkmalen wie Geschlecht, Herkunft oder Alter, Verletzungen der Privatsphäre oder des Datenschutzes, fehlerhafte Entscheidungen in sensiblen Bereichen (Kredit, Gesundheit, Strafverfolgung). Nicht jeder Systemfehler ist meldepflichtig – die Schwelle liegt bei ernsthaften Auswirkungen.

Anbieter von Hochrisiko-KI melden ernsthafte Vorfälle an die nationale Marktüberwachungsbehörde (in Deutschland: Bundesnetzagentur) innerhalb von 15 Tagen (bei Todesfällen: sofort). Betreiber melden Vorfälle zunächst an den Anbieter und zusätzlich direkt an die Behörde, wenn der Anbieter nicht reagiert. GPAI-Anbieter melden Systemrisiken an die EU-KI-Behörde. Betroffene Personen haben Beschwerderechte bei nationalen Behörden und dem EU-KI-Büro.

Ein KI-Incident-Response-Plan umfasst: Erkennungsphase: Wie werden Vorfälle identifiziert? Wer kann Vorfälle melden? Bewertungsphase: Handelt es sich um einen meldepflichtigen ernsthaften Vorfall? Eindämmungsphase: Systemabschaltung oder -beschränkung, Schadensminimierung. Meldephase: Interne und externe Meldung gemäß gesetzlicher Frist. Untersuchungsphase: Root-Cause-Analyse, Dokumentation. Behebungsphase: Systemkorrektur, Tests, Wiederinbetriebnahme. Nachbereitungsphase: Lessons Learned, Richtlinienanpassung.

Vorfälle zu erkennen, bevor sie eskalieren, ist entscheidend. Etablieren Sie: automatisches Performance-Monitoring (Genauigkeit, Fehlerrate, Bias-Metriken), Nutzer-Feedback-Kanäle für Meldungen über verdächtige Ausgaben, regelmäßige manuelle Audits von KI-Entscheidungen in Stichproben, Schwellenwert-Alarme bei statistischen Abweichungen, Protokollierung aller KI-Entscheidungen (Art. 12 EU AI Act für Hochrisiko-Systeme). Planen Sie ausreichend Ressourcen für das laufende Monitoring ein – dies ist oft der unterschätzte operative Aufwand.

Jeder Vorfall, ob meldepflichtig oder nicht, sollte dokumentiert werden: Datum, Uhrzeit und betroffenes System, Art des Vorfalls und betroffene Personen, unmittelbare Auswirkungen, ergriffene Sofortmaßnahmen, Meldungen an Behörden (mit Zeitstempel), Ergebnis der Untersuchung, umgesetzte Korrekturmaßnahmen. Diese Dokumentation schützt im Streitfall und ermöglicht kontinuierliche Verbesserung.