Artikel 9 EU AI Act: Das Risikomanagementsystem für Hochrisiko-KI

Art. 9 Abs. 1 EU AI Act definiert das Risikomanagementsystem als iterativen Prozess über den gesamten Lebenszyklus. Es muss umfassen: Identifizierung und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken, Schätzung und Bewertung der Risiken bei bestimmungsgemäßem Einsatz und vernünftigerweise vorhersehbarem Fehlgebrauch, Bewertung weiterer Risiken durch Marktüberwachungsdaten, Annahme geeigneter Risikomanagementmaßnahmen. Das System muss schriftlich dokumentiert sein und regelmäßig aktualisiert werden – nicht nur bei der Markteinführung, sondern kontinuierlich.

Die erste Phase des Risikomanagements ist die systematische Risikoidentifikation. Berücksichtigen Sie: Technische Risiken (Fehlfunktionen, Datenfehler, adversarielle Angriffe), Nutzungsrisiken (Missbrauch, unbeabsichtigte Fehlanwendung, Fehler durch Nutzer), Systemische Risiken (Auswirkungen auf vulnerable Gruppen, diskriminierende Outputs), Kontextrisiken (Deployment-Umgebung, verfügbare menschliche Aufsicht), Sekundärrisiken (Auswirkungen auf Dritte, gesellschaftliche Effekte). Dokumentieren Sie jeden identifizierten Risikofaktor mit Beschreibung, möglicher Auswirkung und Eintrittswahrscheinlichkeit.

Nach der Identifikation folgt die Bewertung. Art. 9 Abs. 2 schreibt vor: Risiken bei bestimmungsgemäßem Einsatz bewerten, vernünftigerweise vorhersehbaren Fehlgebrauch einbeziehen, kumulative Wirkungen berücksichtigen. Verwenden Sie eine Risikomatrix mit Eintrittswahrscheinlichkeit (1–5) × Schwere des Schadens (1–5). Besondere Aufmerksamkeit verdienen Risiken für: vulnerabile Gruppen (Kinder, ältere Personen, Menschen mit Behinderungen), irreversible oder schwer reparierbare Schäden, Grundrechtsverletzungen. Priorisieren Sie Maßnahmen nach Risikoscore und Grundrechtsrelevanz.

Art. 9 Abs. 4 fordert die Umsetzung geeigneter Risikominderungsmaßnahmen. Die Maßnahmen müssen dem Stand der Technik entsprechen. Typische Maßnahmen nach Priorität: Technische Maßnahmen (am effektivsten): Input-Validierung, Output-Filterung, Konfidenz-Schwellenwerte, automatische Abbruchbedingungen. Organisatorische Maßnahmen: definierte Prozesse für menschliche Überprüfung, klare Eskalationswege, Schulungen. Informatorische Maßnahmen (als Ergänzung): Warnhinweise, Nutzungsanleitungen, Disclosure-Pflichten. Dokumentieren Sie jede Maßnahme und ihre erwartete Risikowirkung.

Das Risikomanagementsystem ist kein einmaliges Projekt. Art. 9 Abs. 7 verpflichtet zur kontinuierlichen Überwachung nach Markteinführung. Implementieren Sie: Post-Market-Monitoring-System mit definierten KPIs, regelmäßige Überprüfung von Fehlerraten und unerwünschten Outputs, Feedback-Kanal für Nutzer und Betroffene, Jährliche oder anlassbezogene Risikoüberprüfung, Aktualisierungsprotokoll für das Risikomanagementsystem. Wenn Marktüberwachungsdaten neue Risiken zeigen oder Vorfälle eintreten, muss das System sofort aktualisiert werden.

Das Risikomanagementsystem muss vollständig dokumentiert sein. Die Dokumentation umfasst: Risikomanagement-Plan mit Methodik und Bewertungskriterien, Risikoregister mit allen identifizierten Risiken und Bewertungen, Maßnahmenplan mit Verantwortlichkeiten und Zeitplänen, Test- und Validierungsprotokolle, Monitoring-Berichte und Update-Protokolle. Diese Dokumentation ist Teil der technischen Dokumentation (Art. 11) und muss Marktüberwachungsbehörden auf Anfrage vorgelegt werden können. Aufbewahrungspflicht: mindestens 10 Jahre nach Inverkehrbringen.