Anforderungen für Hochrisiko-KI-Systeme: Die vollständige Pflichtenliste

Anbieter von Hochrisiko-KI-Systemen müssen ein kontinuierliches Risikomanagementsystem einrichten, das den gesamten Lebenszyklus des Systems begleitet. Dieses System muss:

• Risiken identifizieren und analysieren (bekannte und vorhersehbare)
• Risiken für die Gesundheit, Sicherheit und Grundrechte bewerten
• Risikominderungsmaßnahmen umsetzen
• Restrisiken gegenüber den Vorteilen abwägen
• Regelmäßig überprüft und aktualisiert werden

Das Risikomanagementsystem ist kein einmaliger Schritt, sondern ein lebender Prozess. Es muss insbesondere nach wesentlichen Änderungen am System, nach Vorfällen oder bei neuen wissenschaftlichen Erkenntnissen angepasst werden.

Praxis-Tipp: Orientieren Sie sich an bestehenden Normen wie ISO 31000 (Risikomanagement) oder ISO/IEC 42001 (KI-Managementsysteme), die mit dem EU AI Act kompatibel sind.

Die Datenverwaltung ist eine der anspruchsvollsten Anforderungen des EU AI Act. Anbieter müssen sicherstellen, dass die verwendeten Datensätze:

• Relevant: Die Daten müssen für das angestrebte Ziel des Systems geeignet sein.
• Ausreichend repräsentativ: Sie müssen die Vielfalt der Zielpopulation widerspiegeln und dürfen bestimmte Gruppen nicht systematisch benachteiligen.
• Möglichst fehlerfrei und vollständig: Praktisch relevante Fehler müssen erkannt und korrigiert werden.
• Angemessen aus Datenschutzsicht: Alle anwendbaren Datenschutzvorschriften (DSGVO/DSG) müssen eingehalten werden.

Die Dokumentation der Datenherkunft, der Vorverarbeitungsschritte und der verwendeten Datensätze ist obligatorisch und muss in der technischen Dokumentation festgehalten werden.

Bevor ein Hochrisiko-KI-System auf den Markt gebracht wird, muss eine umfassende technische Dokumentation erstellt werden. Anhang IV des EU AI Act listet detailliert auf, was diese enthalten muss:

• Allgemeine Beschreibung des KI-Systems (Zweck, Version, Hersteller)
• Beschreibung der Komponenten und Entwicklungsschritte
• Angaben zu Trainingsdaten und -prozessen
• Validierungs- und Testverfahren
• Metriken zur Leistungsbewertung
• Beschreibung der Risikomaßnahmen
• Angaben zur Cybersicherheit
• Kopie der EU-Konformitätserklärung

Die technische Dokumentation muss auf dem neuesten Stand gehalten und nationalen Behörden auf Anfrage zur Verfügung gestellt werden.

Hochrisiko-KI-Systeme müssen so gestaltet sein, dass ihre Nutzung für Betreiber transparent ist. Anbieter müssen den Betreibern folgende Informationen bereitstellen:

• Identität und Kontaktdaten des Anbieters
• Merkmale, Fähigkeiten und Leistungsgrenzen des Systems
• Daten, auf die das System zugreift oder die es verarbeitet
• Eingabedatenspezifikationen
• Leistungsmetriken und Testnachweise
• Bekannte Risiken für Gesundheit, Sicherheit und Grundrechte
• Informationen zur menschlichen Aufsicht
• Lebensdauer des Systems und Wartungsbedarf

Hochrisiko-KI-Systeme müssen so entwickelt sein, dass eine wirksame menschliche Überwachung möglich ist. Das System muss:

• Von einer natürlichen Person vollständig verstanden und überwacht werden können
• Bei Bedarf angehalten, unterbrochen oder außer Kraft gesetzt werden können
• Outputs in Echtzeit ausgeben, die von qualifizierten Personen geprüft werden können
• Personen identifizieren, für die besondere Vorsicht geboten ist (z. B. vulnerable Gruppen)

Wichtig: Menschliche Aufsicht bedeutet nicht, dass jede einzelne Entscheidung von einem Menschen überprüft werden muss – aber es müssen strukturelle Mechanismen vorhanden sein, die eine sinnvolle Kontrolle ermöglichen.

Hochrisiko-KI-Systeme müssen ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit aufweisen:

• Genauigkeit: Leistungsmetriken müssen definiert und nachgewiesen werden. Die Genauigkeit muss für den Einsatzbereich angemessen sein.
• Robustheit: Das System muss auch unter unerwarteten Eingaben oder widrigen Bedingungen zuverlässig funktionieren. Es muss gegen Fehler, Defekte und inkonsistente Nutzung widerstandsfähig sein.
• Cybersicherheit: Das System muss gegen Angriffe geschützt sein, insbesondere gegen Datenvergiftung, Modell-Angriffe und Adversarial Attacks.

Anbieter müssen ein Qualitätsmanagementsystem (QMS) einrichten, das alle Aspekte der Entwicklung und des Betriebs des Hochrisiko-KI-Systems abdeckt. Das QMS muss umfassen:

• Strategie zur Einhaltung regulatorischer Anforderungen
• Verfahren zur Entwurfs- und Entwicklungskontrolle
• Verfahren für Systemzulassung, -überwachung und -überprüfung
• Verfahren zur Datenverwaltung
• Risikomanagementverfahren
• Interne Kommunikationsverfahren
• Vorfallmeldesysteme

Das QMS muss dokumentiert und von der Unternehmensleitung verantwortet werden. Es ist regelmäßig zu überprüfen und bei Bedarf anzupassen.

Vor der Markteinführung müssen Anbieter eine Konformitätsbewertung durchführen. Es gibt zwei Wege:

Interne Konformitätsprüfung (Selbstbewertung): Für die meisten Hochrisiko-KI-Systeme ist eine interne Bewertung durch den Anbieter selbst zulässig – vorausgesetzt, es handelt sich nicht um ein biometrisches Identifizierungssystem für Strafverfolgungszwecke.

Bewertung durch benannte Stelle (Third-Party Assessment): Für biometrische Fernidentifizierungssysteme und KI-Systeme in bestimmten regulierten Produkten ist eine Bewertung durch eine akkreditierte benannte Stelle (Notified Body) erforderlich.

Nach erfolgreicher Konformitätsbewertung stellt der Anbieter die EU-Konformitätserklärung aus und bringt die CE-Kennzeichnung an.