Hochrisiko-KI-Systeme: Klassifizierung und Pflichten nach EU AI Act

Ein KI-System gilt nach dem EU AI Act als hochriskant, wenn es in einem der beiden folgenden Szenarien eingesetzt wird:

Szenario 1 – Sicherheitskomponente in regulierten Produkten (Anhang I): Das KI-System ist ein Sicherheitsbauteil eines Produkts, das unter bestimmte EU-Produktsicherheitsgesetze fällt (z. B. Medizinprodukte, Fahrzeuge, Spielzeug) – UND dieses Produkt muss einer Konformitätsprüfung durch Dritte unterzogen werden.

Szenario 2 – Anwendungsfälle in Anhang III: Das KI-System fällt unter einen der acht Anwendungsbereiche, die in Anhang III der Verordnung aufgelistet sind.

Ausnahmen: Ein KI-System, das unter Anhang III fällt, gilt nicht als hochriskant, wenn es lediglich eine vorbereitende Funktion hat oder eine menschliche Entscheidung nur ergänzt – ohne diese direkt zu beeinflussen. Der Anbieter muss dies jedoch dokumentieren.

Anhang III listet die KI-Anwendungsfelder auf, die automatisch als hochriskant gelten. Hier sind alle 8 Kategorien mit konkreten Beispielen:

1. Biometrische Identifizierung und Kategorisierung

Nicht verbotene biometrische Systeme: Fernbiometrische Identifikationssysteme (ausgenommen Verifikationssysteme), biometrische Kategorisierungssysteme und Emotionserkennungssysteme für andere als verbotene Zwecke.

2. Kritische Infrastruktur

KI als Sicherheitskomponente in der Verwaltung und im Betrieb kritischer digitaler Infrastruktur, Straßenverkehr sowie der Versorgung mit Wasser, Gas, Wärme und Strom.

3. Bildung und Berufsausbildung

KI-Systeme, die über Zulassung zu Bildungseinrichtungen entscheiden, Lernergebnisse bewerten, den Bildungsweg steuern oder verbotene Verhaltensweisen bei Prüfungen erkennen.

4. Beschäftigung und Personalmanagement

KI in der Personalauswahl (Stellenausschreibungen, Bewerbungsfilterung, Bewerberbewertung), bei Beförderungen, Vertragsbeendigungen, Leistungsbewertung und Aufgabenzuweisung.

5. Zugang zu wesentlichen Diensten

KI-Systeme öffentlicher Stellen zur Prüfung von Ansprüchen auf Sozialleistungen; Kreditwürdigkeitsprüfung; Notfallrufe-Klassifizierung; Risikobewertung in Kranken- und Lebensversicherungen.

6. Strafverfolgung

KI zur Risikobewertung von Opfern, Lügendetektoren, Beurteilung der Zuverlässigkeit von Beweismitteln, Bewertung des Rückfallrisikos von Straftätern und kriminologisches Profiling.

7. Migration, Asyl und Grenzkontrollen

Lügendetektoren; Risikobewertung bei Migranten; Prüfung von Asyl- und Visaanträgen; biometrische Identifizierung ohne Dokumentenprüfung.

8. Justiz und demokratische Prozesse

KI zur Unterstützung von Richtern bei der Tatsachenermittlung und Rechtsanwendung sowie KI zur Beeinflussung von Wahlen oder Wahlkampagnen.

Anbieter (also Unternehmen, die Hochrisiko-KI-Systeme entwickeln und auf den Markt bringen) müssen folgende Anforderungen erfüllen:

• Risikomanagementsystem: Einrichtung und Pflege eines kontinuierlichen Risikomanagementsystems über den gesamten Lebenszyklus des Systems.
• Datenverwaltung: Sicherstellung, dass Trainings-, Validierungs- und Testdatensätze relevant, ausreichend repräsentativ und möglichst fehlerfrei sind.
• Technische Dokumentation: Erstellung umfassender technischer Unterlagen, die Behörden eine Konformitätsbewertung ermöglichen.
• Protokollierung: Automatische Ereignisprotokollierung zur Rückverfolgbarkeit.
• Transparenz gegenüber Betreibern: Bereitstellung von Bedienungsanleitungen.
• Menschliche Aufsicht: Das System muss so gestaltet sein, dass Betreiber es wirksam überwachen können.
• Genauigkeit, Robustheit und Cybersicherheit: Angemessene technische Standards müssen eingehalten werden.
• Qualitätsmanagementsystem: Einführung und Pflege eines QMS.
• Konformitätsbewertung: Vor der Markteinführung muss eine Konformitätsbewertung durchgeführt und dokumentiert werden.
• EU-Datenbankregistrierung: Registrierung des Systems in der öffentlichen EU-Datenbank.
• CE-Kennzeichnung: Das System muss die CE-Kennzeichnung tragen.
• EU-Konformitätserklärung: Ausstellung einer EU-Konformitätserklärung.

Betreiber (Unternehmen, die Hochrisiko-KI-Systeme in ihrer eigenen Geschäftstätigkeit einsetzen) haben weniger, aber ebenfalls klare Pflichten:

• Technische und organisatorische Maßnahmen: Sicherstellung, dass das System gemäß den Anweisungen des Anbieters verwendet wird.
• Menschliche Aufsicht: Gewährleistung einer qualifizierten menschlichen Überwachung des Systems.
• Protokollierung aufbewahren: Protokolle mindestens 6 Monate aufbewahren (soweit technisch möglich).
• Meldung schwerwiegender Vorfälle: Schwerwiegende Vorfälle und Fehlfunktionen unverzüglich dem Anbieter und den zuständigen Behörden melden.
• Grundrechte-Folgenabschätzung: Für Betreiber, die Behörden sind oder Hochrisiko-KI für bestimmte Dienste einsetzen, ist eine Grundrechts-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) Pflicht.
• Registrierung: Betreiber bestimmter Hochrisiko-KI-Systeme müssen sich ebenfalls in der EU-Datenbank registrieren.