Technische Robustheit: Was Art. 15 EU AI Act von KI-Systemen verlangt

Art. 15 Abs. 1 verlangt, dass Hochrisiko-Systeme auf einem angemessenen Genauigkeitsniveau betrieben werden. "Angemessen" ist kontextabhängig: Ein Kreditscoring-Modell benötigt andere Genauigkeitsmetriken als ein medizinisches Bildanalyse-System. Relevante Metriken je nach Systemtyp: Klassifikation: Accuracy, Precision, Recall, F1, AUC-ROC; Regression: MAE, RMSE, R²; Generative Systeme: BLEU, ROUGE, human evaluation. Die Genauigkeitsmetriken müssen in der technischen Dokumentation deklariert und über den Betrieb hinweg überwacht werden.

KI-Systeme müssen robust gegenüber Eingabefehlern, Datenkorruption und absichtlichen Angriffen (Adversarial Examples) sein. Anforderungen: Graceful Degradation (geordnetes Versagen statt Absturz), Erkennung von Out-of-Distribution-Eingaben, Resistenz gegen häufige Adversarial-Angriffsmethoden (FGSM, PGD, etc.), Fallback-Mechanismen für kritische Entscheidungen. Tests sollten umfassen: Stress-Tests mit unerwarteten Eingaben, Red-Team-Übungen, Fuzz-Testing, Boundary-Value-Analyse.

KI-Systeme sind spezifischen Cyberangriffen ausgesetzt: Data Poisoning (Manipulation der Trainingsdaten), Model Stealing (Extraktion des Modells durch Abfragen), Model Inversion (Rückschlüsse auf Trainingsdaten), Evasion Attacks (Adversarial Examples), Prompt Injection (bei LLMs). Schutzmaßnahmen: sichere Entwicklungsprozesse (Secure ML Development), Zugriffskontrolle auf Modelle und APIs, Anomalie-Erkennung im Produktionsbetrieb, regelmäßige Security-Assessments. Die Cybersicherheitsanforderungen des EU AI Act sind mit dem Cyber Resilience Act abzustimmen.

Für Hochrisiko-Systeme in kritischen Bereichen ist Ausfallsicherheit essenziell. Anforderungen: definierte SLAs für Verfügbarkeit und Latenz, Redundanzkonzepte für kritische Systemkomponenten, automatisches Failover und Disaster Recovery, menschliche Override-Möglichkeiten bei Systemausfall, klare Eskalationsprozesse bei Nicht-Verfügbarkeit. Dokumentieren Sie Verfügbarkeitsmetriken und Ausfallzeiten – diese können bei Behördenprüfungen relevant sein.