Foundation Models und LLMs: Technologie und EU AI Act-Regulierung

Foundation Models sind sehr große KI-Modelle, die auf enormen Datenmengen vortrainiert werden und dann für viele verschiedene Aufgaben genutzt oder angepasst werden können. Merkmale: Vortraining auf riesigen Datensätzen (Texte, Bilder, Code), Transfer Learning als Kern-Eigenschaft, Anpassbar durch Fine-Tuning für spezifische Aufgaben, emergente Fähigkeiten (Eigenschaften, die nicht direkt trainiert wurden). Bekannte Foundation Models: GPT-Reihe (OpenAI), Claude (Anthropic), Gemini (Google), Llama (Meta, Open Source), Mistral (Open Source).

Large Language Models sind Foundation Models, die primär auf Textdaten trainiert wurden. Funktionsprinzip: Transformer-Architektur mit Attention-Mechanismus. Vorhersage des nächsten Tokens (Textstück) basierend auf Kontext. RLHF (Reinforcement Learning from Human Feedback) für Alignment. Einschränkungen: LLMs haben einen "Wissensschnitt" (Trainingsdatum), sie halluzinieren (generieren plausible aber falsche Informationen), sie haben kein echtes Weltverstehen – sie erkennen statistische Muster.

Foundation Model-Anbieter unterliegen dem EU AI Act-GPAI-Regime (Art. 51–56): Alle GPAI-Anbieter: Technische Dokumentation, Urheberrechts-Compliance, Transparenz über Trainingsdaten. Anbieter mit systemischem Risiko (Modelle über 10²⁵ FLOP Trainingsaufwand): Adversarial Testing, Behörden-Meldungen bei Sicherheitsproblemen, Risikomanagement. Das EU KI-Büro entwickelt einen Code of Practice, der diese Anforderungen konkretisiert.

Für Unternehmen, die LLM-APIs (OpenAI, Anthropic, Google) nutzen: Sie sind Betreiber, nicht Anbieter des LLMs – aber Sie sind Anbieter, wenn Sie eigene Produkte darauf aufbauen. Vertrag mit LLM-Anbieter prüfen: Datenschutz, Haftung, EU AI Act-Konformität. Vorsicht bei sensitiven Anwendungen: LLMs sind in Hochrisiko-Kontexten nur mit zusätzlichen Sicherheitsmaßnahmen einsetzbar. Transparenz gegenüber Nutzern: KI-generierte Inhalte kennzeichnen.