Update zur EU-KI-VO: Geltung der ersten Anforderungen für KI-Systeme – Organisationen müssen für KI-Kompetenz sorgen

Am 01.08.2024 trat die EU-KI-Verordnung (KI-VO) in Kraft. Die Vorschriften erlangen dabei etappenweise Geltung. Seit 02.02.2025 gelten die Kapitel I (Art. 1 bis 4 KI-VO) und II (Art. 5 KI-VO). Anbieter und Betreiber von KI-Systemen sind seither verpflichtet, Maßnahmen zu ergreifen, um ihrem Personal KI-Kompetenzen zu vermitteln. Darüber hinaus sind KI-Systeme mit inakzeptablem Risiko verboten.

A. Erste Anforderungen der EU-KI-Verordnung erlangen Geltung

Mit Inkrafttreten der Bestimmungen in Art. 1 bis 5 KI-VO sind Vorschriften zum Anwendungsbereich (Art. 2 KI-VO), zu Begriffsbestimmungen (Art. 3 KI-VO), zur KI-Kompetenz (Art. 4 KI-VO) und zu verbotenen Praktiken (Art. 5 KI-VO) unmittelbar anwendbar. Die Anwendung und unternehmensseitige Umsetzung dieser Vorschriften sollen mithilfe kürzlich veröffentlichter Leitlinien der Europäischen Kommission (EU-Kommission) vom 04.02.2025 und 06.02.2025 vereinfacht und vereinheitlicht werden. Zudem hat am 31.01.2025 das European Artificial Intelligence Office (EU AI Office) das „Living Repository“ veröffentlicht, um den Austausch über KI-Kompetenz zu fördern. Darin zeigen Teilnehmer des sog. EU-AI-Pakts auf, wie sie organisationsintern das Thema KI-Kompetenz angegangen sind. Insofern erlangen die neuesten Veröffentlichungen dadurch Bedeutung, dass sie den sachlichen Anwendungsbereich der KI-VO näher eingrenzen und Begrifflichkeiten der wichtigen Vorschriften in Art. 4 und 5 KI-VO erläutern.

B. Die EU-Kommission erlässt Hinweise zur Konkretisierung des Begriffs „KI-System“

Die KI-VO gilt, wenn ein KI-System im Sinne der KI-VO vorliegt. Um Anbietern und Betreibern von Softwaresystemen die Beantwortung der Frage zu erleichtern, ob die KI-VO auf sie anwendbar ist, hat die EU-Kommission am 06.02.2025 Leitlinien zum Begriff „KI-System“ veröffentlicht. Darin werden die Elemente der Definition eines KI-Systems nach Art. 3 Nr. 1 KI-VO im Einzelnen erläutert. Eingegangen wird insbesondere auf die Elemente (1) maschinengestütztes System, (2) autonomer Betrieb, (3) Anpassungsfähigkeit, (4) Zielsetzung, (5) KI-Inferenz, (6) Art der Ausgaben und (7) das Erfordernis einer Umgebungsinteraktion. KI-Systeme im Sinne der KI-VO und (nicht unter die KI-VO fallende) traditionelle Software werden (mehr oder weniger) scharf voneinander abgegrenzt.

Auch berücksichtigen die Leitlinien, dass ein KI-System zwei Hauptphasen durchläuft: eine erste Phase im Entwicklungsprozess und eine zweite nach Einführung bei Nutzung. Nicht alle der sieben aufgezählten Elemente müssen in beiden Phasen des „Lebenszyklus“ des KI-Systems vorkommen. Vielmehr soll es ausreichen, wenn einzelne Elemente nur in einer der Phasen auftauchen. Damit soll der Komplexität und Diversität von KI-Systemen Rechnung getragen werden.

Angesichts drohender Bußgelder bei Verstößen gegen die KI-VO ist es für Unternehmen höchste Zeit zu identifizieren, ob die genutzten Systeme ein KI-System im Sinne der KI-VO darstellen und damit in den Anwendungsbereich der KI-VO fallen. Die Leitlinien der EU-Kommission vom 06.02.2025 können dafür zur Hand genommen werden.

C. Organisationen müssen für den Betrieb und die Nutzung von KI-Systemen ihr Personal befähigen (KI-Kompetenz, Art. 4 KI-VO)

Seit dem 02.02.2025 sind Anbieter und Betreiber solcher KI-Systeme verpflichtet sicherzustellen, dass ihre Mitarbeiter über hinreichende KI-Kompetenz verfügen. Art. 4 KI-VO umschreibt die Pflichten, die dafür unternehmensseitig zu erfüllen sind (Hervorhebungen durch den Autor):

„Die Anbieter und Betreiber von KISystemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KISystemen befasst sind, über ein ausreichendes Maß an KIKompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KISysteme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KISysteme eingesetzt werden sollen, zu berücksichtigen sind.“

Der in Art. 4 KI-VO verwendete Begriff der „KI-Kompetenz“ wird in Art. 3 Nr. 56 KI-VO definiert. Danach umfasst KI-Kompetenz

„die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KISysteme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden“.

Konkret besteht für betroffene Unternehmen daher eine Schulungs- und eine Instruktionspflicht. In Schulungen sollen Grundkenntnisse und allgemeines Wissen zum regelkonformen Einsatz sowie zu Chancen und Risiken von KI vermittelt werden. Daneben müssen im Rahmen einer Instruktion Anweisungen für den spezifischen Kontext des Einsatzes des jeweiligen KI-Systems gegeben werden, wobei Vorkenntnisse, Vorerfahrungen und die Funktion des Mitarbeiters im Unternehmen zu berücksichtigen sind.

„Living Repository“ als Hilfestellung

Ein geeignetes Konzept zur Sicherstellung ausreichender KI-Kompetenz haben betroffene Unternehmen selbstständig zu entwickeln. Anhaltspunkte zur rechtskonformen Anwendung liefert das vom EU AI Office veröffentlichte „Living Repository“. Die dort enthaltene Sammlung gibt Einblicke in Maßnahmen zur Umsetzung von Art. 4 KI-VO aus der Praxis und wird vom EU AI Office regelmäßig aktualisiert. Die veröffentlichten Maßnahmen wurden jedoch, wie es das EU AI Office ausdrücklich klarstellt, nicht auf ihre Konformität mit Art. 4 KI-VO überprüft. Vielmehr dient die Sammlung als Austauschmöglichkeit und Orientierungshilfe für Unternehmen.

Vermittlung von KI-Kompetenzen durch Schulungen

Wie dem Living Repository zu entnehmen ist, sind Schulungen häufigstes Mittel zur Vermittlung von KI-Kompetenz. Viele Unternehmen setzen auf eine differenzierte Schulungsstrategie, um das technische Wissen, die Erfahrung, die Ausbildung und das bisherige Training der Zielgruppe bestmöglich zu berücksichtigen. Ein gestuftes Lernmodell mit Grundlagenkursen für alle Mitarbeitenden und spezialisierten Trainings für bestimmte Fachkräfte im Unternehmen helfen dabei, dem differenzierten Ansatz nach Art. 4 KI-VO gerecht zu werden. In den Schulungen wird KI-Kompetenz oft auf der Basis realer Anwendungsfälle des jeweiligen Unternehmens vermittelt, damit das Personal KI effektiv in seinem spezifischen Arbeitsumfeld anwenden kann.

Für Unternehmen gilt es daher, ein geeignetes Schulungskonzept zu entwickeln und die Prozesse gegebenenfalls an neue Entwicklungen anzupassen. Ein regelmäßiger Blick ins Living Repository kann dafür hilfreich sein.

Was passiert bei Nichteinhaltung?

Wird es versäumt, sein Personal entsprechend Art. 4 KI-VO zu schulen, droht die KI-VO zwar kein Bußgeld an, jedoch könnte die Verletzung von Art. 4 KI-VO bei anderen bußgeldbewehrten Verstößen gegen die KI-VO in gewissem Maße „strafschärfend“ herangezogen werden. Um derartige Risiken gar nicht erst einzugehen, sollten zeitnah passgenaue Schulungs- und Instruktionskonzepte entwickelt werden.

Weitere Details können Sie auch unserem EY-Law-Beitrag in der Februar-Ausgabe Transformation und KI-Kompetenz meistern durch Investition in Mitarbeitende und der EY AI Academy entnehmen.

D. Organisationen müssen KI-Systeme mit verbotenen Praktiken abstellen (Art. 5 KI-VO)

Neben Art. 4 KI-VO gilt seit 02.02.2025 Art. 5 KI-VO zu verbotenen Praktiken im KI-Bereich. Die in Art. 5 KI-VO genannten Praktiken werden aufgrund ihrer potenziellen Risiken für die europäischen Werte und Grundrechte als inakzeptabel erachtet.

Erfasst sind grundsätzlich die folgenden Praktiken:

• manipulative KI-Systeme (Art. 5 Abs. 1 lit. a KI-VO)
• KI-Systeme, die die Schwächen von Menschen ausnutzen (Art. 5 Abs. 1 lit. b KI-VO)
• soziale Bewertungssysteme wie Social Scorings (Art. 5 Abs. 1 lit. c KI-VO)
• Risikobewertung und Profiling im Hinblick auf Straffälligkeit (Art. 5 Abs. 1 lit. d KI-VO)
• Datenbankerstellung oder -erweiterung zur Gesichtserkennung (Art. 5 Abs. 1 lit. e KI-VO)
• KI‑Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz (Art. 5 Abs. 1 lit. f KI-VO)
• biometrische Kategorisierungssysteme (Art. 5 Abs. 1 lit. g KI-VO)
• Echtzeit- Fernidentifizierungssysteme in öffentlichen Räumen zu Strafverfolgungszwecken (Art. 5 Abs. 1 lit. h KI-VO)

Identifizierung einer verbotenen Praktik

Die Identifizierung verbotener Praktiken setzt voraus, dass die Nutzung sämtlicher KI-Systeme und KI-Modelle mit allgemeinem Verwendungszweck im Unternehmen bekannt ist. Falls noch nicht geschehen sollte ein entsprechendes Verzeichnis („AI Inventory“) erstellt werden, in dem die einzelnen Systeme und Modelle und die damit betrauten Personengruppen aufgelistet werden. Die festgestellten Praktiken sollten in einem zweiten Schritt im Hinblick auf Art. 5 KI-VO überprüft und klassifiziert werden.

Verbotene Praktiken im Sinne von Art. 5 KI-VO lassen sich mithilfe der Leitlinien zu verbotenen Praktiken im KI-Bereich vom 04.02.2025 besser identifizieren. Auf 140 Seiten legt die EU-Kommission ihre Auffassung zu den einzelnen Praktiken dar. Für jedes verbotene KI-System bieten die Leitlinien einen Überblick über die Schlüsselelemente des Verbots, praktische Beispiele, Erläuterungen zu Anwendungen, die nicht unter das Verbot fallen, und Maßnahmen zur rechtskonformen Anwendung. Darüber hinaus werden Überschneidungen der nach Art. 5 KI-VO verbotenen Praktiken herausgearbeitet und Bezüge zu anderen Rechtsakten der EU (insbesondere zur DSGVO) hergestellt.

Was passiert bei Nichteinhaltung?

Im Falle eines Verstoßes gegen Art. 5 KI-VO droht eine Geldbuße in Höhe von bis zu 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem welcher Betrag höher ist. Grund genug, um verbotene Praktiken schleunigst zu identifizieren und einzustellen. Unklarheiten lassen sich möglicherweise durch einen Blick in die Leitlinien vom 04.02.2025 beseitigen.