Der verborgene erste Schritt zur Einhaltung des KI-Gesetzes: 
Die richtigen Systemgrenzen und Risikoklassifizierungen festlegen

Gemäß dem KI-Gesetz hängt diese Klassifizierung ausschließlich vom „beabsichtigten Zweck” des KI-Systems ab. In der Praxis stehen Unternehmen jedoch oft vor zwei praktischen Fragen:

• Erstens: die Systemgrenze – wo endet ein KI-System und wo beginnt das nächste?
• Zweitens: die Verantwortungsgrenze – wer ist für die Risikoklassifizierung und die sich daraus ergebenden Verpflichtungen verantwortlich?

Die Risiken einer falschen Abgrenzung

Letztendlich bestimmen die Risikoklasse eines KI-Systems und die Rolle einer Organisation die geltenden Verpflichtungen. Dies richtig zu handhaben ist unerlässlich, um unnötige Kosten zu vermeiden.

Wenn die Systemgrenze zu weit gefasst ist, könnten Unternehmen über das erforderliche Maß hinaus gehen, indem sie Anforderungen für hohe Risiken auf mehr Komponenten als nötig anwenden. Sie könnten auch die Verantwortung falsch zuweisen, indem sie Aufgaben auf Anbieterebene für Tools übernehmen, die sie lediglich einsetzen. Wenn die Grenze hingegen zu eng gefasst ist oder die verantwortliche Partei falsch identifiziert wird, besteht die Gefahr einer Untererfüllung der Anforderungen, da risikoreiche Elemente übersehen und die entsprechenden Verpflichtungen nicht erfüllt werden.

Was das KI-Gesetz über Systeme und Rollen sagt

Um zu verstehen, warum dies eine Herausforderung ist, ist es hilfreich, zunächst zu betrachten, wie das EU-KI-Gesetz ein KI-System und die dafür verantwortlichen Akteure definiert. Das Gesetz kombiniert eine funktionale Definition dessen, was als KI-System gilt, mit einem rollenbasierten Rahmen, der festlegt, wer welche Verpflichtungen trägt.

Die Definition eines „KI-Systems” im EU-KI-Gesetz (Artikel 3 Absatz 1) ist funktional: Sie konzentriert sich darauf, was die Software tut, und nicht darauf, wie sie aufgebaut ist. Sie umfasst maschinengestützte Systeme, die mit einem gewissen Maß an Autonomie arbeiten, aus Eingaben Rückschlüsse ziehen, um Ausgaben zu erzeugen, die ihre Umgebung beeinflussen, und die darauf ausgelegt sind, bestimmte Ziele zu erreichen.

Dies kann die Risikoklassifizierung in der Praxis manchmal erschweren, da Unternehmen entscheiden müssen, ob eine KI-fähige Funktion in einem Produkt oder Tool ein eigenständiges System oder Teil eines größeren Systems ist. Solche Entscheidungen werden oft durch modulare Softwarearchitekturen, häufige Updates und die Tatsache, dass viele KI-Komponenten auf Modellen oder Datendiensten von Drittanbietern basieren, zusätzlich erschwert.

Erschwerend kommt hinzu, dass das KI-Gesetz die Verantwortlichkeiten danach aufteilt, wer das System entwickelt und auf den Markt bringt (der Anbieter) oder es unter seiner Verantwortung nutzt (der Anwender). In der Praxis ist diese Unterscheidung jedoch nicht immer eindeutig. KI-Anwendungen kombinieren oft Modelle von Anbietern, externe APIs und interne Tools, wodurch die Grenze zwischen denen, die ein System entwickeln oder vermarkten, und denen, die es lediglich nutzen, verschwimmt.

Diese Herausforderungen werden in der Praxis anhand eines konkreten Beispiels deutlicher.

Die Herausforderung in der Praxis: Definition von Grenzen in Systemen mit mehreren Anbietern und mehreren Risiken

Betrachten wir ein großes Unternehmen, das eine KI-gestützte Personalplattform nutzt, die aus mehreren miteinander verbundenen Anwendungen besteht. Jede davon erfüllt eine andere Aufgabe, aber zusammen bilden sie einen integrierten Workflow:

• Ein KI-basiertes Tool zur Überprüfung von Lebensläufen, das von einem SaaS-Anbieter bereitgestellt wird und zur Filterung von Bewerbungen dient. (hohes Risiko gemäß Anhang III(4)(a) des KI-Gesetzes)
• Ein KI-basiertes Modul zur Analyse von Video-Interviews zur Bewertung von Bewerbern, das von einem Drittanbieter angeboten wird, aber über API-Aufrufe über die Plattform des SaaS-Anbieters zugänglich ist. (hohes Risiko gemäß Anhang III(4)(a) des KI-Gesetzes)
• Ein LLM-gestützter Recruiter-Assistent zum Verfassen von Interviewnotizen, der intern entwickelt wurde und über ein Plug-in mit derselben Plattform verbunden ist und Daten aus den ersten beiden Modellen verwendet. (Transparenzpflichten gemäß Artikel 50 Absatz 2 des KI-Gesetzes)
• Ein KI-gesteuertes Dashboard zur Stimmungsanalyse, das von einem anderen Anbieter bereitgestellt und in dieselbe SaaS-Plattform eingebettet ist und die Gesamterfahrung der Bewerber aus dem Feedback nach dem Vorstellungsgespräch zusammenfasst. (geringes Risiko gemäß dem KI-Gesetz)

Dieses Beispiel veranschaulicht, wie sich beide Herausforderungen in der Praxis konkretisieren.

• Die Frage nach der funktionalen Grenze stellt sich, weil die Plattform einen einzigen End-to-End-Zweck erfüllen soll, der gemäß dem KI-Gesetz wahrscheinlich mit einem hohen Risiko verbunden ist – die Personalbeschaffung –, jedoch aus mehreren KI-Funktionen besteht, die unabhängig voneinander unterschiedliche Risikoklassifizierungen haben können.
• Gleichzeitig ist die Verantwortungsgrenze unklar: Der SaaS-Anbieter stellt die Kernplattform bereit, Dritte liefern spezialisierte Module und das Unternehmen selbst fügt ein intern entwickeltes LLM-Plug-in hinzu.
   

Anwendung des KI-Gesetzes in der Praxis: Was Betreiber heute tun können

In der Praxis können Betreiber dies bewältigen, indem sie sorgfältig dokumentieren und begründen, wie die Systemgrenzen gezogen werden, und indem sie vertragliche Vereinbarungen überprüfen, um sicherzustellen, dass die Verantwortlichkeiten von Anbietern und Betreibern entlang der Wertschöpfungskette klar zugewiesen sind.

Um Unternehmen dabei zu helfen, die rechtlichen Definitionen eines KI-Systems besser zu bewerten und sie unter anderem mit dem technischen Design ihrer Unternehmenssoftware zu vergleichen, sind die kostenlosen und offenen Schulungsangebote des Bayerischen KI-Gesetz-Accelerators, der vom Bayerischen Staatsministerium für Digitales finanziert und vom appliedAI Institute for Europe durchgeführt wird, ein guter Einstieg!

Im Herbst und Winter 2025 bringen Sie diese beiden Lernpfade auf den neuesten Stand des KI-Gesetzes:

• KI-Gesetz kompakt: Die neuen Regeln schneller verstehen
  • Inhalte: Einführung in das KI-Gesetz, Ableitung der eigenen Verpflichtungen, Umsetzung des Weges zur Compliance
  • Zielgruppe: Alle, die sich mit KI-Compliance, Qualität und Sicherheit befassen
• Technische Umsetzung des KI-Gesetzes – Tools, Standards und GenAI
  • Inhalt: Neue Regeln für die Verwendung von GPAI-Modellen (d. h. GenAI, LLMs usw.), Verständnis und Anwendung von KI-Standards, Umsetzung bewährter Entwicklungspraktiken für risikoreiche KI mit Open-Source-Tools
  • Zielgruppe: Alle, die die neuen Regeln aus dem KI-Gesetz technisch umsetzen

Hier finden Sie alle Schulungen und Details zum Projekt!