Inhalt: Darum geht's in diesem Beitrag
Obwohl die KI-Verordnung der Europäischen Union erst im August 2026 vollständig in Kraft tritt, sollten Unternehmerinnen und Unternehmer eine Aufgabe trotzdem schon jetzt erledigen: sich einen Überblick verschaffen, welche KI-Software ihr Unternehmen nutzt.
Denn der sogenannte EU AI Act verpflichtet Firmen dazu, selbst einzuschätzen, ob eine Gefahr von ihren KI-Anwendungen ausgeht. Diese Pflicht gilt nicht nur für Unternehmen, die KIs programmieren, sondern für alle, die KI nutzen. „Als Unternehmer sollte ich mich jetzt mit der Materie befassen. Denn einige Unternehmen werden die Zeit bis zum Inkrafttreten der Regelungen brauchen, um die entsprechenden Maßnahmen in die Wege zu leiten“, sagt Tobias Krafft vom KI-Beratungsunternehmen Trusted AI. Für KI-Systeme, von denen aus Sicht der Verfasser Risiken ausgehen, stehen in der KI-Verordnung der EU – kurz auch KI-VO genannt – strenge Regeln.
Was schreibt der EU AI Act Unternehmen vor?
„Diese Selbstbewertung macht im Moment vielen Angst“, erzählt der KI-Experte Krafft aus seiner Beratungspraxis. Schließlich seien noch nicht alle Details der praktischen Umsetzung geklärt, zum Beispiel zu Dokumentationspflichten. Krafft geht jedoch davon aus, dass das neu eingerichtete AI Office der EU oder die zuständigen nationalen Behörden in den kommenden Monaten Checklisten bereitstellen werden, die bei der Bewertung helfen.
Unternehmerinnen und Unternehmer benötigen für den KI-Check eine Liste mit allen Software-Tools ihrer Firma. Idealerweise liegt diese Sammlung schon vor – sonst gilt es erst einmal, in allen Abteilungen die Tools abzufragen. Im ersten Schritt gehst du durch, in welchen Programmen KI verbaut ist. In einem zweiten Schritt prüfst du, in welche Risikokategorie des AI Acts ihre KI-Anwendung fällt.
Krafft empfiehlt zwei Online-Tools, die gratis sind, und bei einer ersten Risikoeinschätzung helfen: der „Risk Navigator“ vom TÜV und der „Compliance Checker“ vom Future of Life Institute, einer gemeinnützigen Organisation mit der Mission, vor den Risiken Künstlicher Intelligenz zu warnen. Beide Online-Tools basieren auf der aktuellen Fassung des EU AI Acts und sind leicht zu verstehen.
Die Risikostufen der KI-Verordnung:
Das EU-Regelwerk unterteilt die Anwendungsfelder Künstlicher Intelligenz in drei Risikostufen:
KI-Praktiken, von denen unannehmbare Risiken ausgehen: Diese Systeme sind ab Februar 2025 in der EU verboten.
Hochrisikosysteme: Unternehmen, die eine Hochrisiko-KI haben, müssen viel dokumentieren und besondere Sicherheitsvorkehrungen treffen.
KI-Anwendungen, von denen nur ein geringes oder kein Risiko ausgeht. In diese Kategorie fällt ein großer Teil der KI-Software, die Unternehmen verwenden – sie werden Firmen fast keinen Aufwand bereiten.
Welche KIs sind ab dem 2. Februar 2025 verboten?
Die KI-Verordnung der EU verbietet ab Februar 2025 KI-Anwendungen, die Menschen manipulieren könnten oder gegen ihre Grundrechte verstoßen. In Artikel 5 nennt der Text zum Beispiel:
- Social Scoring: Dabei klassifiziert Künstliche Intelligenz Menschen basierend auf ihrem sozialen Verhalten oder persönlicher Eigenschaften.
- KI-Systeme, die Menschen manipulieren könnten und soziale Benachteiligungen wie das Alter, Armut oder Behinderungen ausnutzen.
- Biometrische Erkennungssysteme, die Rückschlüsse auf persönliche Merkmale zulassen, zum Beispiel auf religiöse oder politische Einstellungen, Zugehörigkeit zu einer Gewerkschaft, die Rasse oder das Sexualleben.
Was sind Hochrisikosysteme?
Zwar ist die Wahrscheinlichkeit gering, dass mittelständische Firmen eine KI betreiben, die unter Artikel 5 des AI Acts fällt. Zurücklehnen und Nichtstun ist für Firmen trotzdem nicht drin. „Der eigentliche Knackpunkt der KI-Verordnung sind die Hochrisikosysteme, auf die sich die meisten Regelungen des Textes beziehen“, sagt der auf KI spezialisierte Rechtsanwalt Markus Kaulartz, Partner der Kanzlei CMS Hasche Sigle in München.
Die Liste mit Hochrisikoanwendungen ist um einiges länger als die Aufzählung verbotener Systeme. Der entsprechende Anhang III wird ständig erweitert. Der Text nennt zum Beispiel diese Einsatzfelder und Anwendungen:
- Recruiting: KI-Anwendungen, die Bewerbungen filtern oder bewerten.
- Personalwesen: KI-Systeme zur Bewertung von Leistungen oder Verhalten von Mitarbeitenden
- Kritische Infrastruktur: Künstliche Intelligenz in Software von Unternehmen, die zur kritischen Infrastruktur gehören, zum Beispiel Kraftwerke oder Krankenhäuser.
- Bildungswesen: Die Leistungsbewertung von Schülerinnen und Schülern oder die Überwachung ihres Verhaltens durch KI.
Tobias Krafft ist Mitgründer der Firma Trusted AI, die Unternehmen und Organisationen zum ethischen und sicheren Einsatz von KI berät.
Markus Kaulartz ist Rechtsanwalt mit der Spezialisierung IT-Recht und Künstliche Intelligenz. Er ist Partner der Kanzlei CMS Hasche Sigle in München.
Was müssen Unternehmen tun, wenn sie eine Hochrisiko-KI haben?
Die KI-VO unterscheidet zwischen Anbietern und Betreibern von KI. Die meisten Mittelständler sind Betreiber, denn sie nutzen bestehende KI-Modelle, statt selbst welche zu programmieren. Der Rechtsanwalt Markus Kaulartz warnt jedoch davor, dass auch Firmen, die keine eigene KI entwickeln, in die Anbieterrolle rutschen können: „Es genügt mitunter schon, wenn man ein Modell finetuned, also bearbeitet, oder wenn man eine KI-Lösung unter einem eigenen Label verbreitet“, so Kaulartz. Zum Beispiel dann, wenn eine Firma den Besuchern ihrer Website ein Open-Source-Sprachmodell zur Verfügung stellt. Das Unternehmen wird dadurch zum Anbieter und muss die entsprechenden Pflichten erfüllen.
Diese Pflichten gelten für die Anbieter von Hochrisikosystemen
Zum Beispiel müssen sie in umfassenden Gebrauchsanweisungen die Fähigkeiten und Leistungsgrenzen des KI-Systems festhalten und ein Risikomanagementsystem entwickeln. Während der Entwicklung müssen Hochrisikosysteme regelmäßig Tests bestehen und Anbieter müssen Schnittstellen einbauen, über die Menschen die Künstliche Intelligenz überwachen und in ihre Arbeit eingreifen können. Darüber hinaus stellt die KI-Verordnung Anforderungen an die Datensätze, mit denen Hochrisiko-KIs trainiert werden dürfen und sie fordert von den Anbietern der KI-Systeme eine umfassende technische Dokumentation sowie Cybersicherheit, Robustheit und Genauigkeit der Systeme.
Diese Pflichten müssen die Betreiber von Hochrisikosystemen erfüllen
Wenn Firmen eine KI-Software einführen, die in die Hochrisikokategorie fällt, müssen sie vor allem Aufsichts- und Dokumentationspflichten erfüllen. Betreiber müssen ihr KI-System nach Gebrauchsanweisung verwenden, Mitarbeitende umfassend schulen, spezielle vom KI-System erstellte Protokolle sechs Monate lang aufbewahren und die Systeme melden, wenn sie gegen EU-Regeln verstoßen.
Was sagt die KI-Verordnung über andere KIs?
Wer die Prüfung durchgeführt hat und keine Hochrisikosysteme betreibt, müsse nicht mehr viel tun, um dem AI Act gerecht zu werden, sagt Rechtsanwalt Markus Kaulartz. Es gibt zwei Pflichten, die Unternehmerinnen und Unternehmer dann erfüllen müssen:
- Transparenz
- Die Schulung von Mitarbeitenden
Welche Transparenzpflichten gelten für den Einsatz von Künstlicher Intelligenz?
Ab August 2026 schreibt der EU AI Act in Artikel 4 eine Kennzeichnung von KI-Erzeugnissen vor, die von Betrachtern für echt gehalten werden könnten. Diese sogenannten Deepfakes sind zum Beispiel KI-generierte Bilder, Videos oder Stimmaufnahmen realer Personen. Aber auch täuschend echte Darstellungen fiktiver Menschen fallen unter diese Kennzeichnungspflicht. Unternehmen, die zum Beispiel KI-gemachte Marketingbilder nutzen und darauf Menschen zeigen, müssen das künftig kennzeichnen.
Tobias Krafft von Trusted AI rät, KI-Inhalte schon jetzt und umfassender zu dokumentieren – falls die Regeln für KI-Erzeugnisse künftig doch noch strenger werden. „Wenn meine Mitarbeiter heute Firmenunterlagen mit KI erstellen, kann ich in zwei Jahren nicht mehr nachvollziehen, was ein Mensch geschrieben hat und was eine Maschine. Das stellt ein unternehmerisches Risiko dar, wenn doch eine umfassende Transparenzpflicht kommt“, sagt Krafft. „Ich würde darum stark dafür votieren, wenigsten intern zu dokumentieren, welche Inhalte in einem umfassenden Maße von KI generiert wurden.“
Stellt sich die Frage: Wann hat die KI das Ergebnis maßgeblich beeinflusst? Eine offizielle Definition dafür gibt es nicht. Krafft findet: „Wenn ich eine Rede schreibe und mir von ChatGPT eine Struktur geben lasse, den Inhalt aber selbst formuliere, dann hat den Hauptteil der Arbeit der Mensch übernommen.“ Genauso nimmt der Experte an, dass eine Textkorrektur durch die KI keine Kennzeichnungspflicht mit sich bringt. „Wenn aber die KI einen Text maßgeblich beeinflusst und zum Beispiel die gesamte Erstversion generiert ist, würde ich zur Kennzeichnung raten.“
Wie müssen Unternehmen ihre Mitarbeitenden im Umgang mit KI schulen?
Wie das Verbot bestimmter KI-Systeme gilt auch die Schulungspflicht schon ab 2. Februar 2025. Artikel 4 der KI-VO verlangt von Arbeitgeberinnen und Arbeitgebern sicherzustellen, dass ihre Mitarbeitenden „über ein ausreichendes Maß an KI‑Kompetenz verfügen.“
Rechtsanwalt Kaulartz geht davon aus, dass die meisten Unternehmen dieser Pflicht intuitiv nachkommen, weil sie Mitarbeitende aus eigenem Interesse im Umgang mit neuer Software schulen – aus zwei Gründen. Erstens wollen sie, dass ihre Mitarbeitenden gut und fehlerfrei mit einem neuen Programm arbeiten können. Zweitens gibt es schon jetzt die Pflicht zur ordentlichen Unternehmensführung: „Die Geschäftsleitung ist schon jetzt dazu verpflichtet, das Unternehmen ordentlich zu führen. Das ist eine Pflicht, die sich aus dem Ordnungswidrigkeitsgesetz ergibt“, sagt Kaulartz. „Darunter fällt auch, dafür Sorge zu tragen, dass Mitarbeitende rechtskonform arbeiten.“
Aus Sicht des Rechtsanwalts sollten Unternehmen sich – KI-VO hin oder her – gegen Klagen absichern, indem sie ihre Teams im Umgang mit KI schulen. „Wenn aufgrund der Nutzung von KI bei einem Dritten, zum Beispiel einem Kunden, ein Schaden entsteht, dann gilt in Deutschland im Zivilrecht grundsätzlich das Verschuldenprinzip. Das heißt: In aller Regel haftet man nur, wenn man auch schuldhaft gehandelt hat“, erklärt der KI-Anwalt. Übertragen auf einen Fall der KI-Nutzung im Unternehmen kann das zum Beispiel sein: Ein Unternehmen verwendet auf der eigenen Website KI-Output und verstößt mit einem Bild zum Beispiel gegen das Urheberrecht. Um in einem solchen Fall den Vorwurf des Verschuldens zu entkräften, muss die Firma unter anderem nachweisen können, dass Mitarbeitende im Umgang mit KI geschult worden sind und dass es interne Richtlinien zum Umgang mit KI-Output gibt. „Wenn ich als Unternehmer keine KI-Policy habe und die Artikel-4-Schulungen auch nicht durchgeführt habe, dann kann der Geschädigte mir möglicherweise vorwerfen, mein Unternehmen nicht ordentlich zu führen.“
KI-PolicyWelche Bußgelder drohen bei Verstößen gegen den AI Act?
Insbesondere für Verstöße gegen das Verbot bestimmter KI-Praktiken und die Regeln für Hochrisikosysteme sind hohe Bußgelder vorgesehen. Für irreführende oder falsche Auskünfte an die zuständigen Behörden können bis zu 7,5 Millionen Euro fällig werden oder ein Prozent des Jahresumsatzes – für KMU fällt der niedrigere von beiden Beträgen an. Die Höchststrafe ist sogar noch höher als die maximal möglichen Bußgelder der DSGVO: Unternehmen, die in Artikel 5 verbotene KI-Systeme einsetzen, drohen zum Beispiel Strafen von bis zu sieben Prozent ihres weltweit erwirtschafteten Vorjahresumsatzes. Gedeckelt ist das Bußgeld bei 35 Millionen Euro. Die DSGVO sieht „nur“ 4 Prozent des Umsatzes und höchstens 20 Millionen Euro vor.
