Verbot für Nudify Apps - Deregulierung bei Industrial AI

In einem KI-Omnibus-Gesetz haben sich die EU-Institutionen auf Änderungen an der KI-Verordnung (AI Act) geeinigt. Nach einer Marathon-Sitzung hatten sie bereits am 7. Mai verkündet, dass die sog. Trilog-Verhandlungen ein Ende gefunden haben. Mittlerweile liegen auch die konkreten Änderungen am Gesetzestext vor. Künftig gibt es ein neues Verbot für sexualisierte Deep Fakes, eine Deregulierung für industrielle KI-Komponenten – und einen erheblichen Aufwuchs der Bereiche, in denen allein die EU-Kommission für die Marktaufsicht zuständig ist.

Verbot von sog. Nudify-Apps

Als Reaktion auf massenhaft erzeugte sexualisierte Deep Fakes durch Grok und sog. Nudify-Apps haben sich die Unterhändler darauf geeinigt, bestimmte Anwendungen vom EU-Markt zu verbannen. Der EU-Gesetzgeber verbietet künftig auch „das Inverkehrbringen, die Inbetriebnahme oder die Nutzung eines KI-Systems, das realistische Bilder, Videos, Tonaufnahmen oder ähnliches Material von den Intimzonen einer identifizierbaren natürlichen Person oder von einer identifizierbaren natürlichen Person bei sexuell eindeutigen Handlungen erzeugt oder manipuliert, ohne dass diese Person ihre freiwillige, spezifische, informierte, eindeutige und ausdrückliche Einwilligung zu dieser Erzeugung oder Manipulation erteilt hat“.

In der Gesetzesbegründung folgen sehr detaillierte Ausführungen dazu, was genau als „Intimzonen“ zu verstehen ist, wann Aufnahmen als „realistisch“ und „manipuliert“ gelten und wie die notwendige Einwilligung zu berücksichtigen ist. Zur Begründung stellt die Verordnung künftig klar: „KI-Systeme, die solches Material generieren oder manipulieren, stellen eine ernsthafte Gefahr für die Menschenwürde und die Rechte des Kindes dar und bergen die Gefahr, sexuelle Gewalt gegen Kinder zu normalisieren, zu verstärken und zu verfestigen.“

Das Verbot erstreckt sich nicht nur auf KI-Systeme, die bestimmungsgemäß darauf ausgelegt sind, sexualisierte DeepFakes zu erstellen. Erfasst sind auch Anwendungen, bei denen es erwartbar ist, dass verbotene KI-generierte Bilder, Videos oder Tonaufnahmen erstellt werden können und entsprechende Sicherheitsvorkehrungen nicht vorliegen. Verboten sind die Systeme dann nicht vollständig, sondern nur im Hinblick auf den Systemteil, der verbotene Inhalte generiert. Im Ergebnis wäre es möglich, dass GrokAI nur insoweit ein verbotenes KI-System ist, als es weiterhin ermöglicht, sexualisierte Deep Fakes zu erstellen.

Strikt verboten soll es künftig auch sein, sexuelle Gewaltdarstellungen zu generieren, die nach der Richtlinie 2011/93/EU als „Kinderpornographie“ oder „pornographische Darbietung“ einzustufen sind. Unter das Verbot fallen hier auch künstliche oder synthetische Inhalte, die sexuelle Gewalt gegen Kinder zeigen. Hier gibt es nur sehr enge Ausnahmen, wenn ein nationales Gesetz dies erlaubt – z.B. für Strafverfolgungsbehörden oder Systemtests.

Industrielle KI-Anwendung: Überschneidungen zu anderen Produktregulierungen

Für Industrieroboter sieht die Maschinen-Verordnung bereits gesetzliche Vorgaben zur Produktsicherheit vor. Sie stammt allerdings noch aus einer Zeit, in der digitale Steuerung der Produktion in einem großteils analogen Stadium war. Die KI-VO beanspruchte deshalb auch Geltung, wenn solche Maschine eine KI-Komponente vorsahen – sie musste sich an den Vorgaben für Hochrisiko-Systeme messen lassen. Die Industrie befürchtete eine bürokratisch aufwändige Doppelregulierung ihrer Industrieplattformen und –roboter. Während Industrieunternehmen forderten, die spezifischen Anforderungen an „industrielle KI“ weitgehend zu streichen, hielten andere ein reguliertes Umfeld für industrielle KI für notwendig.

Man traf sich nun gewissermaßen in der Mitte: Vorgaben für KI-Systeme, die bspw. als Maschine unter bereits vorhandene Produktsicherheitsgesetze fallen, sollen perspektivisch allein in diesen sektoralen Gesetze geregelt werden. Der KI-Omnibus sieht nun vor, dass etwa die Maschinen-Verordnung eigene Vorgaben zum KI-Einsatz machen muss, und die KI-VO nicht mehr greift. Das ist jedoch an Voraussetzungen gebunden, u.a. darf das Schutzniveau insgesamt nicht hinter dem Stand der KI-VO zurückbleiben. Dadurch setzt die KI-Verordnung einen Hebel, damit die Maschinen-Verordnung mit Blick auf KI erweitert wird. Dabei darf sie nicht hinter grundrechtlichen, sicherheitstechnischen und sonstigen Vorgaben der KI-VO zurückbleiben. Es kann aber zugleich sein, dass die Maschinen-VO nicht überarbeitet wird - mit dem Argument, die vorhandenen Regeln zu digitalen Komponenten seien schon ausreichend. Für die Umsetzung der Vorgaben soll künftig allein das AI Office der EU-Kommission zuständig sein (dazu unten mehr).

Zudem stellt der Gesetzgeber klar, dass Produkte, die mehreren EU-Produktanforderungen unterliegen, nur einmal zertifiziert werden müssen. Nur eine notifizierte Stelle muss das sog. Konformitätsverfahren durchführen oder bestätigen. Das soll Mehrfach-Zertifizierungen und die befürchtete Doppelregulierung von industrieller KI vermeiden. Um das Testen und Ausprobieren von industriellen KI-Anwendungen künftig niedrigschwelliger zu ermöglichen, können die Mitgliedstaaten das sog. Testen unter Realbedingungen außerhalb eines KI-Reallabors erlauben. Bislang waren die „regulatory sandboxes“ nur für Hochrisiko-Systeme vorgesehen, die direkt der KI-VO unterfallen.

Erweiterung der ausschließlichen Kompetenz des AI Office der EU-Kommission

Die EU-Kommission erhält durch die Änderungen im KI-Omnibus einen erheblichen Machtzuwachs, wenn es um die Aufsicht über den KI-Markt geht. Bislang war ihre Zuständigkeit eher vage formuliert und beschränkte sich weitgehend auf die Sondervorschriften für sog. KI-Systeme mit allgemeinem Verwendungszweck (sog. GPAI-Modelle). Künftig ist Brüssel ausschließlich zuständig für unter anderem:

• KI-Systeme im Bereiche Strafverfolgung, Grenzkontrolle und im Finanzwesen,

• KI-Systeme im Bereich kritischer Infrastrukturen,

• KI-Systeme im Bereich Rechtswesen und Justiz,

• KI-Systeme, die Teil einer sehr großen Online-Plattform oder Online-Suchmaschine nach dem DSA sind,

• weite Teile der Aufsicht für Anwendungen industrieller KI.

Eine solche Zentralisierung kann einerseits dazu dienen, die Auslegung der Vorschriften der KI-VO zu harmonisieren, eine nationale Zersplitterung zu vermeiden und Verfahren zu beschleunigen. Es gibt aber auch eine Kehrseite. Bei der Rechtsdurchsetzung durch die EU-Kommission kann der Schutz von Grundrechten in Konflikt mit industrie- und handelspolitischen Zielen kommen. Da es auf EU-Ebene keine unabhängige Digitalagentur gibt, die KI-Vorgaben außerhalb der Weisungskette von Kommissionspräsidentin von der Leyen durchsetzt, kann es zu Zielkonflikten kommen.

Im Ergebnis wandelt sich das AI Office von einer beratenden Instanz mit wenigen eigenen Zuständigkeiten bei der regulierten Selbstregulierung der GPAI-Modelle hin zu einer echten Aufsichtsbehörde in grundrechtssensiblen Bereichen, die über den nationalen Behörden steht. Das entlastet die Mitgliedstaaten, erhöht aber die Gefahr, dass Brüssel unter politischem Druck die konsequente Durchsetzung schleifen lässt. Denn die Kommission ist es auch, die Zölle und andere Digitalrechtsakte mit der US-amerikanischen Gegenseite verhandelt. Bemerkenswert ist wiederum, dass die EU-Kommission die Kosten für die – neu geschaffenen – Durchsetzungsmaßnahmen bei den beaufsichtigten Unternehmen zurückfordern kann. Es bleibt abzuwarten, ob das die finanzielle und personelle Ausstattung des AI Office künftig verbessert.

Verarbeitung sensibler Daten, um diskriminierende KI-Entscheidungen zu verhindern

Vorgesehen ist eine neue Vorschrift, um diskriminierende KI-Entscheidungen zu vermeiden. Sie erlaubt, besonderes geschützte Informationen (etwa Geschlecht, politische Überzeugungen oder sexuelle Orientierung) zu verarbeiten, damit das System diese später nicht in Entscheidungen einfließen lässt. Dahinter steht ein interdisziplinärer Widerspruch.

Wer Informatiker:innen fragt, wie sich diskriminierende Entscheidungen in KI-Systemen vermeiden lassen, bekommt regelmäßig die Antwort: Gib mir die Datenpunkte, die zu einer Diskriminierung führen könnten, und ich verankere das im System. Aus datenschutzrechtlicher Sicht sind aber genau solche sensiblen Informationen besonders geschützt: Eine Verarbeitung ist nur unter hohen Voraussetzungen möglich, und sonst verboten (Art. 9 DSGVO). Aus der juristischen Perspektive sollten die Datenpunkte erst gar nicht in ein Verarbeitungssystem einfließen.

Die technische und juristische Sicht beißen sich also. Der Gesetzgeber will das nun auflösen: Er formuliert strenge Bedingungen, unter denen es erlaubt ist, sensible Daten ausschließlich dazu zu verarbeiten, um diskriminierende Tendenzen zu erkennen und verringern („Bias detection“). Die Daten sind besonders zu schützen, dürfen in keinem Fall an Dritte weitergegeben werden und sind am Ende zu löschen.

KI-Kompetenz: Keine Schulungspflicht

Bislang war unklar, wie die Vorschrift zu KI-Kompetenzen (AI literacy) im Einzelnen zu verstehen sind. Gerade Beratungsfirmen haben die Rechtsunsicherheit genutzt, um Unternehmen umfangreiche Schulungskonzepte und Fachexperten spezifische Weiterbildungen anzubieten – hinterlegt mit dem Argument, das sei nun ja gesetzliche Pflicht. Der Gesetzgeber reagiert darauf. Im KI-Omnibus stellt er klar, dass Unternehmen kein „bestimmtes Maß an KI-Kompetenz bei einzelnen Personen zu gewährleisten“ haben. EU-Kommission und Mitgliedstaaten sollen Praxisbeispiele veröffentlichen, wie die Verpflichtung konkret eingehalten werden kann. KI-Kompetenz ist damit allenfalls eine sehr weiche, kaum durchsetzbare Pflicht für die Hersteller und Nutzer von KI-Systemen.

Veränderung der Fristen

Die Fristen, ab denen bestimmte Verpflichtungen aus der KI-Verordnung greifen, wurden im Trilog nochmal überarbeitet und großteils verlängert:

• Die Pflicht der Mitgliedstaaten, Reallabore einzurichten, greift jetzt erst ab dem 2. August 2027.

• Die Pflicht, KI-generierte Inhalte zu kennzeichnen, greift bereits ab Dezember 2026.

• Das Verbot für Nudify-Apps greift ab dem 2. Dezember 2026.

• Die Regeln für Hochrisiko-KI-Systeme greifen ab dem 2. Dezember 2027 (Annex III) bzw. ab dem 2. August 2028 (Annex I).

Der KI-Omnibus greift einige Kritikpunkte aus Industrie, Wissenschaft und Zivilgesellschaft auf. Im Ergebnis ist es weder der große Wurf der Vereinfachung und Deregulierung, den Wirtschaftsverbände und Industrie gefordert haben, noch ein weitflächiger Ausverkauf von grundrechtlichen Schutzstandards. Die EU-Institutionen werden dem Gesetzespaket wohl noch vor der Sommerpause zustimmen. Danach geht es in die Umsetzung. Dafür braucht es starke, unabhängige und schlagkräftige Aufsichtsbehörden, die sich im Zweifel auch mit den großen KI-Unternehmen anlegen. Ob das AI Office mit den zusätzlichen Kompetenzen dazu beitr, hängt von ihrer Ausstattung und politischen Beinfreiheit ab.