Warum OpenAI Und Anthropic Nach Entschleunig­ung Rufen, Aber Nicht Nach Regulier­ung

Vergangene Woche hat ein Sicherheitsforscher bei Anthropic gekündigt und im Anschluss öffentlich angeprangert, dass die KI-Branche mit unser aller Leben spiele. Seiner Einschätzung nach könnte KI die Menschheit innerhalb der nächsten zehn Jahre auslöschen. Seitdem melden sich immer mehr Beschäftigte bei OpenAI, Google und Meta mit dringlichen Warnungen zu Wort. Selbst die Unternehmen stimmen zu, dass die KI-Entwicklung gerade vielleicht zu schnell voranschreitet.

Anthropic wünscht sich ein rechtssicheres Verfahren, um sich mit der Konkurrenz über das Tempo von Modellveröffentlichungen abzustimmen. Sam Altman von OpenAI erklärte, man sei zur gemeinsamen Verlangsamung bereit und schlägt Prüfinstanzen und internationale Gremien vor. OpenAI sei offen dafür, unabhängigen Sicherheitsexperten den gleichen Zugang zu den Modellen zu ermöglichen wie eigenen Mitarbeitenden.

Das klingt nach Einsicht, ist allerdings auch eine Verhandlungsposition mit Eigeninteressen. Man hätte auch in der Vergangenheit schon mehr in Sicherheit investieren können. Es zeugt von einer gewissen Ironie, dass solche Aussagen von großen Big-Tech-Unternehmen kommen. Waren sie es doch, die eine gesetzliche Regulierung ihrer Geschäftsmodelle bislang mit harten Bandagen bekämpft haben.

Alles nur PR?

Wer warnt, bestimmt mit, worüber gesprochen wird – und kann so Verantwortung von sich schieben. Die Selbstbeschreibung als unkontrollierbare Menschheitstechnologie zahlt auf mehrere PR-Ziele ein: Erstens liefern US-Unternehmen damit Argumente gegen konkurrierende offene Modelle (sogenannte open-weights-Modelle), die den großen Anbietern mit ihren zentralistischen Cloud-Infrastrukturen gerade ernsthaft Umsatz kosten. Diese Konkurrenz kommt vor allem aus China. Die US-Anbieter wollen zeigen, dass sie ihre Modelle besser beherrschen können als die „offene“ Konkurrenz.

Der Ruf nach Entschleunigung der Modellentwicklung lenkt zweitens von Risiken ab, die bereits jetzt offen zutage treten: Hoher Energieverbrauch und enorme Umweltbelastung durch KI-Rechenzentren, neue Formen der digitalen Überwachung und Kommerzialisierung, der Einsatz von KI im Krieg und der Aufbau von monopolartigen Strukturen über die digitale Infrastruktur der Zukunft.

Die Vorschläge der CEOs verschieben drittens die Zuständigkeit zu Gremien, die es noch nicht gibt, und weg von Gerichten, die heute schon Schäden zurechnen könnten. Ob es beim Treffen der Präsidenten der USA und Chinas zum Thema KI-Sicherheit am 24. September konkrete Ergebnisse geben wird, bleibt abzuwarten. Die UN-Empfehlungen, wie man KI global und inklusiv regulieren könnte, werden jedenfalls nur schleppend umgesetzt.

Open AI und Anthropic setzen auf Selbstverpflichtung

Bemerkenswert ist vor allem, was in den Vorschlägen der Konzerne nicht vorkommt. 

Sie fordern in erster Linie, dass sich die Modellanbieter untereinander absprechen und gemeinsam entschleunigen. Sie schlagen weiter vor, dass sie die Investitionen in KI-Sicherheit erhöhen und mehr unabhängigen Prüfern Zugang zu ihrer Infrastruktur verschaffen. Harte Regeln und demokratische Kontrolle sind das nicht.

Worüber Dario Amodei und Sam Altmann nicht sprechen, sind bereits geltende Regeln. Die EU hat den AI Act, eine (jüngst auf KI angepasste) Richtlinie zur Produkthaftung, Wettbewerbsrecht und strenge Regeln für Cybersicherheit verabschiedet. Ob die öffentlichen Warnungen der Hersteller deren Anwendung nun leichter machen, bleibt abzuwarten.

Die EU hat schon passende Regeln...

Mit der Verordnung für künstliche Intelligenz (KI-VO, engl. EU AI Act) hat die EU bereits ein gesetzliches Rahmenwerk für die großen KI-Modelle verabschiedet. Der Gesetzgeber hat dort bereits Maßnahmen für den Fall vorgesehen, dass leistungsstarke KI-Modelle die Cybersicherheit beeinträchtigen. Dass es bei den jüngsten Vorfällen bei OpenAI und Anthropic zu Verstößen gegen diese Vorschriften gekommen ist, liegt nahe. Der AI Act verpflichtet „KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko“ dazu, ein angemessenes Maß an Cybersicherheit zu gewährleisten (Art. 55 KI-VO). Ein systemisches Risiko wird vermutet, wenn ein Modell für das Training die Rechenleistung eine gewisse Schwelle (10^25 FLOP - das sind 10 Quadrillionen Rechenoperationen, um die KI mit Daten trainieren) übersteigt. Dies ist bei den neuesten Modellen von OpenAI (GPT-4) und Anthropic (Opus), aber auch bei Googles Gemini Ultra der Fall.

Unternehmen müssen dafür nicht nur die Risiken für Cybervorfälle analysieren und durch Tests nachweisen (sog. „Angriffstests, engl. penetration tests). Auch die physische Infrastruktur des Modells muss cybersicher sein. Konkret heißt das: Alle Software- und Hardwarekomponenten eines KI-Modells müssen gesetzliche Vorgaben für Cybersicherheit erfüllen. Welches Maß an Cybersicherheit „angemessen“ ist, ist nach dem „Stand der Technik“ zu bewerten: Hier sind in erster Linie technische Standards der Organisationen ISO und CEN relevant.

Sollte es zu schwerwiegenden Vorfällen kommen, müssen die Hersteller von KI-Modellen diese unverzüglich an die zuständige EU-Aufsichtsbehörde melden (Büro für Künstliche Intelligenz, engl. EU AI Office). Die Vorschriften sind seit dem 2. August 2025 verpflichtend anzuwenden. Die einjährige Schonfrist für Anbieter solcher Modelle ist mittlerweile abgelaufen. Das Büro für Künstliche Intelligenz ist dazu befugt, Auskünfte von den Herstellern zu verlangen, die Modelle zu evaluieren und hohe Bußgelder bis zu 3 Prozent des globalen Gesamtumsatzes eines Unternehmens zu verhängen (Art. 91 ff. und Art. 101 KI-VO).

Zwar gibt es in der KI-Verordnung eine sog. Forschungsausnahme (Art. 2 Abs. 8 KI-VO), um die Anbieter in der Entwicklungsphase von den Pflichten zu befreien. Sie betrifft aber im Kern nur die (in erster Linie wissenschaftliche) Vor-Markt-Forschung. Bei Anbietern wie OpenAI und Anthropic, deren KI-Modelle bereits auf dem Markt sind, und in Testumgebungen weiterentwickelt werden, greift die Vorschrift nicht - auch wenn die Anwaltskanzleien der IT-Unternehmen hier möglicherweise eine andere Rechtsauffassung vertreten könnten.

...aber wer setzt sie jetzt konsequent durch?

Das AI Office der EU hat die notwendigen Kompetenzen und gesetzlichen Befugnisse, um auf die jüngsten Cybervorfälle bei OpenAI und Anthropic zu reagieren. Bislang vernimmt man jedoch wenig aus Brüssel.

Zum jetzigen Zeitpunkt kann man nur darüber spekulieren, warum die EU-Aufsichtsbehörde die gesetzliche verbindlichen Pflichten für KI-Systeme mit allgemeinem Verwendungszweck noch nicht konsequent durchsetzt bzw. über ihre Tätigkeit öffentlich berichtet. Als mögliche Gründe kommen in Betracht:

1. Das AI Office verfügt noch nicht über den notwendigen Sachverstand und die notwendigen Ressourcen, um die riesigen und hochkomplexen Infrastrukturen der Modellanbieter aus den USA zu evaluieren. Es fehlt vermutlich an Personal, um mit den Softwareingenieuren bei OpenAI und Anthropic mithalten zu können. Deutschland hat zwar aktuell ein KI-Sicherheitsinstitut eingerichtet - momentan sind das offenbar 3 Stellen, die im Berliner Büro des BSI sitzen. Von einer schlagkräftigen Einheit ist die Bundesregierung also nicht weit entfernt.

2. Die EU-Kommission kann Test und Bewertungen der Modelle nicht nur selbst durchführen, sondern auch auch unabhängige Akteure damit beauftragen. Bislang ist das offenbar noch nicht passiert. Warum nicht die ehemaligen Mitarbeiter von Anthropic und OpenAI anheuern?

3. Ein Untersuchungs- oder gar Bußgeldverfahren der EU-Kommission könnte in den USA als handelspolitische Intervention interpretiert werden. Bereits in der Vergangenheit erwies sich Brüssel als zögerlich bis zurückhaltend, wenn es darum ging, die EU-Digitalgesetze mit Elan gegen Big-Tech-Unternehmen durchzusetzen.

4. Innerhalb der EU-Kommission ist womöglich noch nicht final geklärt, ob Cybervorfälle bei KI-Modellen in erster Linie unter das Rechtsregime der KI-VO fallen – oder vielleicht doch die Cybersicherheitsvorschriften der NIS2-Richtlinie oder (wenn personenbezogene Daten betroffen sind) die Datenschutzgrundverordnung greifen. Die Mühlen der Bürokratie mahlen langsam. Bei KI-Modellen, die in eine sehr große Online-Plattform oder Suchmaschine integriert sind, kann zudem die Pflicht des Digital Services Act (DSA) auf systematische Risikoanalyse und –minderung greifen (Erwägungsgrund 118 KI-VO).

Gesetze durchsetzen, statt auf freiwillige Drosselung durch KI-Firmen vertrauen

Die EU hat früh erkannt, dass sich den Risiken der riesigen KI-Modelle nicht allein mit Stoßgebeten und Appellen an die Eigenverantwortung von Tech-Bossen begegnen lässt. Die KI-Verordnung bietet den passenden Rahmen dafür, um Cybersicherheit einzufordern und durchzusetzen.

In Kombination mit den neuen Regeln für Produkthaftung, die ab Dezember 2026 auch für KI-Produkte gelten werden, wird es bald noch leichter, die Anbieter bei Schäden in Regress zu nehmen. Dann könnte jede Person, die ein System betreibt, in das ein KI-Modell eingedrungen ist, Schadensersatz beanspruchen. Wenn ein Gericht einen Verstoß gegen die Pflichten der KI-VO feststellt, wäre das aber auch schon unter deutschem Haftungsrecht möglich. Bis dahin liegt es in der Hand der EU-Kommission, unabhängige Kontrollen der KI-Modelle anzuordnen und ggf. Bußgelder zu verhängen.

Dass Ursula von der Leyen am Mittwoch ihre „State of the Union“-Rede hält, scheint ein passender Anlass, um der Welt zu zeigen: Wir haben die passenden Regeln, wir sind entschlossen und setzen uns konsequent für sichere KI-Entwicklung ein. Dass Selbstregulierung nicht funktioniert, hat der aufmerksame Beobachter ja schon bei Social Media gelernt.