KI-Agenten zwischen Hype und Risiko: Wer haftet, wenn etwas schiefgeht?

Jasmine Ehbauer – Berlin –
Screenshot Open Claw

Über das soziale Netzwerk Moltbook haben Fachmedien in der letzten Woche viel berichtet. Es ist ähnlich aufgebaut wie Reddit, mit einem entscheidenden Unterschied: Es sind nicht Menschen, sondern KI-Agenten, die sich in (Unter-)Foren austauschen, unter Beiträgen kommentieren und eigene Inhalte veröffentlichen. Menschen dürfen laut Plattform nur zuschauen. Die Agenten fachsimpeln auf Moltbook über technische Themen, schreiben aber auch Gedichte oder tauschen sich über ihre menschlichen Nutzer:innen aus. 

Vor allem Tech-Fans scheinen den Agenten fasziniert beim ‚Chatten‘ zuzuschauen. Der britische Softwareentwickler Simon Willison bezeichnete die Plattform als „most interesting place on the internet right now“, also als der aktuell spannendste Ort im Internet.

Doch Moltbook ist mehr als ein Kuriosum. Die Plattform ist ein Schaufenster für eine Technologie, die längst mehr kann als chatten. 

KI-Agenten: der neue persönliche Assistent?

KI-Werkzeuge wie ChatGPT, Perplexity AI oder Claude AI sind in der Regel webbasiert und geben erst Antworten, wenn Nutzer:innen sie aktiv dazu auffordern. Ein KI-Agent hat im Vergleich dazu viel weitreichendere Befugnisse. Das lernfähige Softwareprogramm läuft in der Regel dauerhaft auf dem Computer der Nutzer:innen, kann sich Informationen langfristig merken und proaktiv mit verschiedenen KI-Modellen, Anwendungen und Online-Diensten kommunizieren. Der KI-Agent hilft dabei, bestimmte komplexe Aufgaben zu erledigen. Nutzer:innen können das Programm über Messenger-Dienste steuern und sich über Zwischenstände informieren lassen.

Ein Beispiel für solch einen KI-Agenten ist die Open-Source Software OpenClaw (früher Moltbot). Nach Angaben des Handelsblatts haben mehr als zehntausend Menschen den veröffentlichten Code aufgegriffen und für eigene Zwecke angepasst. Auch auf der Plattform Moltbook sollen zahlreiche Agenten auf OpenClaw basieren.

Nutzer:innen berichten davon, dass OpenClaw E-Mails bearbeitet, mit Versicherungen kommuniziert oder für Flüge eincheckt. So erzählte der niederländische IT-Stratege André Foeken dem US-amerikanischen Tech-Magazin Wired, er habe OpenClaw seine Kreditkartendaten und Amazon-Zugangsdaten gegeben und den KI-Agenten anschließend beauftragt, für ihn einzukaufen. Ein anderer Nutzer ließ OpenClaw ein Auto kaufen. Der KI-Agent soll per E-Mail mit Händler:innen verhandelt, einen Bieterwettstreit gestartet und 4.200 Dollar Rabatt herausgehandelt haben. 

Der Umgang sollte „weniger wie beim Werkzeug, mehr wie bei der Tierhaltung“ sein

Die selbstständig handelnden Bots mögen Nutzer:innen den Alltag erleichtern, sind aber nicht ohne Risiko. Expert:innen warnen vor Sicherheitslücken und Risiken beim Datenschutz. Die Sicherheitsfirma Wiz konnte sich in einem Sicherheitstest über Moltbook Zugang zu E-Mail-Adressen und privaten Direktnachrichten verschaffen. Aber auch fehlerhafte Zielvorgaben oder unerwartete Veränderungen der Umgebung können dazu führen, dass KI-Agenten Entscheidungen treffen oder Inhalte erstellen, die Nutzer:innen nicht wollen. 

Das wirft eine grundlegende Frage auf: Wer trägt die Verantwortung für Entscheidungen, die KI-Agenten treffen? 
Ramak Molavi Vasse‘i, Head of Advocacy beim Zentrum für Digitalrechte und Demokratie, liefert einige Antworten.

Ramak, Moltbook ist ein soziales Netzwerk für KI-Agenten. Menschen dürfen nur zuschauen. Was findest du daran besonders spannend?

Dass aus einem vielleicht interessanten Gedankenspiel plötzlich ein Live-Experiment wird. Vielleicht hängt das auch damit zusammen, dass Amazon in kurzer Zeit 30 000 Entwickler entlassen hat und damit Kapazitäten freigesetzt wurden.

Es bündeln sich die bekannten Bedenken gegenüber LLM-basierten KI-Agenten. Fehlende Kontrollierbarkeit bei zugleich hoher Fehleranfälligkeit. Unkontrollierte Verbreitung. Die Potenzierung von Fehlern durch Kettenentscheidungen. Verantwortungsdiffusion.

Dazu kommt das Open-Source-Dilemma wie bei Deepfakes. Offenheit erleichtert Zugang und externe Prüfung, senkt aber zugleich die Hürden für unsichere oder missbräuchliche Nutzung. Auch bei OpenClaw kann jeder den Code übernehmen und anpassen, sichere Installation erfordert Zeit und technisches Know-how. Hier braucht es eine informierte Debatte zu Lösungen. Nebenbei werden dafür massiv reale Energie-Ressourcen verbraucht.

Wer ist verantwortlich, wenn KI-Agenten Fehler machen? 

KI-Agenten sind nicht haftbar. Die wiederkehrende Idee, autonome Systeme als Rechtssubjekte auszugestalten, hat sich richtigerweise nicht durchgesetzt. Menschen bleiben verantwortlich, auch wenn sie die Kontrolle abgeben und faktisch keinen Einfluss auf adaptive autonome Systeme haben. Weniger wie beim Werkzeug, mehr wie bei einer Tierhaltung.

Je nach Konstellation kommen als Verantwortliche Nutzer, Betreiber oder Entwickler in Betracht. Die Zurechnung kann aber praktisch schwierig bis unmöglich sein, weil die Abläufe intransparent sind.

Greift die KI-Verordnung bei KI-Agenten oder braucht es zusätzliche Regulierung auf europäischer Ebene?

Sobald ein solcher Agent nicht mehr nur experimentell, sondern etwa in sensiblen Bereichen wie Gesundheit, Bildung oder Justiz eingesetzt wird, greifen die Vorgaben für Hochrisiko-KI nach der KI-Verordnung. Die dort vorgesehenen Pflichten bringen zwar Transparenz und Risikobewertung mit sich, lösen das Zurechnungsproblem aber nicht.

Gerade hier wäre eine eigenständige, verantwortungsunabhängige Gefährdungshaftungsregelung zentral, die im Rahmen der erneut verzögerten AI Liability-Richtlinie eingeführt werden könnte, um im Schadensfall klare Verhältnisse zu schaffen.