Ganz frisch von mir. Die Wissenschaft hat festgestellt: das mit den KI-Agenten geht schief. (und zwar nicht, weil Superintelligenz und Weltuntergang, sondern weil Natur von KI-Systemen und so)
Freebie-Link für euch
https://www.zeit.de/digital/datenschutz/2026-03/ki-agenten-studie-software-daten-sicherheit?freebie=b79c27e5
KI-Agenten: Das ist erst der Anfang des Chaos

Der Hype um OpenClaw befeuert einen Streit in der Szene. Wie gefährlich sind KI-Agenten? Eine neue Studie zeigt nun die verheerenden Ergebnisse eines Experiments.

DIE ZEIT

@evawolfangel danke, dass du hier und bei LinkedIn dem Hype etwas entgegensetzt!
In den Kommentaren unter dem Artikel sind auch schon wieder die ersten die meinen, dass da ja nur etwas falsch bedient oder eben nicht richtig abgesichtert wurde.

Ich glaube da wird großflächig ignoriert, von wem und wie LLMs und Agenten meistens eingesetzt werden. Fehlende Absicherung und zu viele Rechte sind doch eher die Regel als die Ausnahme.
Irgendwie verleiten die Tools einen ja auch dazu.

@zollak Danke! Ja, LinkedIn kann etwas anstrengend sein mit den vielen selbst ernannten KI-Beratern und Gründern. Gerne in den Kommentaren helfen. :)

@zollak @evawolfangel
Ich finde das "falsch bedient" Argument immer komischer.
Wenn man statt "KI" mit einem intelligenten Menschen zusammenarbeitet, kann man diesen nicht so falsch Prompten.

Gleiches gilt für die Aussage "wenn man sich jetzt nicht mit KI beschäftigt, wird man abgehängt"

@realn2s @zollak @evawolfangel wobei ich letzterem Satz tatsächlich zustimme... wenn auch nicht aus den Gründen die viele vorbringen. Zu wissen, welche KI-Zweige es gibt, wie diese funktionieren und was mit diesen möglich ist hilft durchaus zu verstehen ob eine bestimmte KI-Lösung Erfolg verspricht oder - wie bei angeblich universell einsetzbaren LLMs - gehypter Bockmist ist.

@Weirdaholic @zollak @evawolfangel

Ich stimme dem Teil "sich damit beschäftigen ist sinnvoll" voll zu (abgesehen von den ethischen Implikationen)

Ich stimme nur dem "wenn man es jetzt nicht tut, ist man (für immer) abgehängt" nicht zu.

Es gibt m.E. keinen dauerhaften First-Mover Vorteil.

Wenn man Firmen betrachtet: Google war nicht die erste Suchmaschine, Apple nicht der erste Computer oder das erste Smartphone (und der Android Markt ist inzwischen viel größer), Facebook war nicht das erste Soziale Netzwerk. Und Microsoft war quasi überall zu spät (GUI, Tabellenkalkulation, Datenbanken, Internet, Browser, Email, Cloud, ..) ist aber auf vielen der Gebiete jetzt vorherrschend.

Auf den Punkt gebracht, ja sich mit KI auszukennen ist gut. Aber man kann sich (speziell als Firma) auch Zeit lassen und dann anfangen, wenn sich der Nebel gelichtet hat.
Für Privatpersonen ist natürlich die KI Expertise ein absolutes "Verkaufsargument" auf dem Jobmarkt 😬

@realn2s

Zahlt das nicht auch voll auf die alte Selbstoptimierungs-Gelddruckmaschine der McKommunikationswissenschaft ein ("Richtig kommunizieren in drei Lektionen"), dass die Last des Verstandenwerdens komplett beim Sender liegt?

Und insofern, wie praktisch, sind wir ja weitgehend längst neoliberal eingenordet.

@zollak @evawolfangel

@realn2s
Die Tools sind eben zum einen schlauer als die schlausten Menschen (deswegen werden sie uns ja alle ersetzen) und trotzdem darf man diese Superintelligenz nicht beim Umgang selbst erwarten. 🤷

Ganz naiv gedacht müssten doch bei so viel Intelligenz schlechte Prompts auch einfach erkannt und behoben werden können...

Eine Kollegin hat LLMs mal als extrem motivierte und fleißige Schülerpraktikanten beschrieben. Das fand ich relativ passend.

@evawolfangel

@zollak KI hat keinerlei Intelligenz. Nicht mal die einer Ameise. @realn2s @evawolfangel

@NatureMC
Darauf wollte ich grob hinaus, ja. 🙂

Diese Erkenntnis müsste sich noch etwas weiter verbreiten. Viele scheinen ja gern Eloquenz mit Intelligenz zu verwechseln.
Oder machen mit, weil sie am Hype verdienen wollen.

@realn2s @evawolfangel

@zollak @evawolfangel
Ich glaube nur dass ein Schülerpraktikant einen Fehler nur einmal macht (also eine bestimmte Art von Fehlern)

Bei der KI geh ich davon aus, sie macht ihn immer wieder. Man muss sie vielleicht nur anders Promten.

@realn2s @zollak @evawolfangel

Ich würde schon sagen, dass man auch Menschen "falsch prompten" kann. Schonmal eine Übungs-/Klausuraufgabe gestellt und hinterher gedacht "Mist, so wie die das gelöst haben hab ich das doch gar nicht gemeint!"?

Aber ich würde auch sagen, dass das bei KI ne andere Größenordnung ist. Bei Menschen muss nicht nur ich mein eigenes Verhalten mit 17 Kursen/Fortbildungen in "Prompting" (bzw. Personalführung) massiv umkrempeln. Da können sich *beide* Seiten entwickeln.

@zollak @evawolfangel ich gehe davon aus, das die wenigsten Unternehmen, die gerade auf den "AI or die" Zug aufspringen, die Absicherung ihrer Agenten wirklich auf dem Radar haben. Da werden dann auch gerne mal bestehende Autorisierungssysteme für menschliche Akteure, oft rollen-basiert, druntergebaut, die einfach nicht für non-human gemacht sind. Aber selbst eine ideale Autorisierung kann das Risiko nur verringern.
@evawolfangel Meine Lieblingspublizierende 🤗 Danke.
Trotzdem erschreckend der Inhalt. Und gerade Bericht über "smarte" Waschmaschinen gesehen 🤮
@evawolfangel Hoffentlich hat das @kattascha nicht gelesen 😇 Ok, 2 Lieblingspublizierende...
@slesa Die wunderbare @evawolfangel ist auch eine meiner Lieblingspublizierenden 😍

@kattascha Und das gilt ebenso andersherum. <3 Same here.

@slesa

KI-Agenten: Das ist erst der Anfang des Chaos

Der Hype um OpenClaw befeuert einen Streit in der Szene. Wie gefährlich sind KI-Agenten? Eine neue Studie zeigt nun die verheerenden Ergebnisse eines Experiments.

DIE ZEIT
@evawolfangel Ich bekam auf LinkedIn auch dutzendfach Beiträge selbsternannter Experten, die laut beklagten wie es denn sein kann, dass eine Zukunftstechnologie wie Openclaw in Europa entwickelt wird, die Europäer aber mal wieder nur die Risiken sehen. Allerdings hab ich mir abgewöhnt auf solche Bullshitposts zu antworten, da jede Interaktion ja nur deren Reichweite erhöht. Daher Danke für diesen informativen Artikel der zeigt, warum Bedenken First hier durchaus angebracht ist.
@kaidu oh ja, das bekomme ich auch ständig zu hören. So absurd, wenn man das Ergebnis sieht 😅

@evawolfangel

es ist erstaunlich das Leute für Interaktion mit der Außenwelt überhaupt autonome Agenten nutzen.

Beim programmieren, also mit fester Aufgabe, festen Regeln und ein festes Ende, geht es ja noch vom Risiko, aber einfach der KI ein Blankoscheck ausstellung und einfach ihn ihr Vertrauen, das geht wie man merkt sowas von schief.

@evawolfangel

man muss echt sagen, das gerade OpenClaw echt das gefährliche ist, was Menschen mit KI bislang gemacht haben. KI Systeme wie Claude Code und (Openai) Codex sind schon sicherer, gerade mit AGENTS md und Potenzialer SKILLS md.

Aber die grundlegenden KI Eigenheiten sind ja da und werden wohl immer da bleiben. Zumindest solange man die aktuelle LLM Architektur beibehält.

@evawolfangel Die Beschwichtigungen, das alles sei nur ein Rechte- und Konfigurationsproblem, halte ich auch für zu kurz gedacht.

LLMs verarbeiten Text. Sie unterscheiden nicht zwischen "authorisiertem" Text und externen Nutzereingaben. Selbst wenn man irgendwelche künstlichen Sonderzeichen einfügen würde, um zwischen beidem zu unterscheiden, so könnte man erst im Finetuning solche Nuancen einfügen. Das Modell kann aber jederzeit in sein Pretraining-Verhalten zurückfallen.

@kaidu @evawolfangel
Zumindest bedarf es dafür einer sehr, sehr guten Datenklassifizierung als Grundlage. Und die Firma, die das wirklich sauber und konsequent umsetzt muss mir noch begegnen…

@evawolfangel

Dass GIF ist keine Antwort auf Deinen Artikel/Deine Arbeit, sondern auf das Ergebnis.

@evawolfangel vielen Dank für den Artikel und den Link. Bin immer froh, wenn du was schreibst und wenn ich das kostenlos lesen darf.
Und ich hoffe, viele lesen den, die KI blind vertrauen oder alles glauben, wie Lemminge, was openAI oder andere sagen.
Aber ganz ehrlich, wer sich mit dem Thema KI und Agenten in den letzten Monaten beschäftigt hat, für den ist das keine Überraschung.
Das ganze Thema Identity & Access Management ist in keinster Weise vorhanden.
Im ersten Schritt müsste man eigentlich jedem Agenten einen eigenen User, zusammen mit einem eigenen Autorisierungsprofil zuweisen.
Das macht aber keiner, weil unbequem.
Wobei perplexity da möglicherweise einen ersten Ansatz hat.
Aber so ist das, wenn man Unwissenden und Uninteressierten eine Atombombe in die Hand gibt.

@evawolfangel Wichtiges Thema. Ich halte diese vollautonomen LLM-basierten Agentensysteme auch sehr kritisch, aber bei dem arxiv Paper fehlt es mir schon son Bisschen an Vorsicht (es hat auch bisher kein Peer Review stattgefunden, das ist immernoch v1). Was sehr schön ist; Es gibt eine Interaktive Version vom Paper: https://agentsofchaos.baulab.info/report.html

... und es sind "Independent Researcher" ohne Affiliation dabei :)

Agents of Chaos

@lumiukko Mein Verdacht war am Anfang, dass das Ganze Bluff und die Autoren KI-Agenten sind. Schon die E-Mail-Adresse! :) Aber dann hab ich das interaktive Paper gelesen und fand die Beispiele wahnsinnig gut. Dann habe ich also versucht rauszukriegen, ob alle Beteiligten echt sind. Ich glaube schon. und fairerweise muss man sagen, dass sie das selbst sehr transparent machen, dass es keine Studie im eigentlichen Sinne ist.
@evawolfangel Stimmt, dass die Autor:innen fake sein könnten, hatte ich gar nicht überlegt. Tatsächlich fiel mir aber auf, dass die Affiliations relativ grob sind, also keine Departments oder Fakultäten, nur die Unis.
@evawolfangel Wie gut, dass das Militär autonome Waffensysteme für immer und für alle verbannt hat.
@evawolfangel Vielen Dank! Das ist wirklich sehr erhellend (und ein wenig erheiternd irgendwie auch)
@fraunora Ja ich fand’s auch recht unterhaltsam. Die Fallbeispiele haben durchaus Popcorn-Qualität :)
@evawolfangel danke für den Beitrag!
Ich hoffe sehr, dass Microslop das mit ihrem agentic OS durchzieht. Wäre der schnellste Weg das großflächig loszuwerden 

@Marshmallow @evawolfangel

Es passiert gerade eher das Gegenteil: Microsoft merkt, dass Copilot ziemlich problematisch ist und zieht daher still zuvor angekündigte "KI"-Features für das Betriebssystem zurück.

https://winfuture.de/news,157499.html

https://www.heise.de/news/Microsoft-rudert-angeblich-bei-KI-Plaenen-zurueck-11213718.html

Cortana lässt grüßen: Microsoft streicht immer mehr Copilot-Features

Der Copilot sollte das Herzstück von Windows 11 werden. Massive Nutzerbeschwerden zwingen Microsoft nun zu einer rigorosen Notbremse. Welche groß angekündigten Funktionen deshalb plötzlich komplett aus dem Betriebssystem verschwinden.

WinFuture.de
@evawolfangel LLMs sind halt auch nur bessere Bustabengeneratoren. Das hat einfach null Zuverlässigkeit und ich bete jeden Tag, dass die Blase endlich platzt und der Müll weitgehend vom Markt verschwindet, wie die weitgehend nutzlose Blockchain.

@JaneraTiciano @evawolfangel Blockchain ist nicht per se nutzlos, es gibt sinnvolle Anwendungsfälle dafür. Diese sind jedoch sehr speziell (z. B. fälschungssichere Beurkundungen).

Den Hype damals habe ich allerdings auch nicht verstanden.

@redsteve @evawolfangel es gibt für viele Dinge eine sinnvolle Anwendung. Auch für LLMs. Aber das, was im Marketing der TechBros erzählt wurde und wird, gehört nicht dazu. Und gerade weil 'Die Blockchain' vor ein paar Jahren erst ALLE Probleme lösen können sollte, ziehe ich den Vergleich gerne heran. Energieverbrauch war da auch egal. Fragestellung des Problems sowieso.
Ich weiß schon sehr genau, was ich schreibe, ich brauche keine Erklärung der Welt, ich bin schon groß.

@evawolfangel

.. biss das die ultimative nukleare Option uns scheide ..

@evawolfangel Hast Du die Bahn schon gefragt, ob sie KI-Agenten einsetzt?

Das würde einiges erklären ;)

@evawolfangel Vielen Dank! Sehr lesens- und bedenkenswert!
@evawolfangel Die Wissenschaft hat da gar nix. Da haben Wissenschaftler GESPIELT - das ist auch der Urgrund der KI und die Basis von Alan Turings später Rache. Sie haben dieses ausdrücklich nicht! unter Laborbedingungen getan. Dann haben sie dazu eine "Studie" herausgegeben. Sowas mag man Einzelerfahrungsbericht nennen, aber Wissenschaft? Und da dort eher der Gefühlsbegriff "Chaos" und nicht der wissenschaftliche Chaosbegriff verwendet wurde, haben die den Ernst der Lage wohl nicht verstanden.
@a_goodall_spaceship Ah mist, Ironie, entschuldige, das kam wohl nicht an. Genau darauf wollte ich mit dem Satz „Die Wissenschaft hat festgestellt“ ironisch anspielen. Hast du den Text gelesen? Ich habe die Natur des Experiments bewusst so transparent wie möglich gemacht, um eben nicht den Eindruck zu erwecken, dass es sich um eine Studie etc. handelt. Ich finde die Ergebnisse trotzdem valide im Sinne von: sie decken wichtige Probleme auf und machen sie greifbar/verstehbar.

@evawolfangel

Danke für den Artikel! Hoffentlich lesen ihn (und ähnliche) viele, viele Menschen und reagieren entsprechend, bevor das Chaos richtig gefährliche Schäden anrichtet. Bis dahin ist es, glaube ich, gar nicht mehr so weit.

Diesen und künftigen Systemen darf nie völlige Autonomie gegeben werden, sonst *wird* das schiefgehen.

Schön auch gleich der Einstieg: »von einer künstlichen, nun ja, Intelligenz« 😎

@evawolfangel Andererseits könnte man den Artikel auch so lesen, dass AgenticAI deutlich mehr lernen muss als nur ein bestimmtes Ziel zu erfüllen. Sie müssen richtig "sozialisiert" (Normen und Werte!) werden. Also von Profis programmiert und getestet werden. Wie toll der AI-Hype wohl dann noch ist?
@evawolfangel Hat aus Sicht eines IT-lers ja alles richtig gemacht. Wenn es gar nicht mehr weiter geht, setzen wir die Kiste halt neu auf.

@holothuroid

liest sich ein bisschen wie BOFH...
- Ich habe keinen Speicher mehr frei...
- Hey kein Problem, sie haben jetzt wieder 50MB freien Speicher...
- Oh cool, ich hab jetzt insgesamt 100MB Speicher?
- Nein. 50.

:)

@evawolfangel

@holothuroid Haha, ich stelle mir gerade vor, wie ich eine IT-Abteilung anrufe und frage: wie kann ich eine E-Mail löschen? Und die so: alles anzünden ist wohl am einfachsten.
@holothuroid @evawolfangel Kommandozeile. Format C: plus Enter ist noch einfacher.
@gunchleoc @holothuroid @evawolfangel Stimmt bei Linux, ich bezog mich auf Miniweich...

@Schimmelreiter Wo war auf Android nochmal der Factory Reset? 😁

@holothuroid @evawolfangel

@evawolfangel

Ja, aber das Management hat soo viele 💲💲💲 Zeichen in den Augen 👀

Überlegt mal, endlich keine nervigen und teuren Informatiker mehr! IT macht jetzt der Praktikant ! 🤔💩

@evawolfangel Identität und Zugriff sind gelöste Informatik Probleme
@evawolfangel
😂🤣Ich komme nach dem ersten Absatz schon nicht mehr aus dem Lachen raus🤣😂🤣😂🤣
@evawolfangel
wie oft hast du "uuups" und "omg" benutzt während des Projekts? 😂🤣
@frubizym Hahahaha ja, das war eine durchaus unterhaltsame Recherche 😜