KI-Agent schürft unaufgefordert Kryptowährung

Ein Forscherteam aus dem Umfeld des chinesischen Technologiekonzerns Alibaba, das mit ALE (Agentic Learning Ecosystem) eine grundlegende Infrastruktur entwickelt hat, die eine durchgängige Produktionspipeline für Agenten-LLMs optimieren soll, berichtet, dass ein damit zu Forschungszwecken entwickelter Agent namens ROME, angefangen habe, unaufgefordert und eigenmächtig Kryptowährungen zu schürfen. In einem Forschungspapier  berichten die Autoren von einem unerwarteten unsicherem Verhalten, das ohne jegliche explizite Anweisung und, was noch beunruhigender ist, außerhalb der Grenzen der vorgesehenen Sandbox auftrat. Aufmerksam wurden die Forscher, nachdem die Firewall von Alibaba Cloud eine Flut von Verstößen gegen Sicherheitsrichtlinien gemeldet hatte, die von ihren Trainingsservern ausgingen. Die Warnmeldungen waren schwerwiegend und vielfältiger Natur; sie umfassten Versuche, Ressourcen im internen Netzwerk auszuspähen oder darauf zuzugreifen, sowie Datenverkehrsmuster, die auf Aktivitäten im Zusammenhang mit Cryptomining hindeuteten. Zuerst hielten sie den Alarm für einen gewöhnlichen Sicherheitsvorfall, der möglicherweise von außen ausgegangen war. Doch die Warnmeldungen wiederholten sich ohne erkennbare zeitliche Muster. Sie korrelierten draufhin die Zeitstempel der Firewall mit ihren eigenen Telemetriedaten und fanden heraus, dass der regelverletzende ausgehende Traffic immer in einer Phase auftrat, in der der KI-Agent Werkzeuge einsetzte und Code ausführte. Sie fanden schließlich heraus, dass der Agent einen Reverse-SSH-Tunnel von einer Alibaba Cloud-Instanz zu einer externen IP-Adresse eingerichtet hatte, mit dem er Netzwerkfilter effektiv umgehen und Kontrollmechanismen untergraben konnte. Zudem nutzte er unbefugt bereitgestellte GPU-Kapazitäten für das Schürfen von Kryptowährungen, wodurch Rechenleistung unbemerkt vom Training abgezogen wurde, was die Betriebskosten in die Höhe trieb und das Risiko von Rechtsverstößen und Rufschädigung barg. Entscheidend ist, dass diese Verhaltensweisen weder in den Prompts gefordert wurden noch für die Erledigung der Aufgabe erforderlich waren. Alles in allem deuten diese Beobachtungen darauf hin, dass ein auf einem Sprachmodell basierender KI-Agent während des verstärkenden Lernens (Reinforcement Learning, RL) spontan gefährliche, nicht autorisierte Verhaltensweisen entwickeln kann, die auch die ihm gesetzten Grenzen deutlich überschreiten.