Dr. Felix Sühlmann-Faul

Brandgefährlich: KI-Agenten in unseren Betriebssystemen

Wir stehen kurz davor, direkt von unseren Betriebssystemen vollkommen überwacht zu werden - dauerhaft, tief integriert, kaum abschaltbar.

KI‑Agenten auf PC und Smartphone sehen alles, bevor Nachrichten verschlüsselt werden und nachdem sie entschlüsselt sind - damit wird Ende‑zu‑Ende‑Verschlüsselung faktisch ausgehebelt.

🔴 Was gerade passiert

- Große Anbieter bauen ihre Betriebssysteme so um, dass „agentische KI“ ständig Tastatureingaben, Bildschirminhalte, Apps, Kontext und Verhalten mitprotokolliert, um „proaktiv helfen“ zu können.

-Aus einem praktischen Assistenten wird so ein forensischer Dauer-Logger auf dem Endgerät - also genau dort, wo unsere bisherige Sicherheitsarchitektur bisher einen Schutzwall eingezogen hat
(weiter)

Jan 19 at 8:10pmWeb
Show threadDr. Felix Sühlmann-FaulJan 19

🔴 Warum das brandgefährlich ist

- Wenn das OS Screenshots, Inhalte und Metadaten abgreift, sind sichere Messenger, VPNs und E2E‑Verschlüsselung nur noch Fassade: Der Klartext liegt bereits im KI‑Agenten.

- Gerät oder Agent kompromittiert? Dann wird der KI‑Layer zum Generalschlüssel für Chats, Mails, Dokumente, berufliche Geheimnisse - und zum perfekten Ziel für Staaten, Strafverfolger und Wirtschaftsspionage.

🔴 Was wir jetzt brauchen

- Unternehmen, Behörden und Bildungseinrichtungen dürfen diese Agenten nicht unkritisch ausrollen, nur weil sie „Produktivität“ versprechen.

(weiter)

Show threadDr. Felix Sühlmann-FaulJan 19

- Es braucht technische Schranken (strict local only, echte Off‑Schalter, Trennung von KI‑Layer und sensiblen Apps) und eine Regulierung, die OS‑weite KI‑Überwachung wie staatliche Massenüberwachung behandelt – nicht wie ein nettes Feature.

- Und wie immer braucht es die Zivilgesellschaft:
öffentlicher Druck auf Politik und Aufsichtsbehörden, damit tief integrierte KI-Agenten rechtlich wie invasive Überwachungstechnologie behandelt und streng begrenzt werden.

- Wir brauchen Aufklärung, um eine breite Verweigerung gegenüber OS‑weiter KI-Überwachung zu organisieren ✊✊✊

Show threadDr. Felix Sühlmann-FaulJan 19

https://www.computerweekly.com/de/feature/Agentische-KI-und-die-damit-verbundenen-Risiken

https://www.derstandard.at/story/3000000304299/ki-agent-oder-ki-spion-der-gefaehrliche-weg-in-die-totalueberwachung-auf-pc-und-smartphone

Agentische KI und die damit verbundenen Risiken | Computer Weekly

Die Fähigkeit der agentischen KI, autonom zu handeln, wird Arbeitsabläufe verändern und Sicherheitsrisiken mit sich bringen. IT-Teams müssen sich vorbereiten.

ComputerWeekly.de
Show threadWeltraumeindringlingJan 19
Zum Glück gibt's noch Linux 😀
Show threadMartine (she/they)Jan 20
@suehlmann_faul sehr zu empfehlen zu dem Thema, ist auch der Talk der Entwickelnden des Messangers #Signal auf dem #39c3: https://media.ccc.de/v/39c3-ai-agent-ai-spy
AI Agent, AI Spy

media.ccc.de
Show threadAndreas BullingJan 20
@suehlmann_faul Die Lösung ist so einfach, dass es fast peinlich ist, das zu schreiben: #linux #bsd done.
Show threadDr. Felix Sühlmann-FaulJan 20
@abulling natürlich. Aber was ist mit den anderen Menschen, die vielleicht noch nicht einmal von Linux geschweige denn @GrapheneOS gehört haben?
Show threadKarma Sahne - R.I.P @natenomJan 21
@abulling @suehlmann_faul Die Gefahr droht nicht nur auf Betriebssystem-Ebene. Auch weit verbreitete Applikationen gehen langsam diesen Weg. Beispiel: Visual Studio Code mit der Copilot-Integration, die die Eingaben im Editor "überwacht".
Show threadBernd HerdJan 21

@neuimneuland @abulling @suehlmann_faul Es gibt eine Version von Visual Studio für Linux. EIn Freund hatte das mal auf seinem privaten Notebook ausprobiert.

Ich habe ihm dann gezeigt, dass sich Microslop in die APT Paketverwaltung eingeklinkt hat und damit root-Rechte auf seinem Rechner übernommen hat.

Ich hab da absolut rot gesehen...

https://www.herdsoft.com/blog/teams.html

Warum ich Teams ablehne

Show threadKarma Sahne - R.I.P @natenomJan 21
@herdsoft @abulling @suehlmann_faul Ich müsste mal schauen, was das Paket von Microsoft macht. Also ob es tatsächlich eine zusätzliche Paketquelle für Microsoft-Zeug einträgt.
Show threadBernd HerdJan 21

@neuimneuland @abulling @suehlmann_faul Wie in meinem verlinkten blog post für Teams beschrieben enthielt das teams*.deb ein postinst skript, das genau das tut uns sogar noch das automatische Echo nach /dev/null umleitet.

Kein Hinweis, keine Rückfrage. Einfach Microsoft das Recht gegeben, bei jedem update update belliebige Software mit root-rechten zu installieren.

Show threadKarma Sahne - R.I.P @natenomJan 21

@herdsoft @abulling @suehlmann_faul

Sowas ist bei Visual Stude Code weiterihin im postinst-Script.

Es scheint zudem einen Check zu geben, ob der Benutzer das möchte:

# Determine whether to write the Microsoft repository source list
WRITE_SOURCE='no'
if [ "$RET" = 'false' ]; then
# The user specified in debconf not to add the Microsoft repository
WRITE_SOURCE='no'

Ich weiß aber nicht, ob tatsächlich eine interaktive Abfrage kommt.

Show threadAndreas BullingJan 21
@herdsoft @neuimneuland @suehlmann_faul Ich nutze gar nichts von Microschrott - und das bestätigt mich wieder mal in dieser Entscheidung.
Show threadGlorrionJan 21
@abulling @suehlmann_faul Es ist grundsätzlich möglich, aber die *Umsetzung* ist nicht unbedingt einfach.
Show threadOpa Gollum Catuvolcus DN9MSJan 21
@suehlmann_faul Ich nicht.
Show threadJamesBontJan 21

@suehlmann_faul

Es gibt eine Lösung: LINUX/OpenSource