The #Promptware Kill Chain

https://www.schneier.com/blog/archives/2026/02/the-promptware-kill-chain.html

#AI #LLM #PromptInjection #cybersecurity

RE: https://mastodon.social/@lawfare/116064221256724223

“Prompt injection isn’t something we can fix in current LLM technology. Instead, we need an in-depth defensive strategy that assumes initial access will occur and focuses on breaking the chain at subsequent steps, including by limiting privilege escalation, constraining reconnaissance, preventing persistence, disrupting C2, and restricting the actions an agent is permitted to take.” #LLM #cybersecurity #promptware

Hakerzy mogą przejąć Twoje życie przez kalendarz. Nowy atak „promptware” wykorzystuje AI przeciwko Tobie

Eksperci z firmy SafeBreach odkryli nową klasę ataku, nazwaną „promptware”, która wykorzystuje logikę sztucznej inteligencji przeciwko użytkownikowi.

W przeprowadzonym badaniu pokazali, jak za pomocą specjalnie spreparowanego zaproszenia w Kalendarzu Google, można zmusić AI Gemini do przejęcia kontroli nad inteligentnym domem ofiary, a nawet do kradzieży jej prywatnych maili.

Google Gemini z nowymi funkcjami prywatności. Na personalizację w Polsce jeszcze poczekamy

Czym jest „promptware” i jak działa?

„Promptware” to, według definicji badaczy z SafeBreach, specjalnie zaprojektowany prompt (czyli polecenie tekstowe, graficzne lub dźwiękowe), którego celem jest wykorzystanie interfejsu modelu językowego (LLM) do wywołania złośliwej aktywności. W przeciwieństwie do tradycyjnych wirusów, nie atakuje on systemu operacyjnego, ale samego asystenta AI.

W scenariuszu ataku na Google Gemini, badacze wykorzystali jego głęboką integrację z całym ekosystemem Google. Haker wysyła ofierze spreparowane zaproszenie w Kalendarzu Google, w którego opisie ukryty jest złośliwy prompt. Następnie, gdy użytkownik prowadzi normalną rozmowę z Gemini, jego proste, niewinne polecenie (np. podziękowanie) może pośrednio aktywować ukrytą w historii czatu złośliwą instrukcję.

Scenariusz jak z „Black Mirror”

Skutki takiego ataku są alarmujące. Badaczom z SafeBreach udało się w ten sposób zmusić Gemini do wykonania szeregu niebezpiecznych działań, w tym:

• Wysyłania spamu i wiadomości phishingowych w imieniu ofiary.
• Generowania toksycznych i szkodliwych treści.
• Usuwania wydarzeń z kalendarza ofiary.
• Zdalnego sterowania urządzeniami w inteligentnym domu (np. oświetleniem, ogrzewaniem, oknami).
• Geolokalizacji ofiary.
• Kradzieży i przeszukiwania prywatnych maili.

Nowe zagrożenie w erze AI

Firma SafeBreach ostrzega, że społeczność zajmująca się cyberbezpieczeństwem do tej pory nie doceniała ryzyka związanego z atakami typu „promptware”. Według ich analizy, aż 73% zagrożeń, jakie stwarzają asystenci AI, ma charakter wysokiego lub krytycznego ryzyka.

Pęd gigantów technologicznych do jak najszybszego wdrażania i integrowania AI we wszystkich swoich produktach tworzy zupełnie nowe, nieprzewidziane wcześniej wektory ataków.

Badacze poinformowali Google o odkrytej luce w lutym. W czerwcu firma opublikowała wpis na blogu, w którym opisała swoje wielowarstwowe podejście do zabezpieczania Gemini przed technikami „wstrzykiwania promptów”. Incydent ten jest jednak ważnym ostrzeżeniem, że wkraczamy w nową erę cyberzagrożeń, w której hakerzy będą atakować nie tylko nasze komputery, ale także logikę naszych cyfrowych asystentów.

Haker mógł zdalnie otworzyć każdy samochód znanej marki. Krytyczna luka w portalu dla dealerów

#AI #cyberbezpieczeństwo #GoogleGemini #hakerzy #KalendarzGoogle #news #Promptware #SafeBreach #sztucznaInteligencja #zagrożenie

A new attack called #Promptware uses a Google Calendar invite to hijack a user's Gemini AI, allowing access to personal data and even smart home controls.

Read: https://hackread.com/promptware-attack-hijack-gemini-ai-google-calendar-invite/

#AIsecurity #Cybersecurity #Goolge #GeminiAI

BREAKING by me at Forbes - a new level of threat to GenAI-powered apps revealed. Welcome to PromptWare and Advanced PromptWare. #kudos Ben Nassi, PhD and colleagues for the research and help with this.

#infosec #AI #PromptWare

https://www.forbes.com/sites/daveywinder/2024/08/05/hackers-warn-of-dangerous-new-0-click-promptware-threat-to-genai-apps/