Google dokumentiert zunehmenden Missbrauch von KI-Systemen durch Cyberkriminelle
Entdecken Sie die Risiken von KI in Cyberangriffen. Google beleuchtet die Nutzung von Gemini AI durch Hackergruppen weltweit.
Wenn KI-Systeme zu vertrauenswürdig erscheinen: Das unterschätzte Risiko der Normalisierung
LLMs sind von Natur aus unzuverlässige Komponenten. Ihre Ausgaben sind weder deterministisch noch konsistent vorhersagbar. Dennoch zeigt sich in der Praxis, dass Sicherheitsmechanismen – wie Zugriffsbeschränkungen oder Eingabebereinigung – häufig erst nach der Modellausgabe greifen oder ganz fehlen.
Wie die KI-Branche systematisch Sicherheitsrisiken normalisiert und warum unkontrollierte LLM-Ausgaben in Agentensystemen zum Problem werden können.
OWASP veröffentlicht Security-Framework für autonome KI-Systeme
Damit reagiert die Organisation auf die veränderte Bedrohungslage durch KI-Agenten, die zunehmend in Produktivumgebungen zum Einsatz kommen.
https://www.all-about-security.de/owasp-veroeffentlicht-security-framework-fuer-autonome-ki-systeme/
Das OWASP GenAI Security Project präsentiert eine Top-10-Liste für KI-Anwendungen. Entdecken Sie die neue Sicherheitsstrategie für autonome Systeme.
KI-Prompt-Injection: Warum diese Bedrohung nie vollständig eliminierbar ist
Die Cybersicherheitsbehörde des Vereinigten Königreichs kommt zu einem ernüchternden Schluss: Angriffe mittels Prompt-Injection auf KI-Systeme können nach derzeitigem Kenntnisstand niemals komplett verhindert werden.
#ki #Prompt-Injection #KISysteme #cybersecurity
Britische Cybersicherheitsbehörde NCSC warnt: Prompt-Injection-Angriffe auf KI-Systeme lassen sich nicht verhindern wie SQL-Injection. Risikominimierung statt vollständiger Schutz ist das Ziel.
Es gibt so viel zu lernen, was KI angeht. Der Podcast #AutonomieUndAlgorithmen leistet dazu einen wichtigen Beitrag #Zukunft.
In dieser Folge:
Alltägliche Selbstverständlichkeiten wie Frischwasser, Strom, Internet, ÖPNV, Finanzen etc. bereitzustellen, erfordert riesige Datenmengen. #KISysteme können die sogenannte kritische #Infrastruktur robuster machen.
KI-Systeme, die selbst entscheiden, z.B. in Bezug auf dynamische Strompreise, bergen auch ethische Risiken.
Die Regelung unser alltäglichen Notwendigkeiten – Frischwasser, Strom, Internet, ÖPNV, Nahrungsmittelversorgung, Finanzen und vieles mehr – erfordert heutzutage riesige Datenmengen. Systeme der künstlichen Intelligenz können hier extrem nützlich sein, um die vielen Informationen zu verarbeiten und dadurch die sogenannte "kritische Infrastruktur" robuster zu machen. KI-Systeme, die darüber hinaus selbst Entscheidungen treffen, beispielsweise in Bezug auf dynamische Strompreise, bergen aber auch ethische Risiken. Beide Aspekte werden heute bei uns beleuchtet!+++Valerie Vaquet ist Doktorandin im Projekt KI-Akademie der Uni Bielefeld und beschäftigt sich mit KI-Modellen von Wassernetzen. Außerdem erzählt sie gern von ihrer Forschung, zum Beispiel bei Science Slams.Florian Braun ist Philosoph, wissenschaftlicher Assistent und Dozent an der Christian-Albrechts-Universität zu Kiel und beschäftigt sich u.a. mit Künstlicher Intelligenz aus technik- und wissenschaftsphilosophischer Perspektive.+++LinklisteVaquet et al. (2024). Challenges, Methods, Data – a Survey of Machine Learning in Water Distribution Networks. arXiv.Vaquet et al. (2024). Investigating the Suitability of Concept Drift Detection for Detecting Leakages in Water Distribution Networks. arXiv.Statistik zu Trinkwasserverlusten in DeutschlandZanutto (2024). Lessons learned from the Battle of Water Demand Forecasting (Blogbeitrag).Braun (2023). Klimaverantwortung und Energiekonflikte. Nomos.Braun (2021). Soweit die Gründe tragen. Zum Spannungsverhältnis zwischen verallgemeinerter Klimawandelargumentation und kontextbezogenen Einwänden (Blogbeitrag).Pressemitteilung des Deutschen Wetterdienstes über KI-gestützte Datenaufbereitung für Wettermodelle (2024)Gerechtigkeitstheorien (Wikipedia)Dynamic Pricing (Wikipedia)+++Habt ihr Fragen, Ideen, Impulse oder Feedback? Bringt euch ein, wir freuen uns!Unsere E-Mail-Adresse: [email protected] Bluesky-Profil: https://bsky.app/profile/auto-algo.bsky.socialUnser Kontaktformular: https://autonomie-algorithmen.letscast.fm/feedback+++"Autonomie und Algorithmen: Freiheit im Zeitalter von KI" ist eine Gemeinschaftsproduktion.Konzeption und Produktion: Christiane Attig und Benjamin Paaßen.Redaktionelle Unterstützung: Johanna Dobroschke.Postproduktion: Ingrid Rogalski und Christiane Attig.Musik: Almut Schwacke.Grafikdesign: Sven Sedivy.Dieser Podcast wird gefördert vom Bundesministerium für Bildung und Forschung im Rahmen des Projekts KI-Akademie OWL.
Ich bin fest davon überzeugt, dass der Gesetzgeber halluzinierende #KISysteme verbieten muss.
#KI #AI #halucination #halluzinationen
https://www.axios.com/2025/06/09/ai-llm-hallucination-reason
Schöne neue Welt - #KISysteme entwickeln in der Interaktion mit anderen KIs soziale Gemeinschaften mit allen guten und weniger guten Dingen, ähnlich wie Menschen dies tun. Bin gespannt, wann jemand auf die Idee kommt, einen Terminator durch die Zeit zu schicken.
#scinexx #science
https://www.scinexx.de/news/technik/kuenstliche-intelligenz-schafft-sich-eigene-normen/
#KISysteme bauen selbständig #darkpatterns ein und manipulieren Menschen, ohne darauf hinzuweisen, dass dies auch gegen geltendes Recht verstoßen kann.
#insidedigital
https://www.inside-digital.de/news/bittere-ki-manipuliert-nutzer-bewusst
AllAboutSecurity
Donau2Space.de
Otto-von-Guericke-Universität Magdeburg
Susanne Mullis-Pum
Markus Feilner
Mondenfee
