Черепаха-винтовка: как обмануть ИИ

Ваша нейросеть с точностью 99% распознаёт панду от гиббона. Но стоит добавить несколько невидимых пикселей — и она уверенно называет панду гиббоном. Tesla Autopilot не видит знак "Стоп" из-за пары стикеров. Чат-бот Microsoft превратился в расиста за 16 часов. ChatGPT выполняет запросы, которые должен отклонять. Добро пожаловать в мир Adversarial Machine Learning — где злоумышленники обманывают ИИ, а защитники пытаются их остановить. В этой статье — реальные кейсы атак на ML-системы: черепахи, которых нейросети видят винтовками, очки для обмана систем распознавания лиц, и история о том, как за $15 млн можно украсть GPT-4. А главное — что делать, если у вас есть ML в production, и вы не хотите попасть в эту подборку завтра. Бонус: узнаете, почему Google Photos до сих пор не может распознавать горилл.

https://habr.com/ru/articles/987076/

#adversarial_machine_learning #нейросети #безопасность_ML #adversarial_attacks #защита_моделей #adversarial_training

NIST Fortifies Chatbots and Self-Driving Cars Against Digital Threats - https://www.redpacketsecurity.com/nist-fortifies-chatbots-and-self-driving-cars-against-digital-threats/

#threatintel #Cybersecurity #Adversarial_Machine_Learning #AI_Attacks