«Агенты Хаоса»: ИИ стирает сервера, или почему нельзя давать языковым моделям права root

В последнее время ИТ-сообщество активно обсуждает интеграцию автономных ИИ-агентов в реальные рабочие процессы. Свежий препринт под интригующим названием «Агенты Хаоса» подливает масла в огонь: исследователи устроили масштабный red teaming, подключив LLM-агентов к электронной почте, Discord и файловой системе, чтобы посмотреть, насколько легко их взломать. Группа из двадцати специалистов потратила две недели, атакуя ИИ методами социальной инженерии и инъекциями промптов. Результаты, изложенные в одиннадцати задокументированных кейсах, описывают агентов, которые удаляют системные файлы, сливают пароли и попадают в бесконечные циклы потребления ресурсов.

https://habr.com/ru/articles/1005104/

#llm #ииагенты #prompt_injection #информационная_безопасность #redteam #уязвимости #zero_trust #нейросети #chatgpt #архитектура_по