Как нейросети крадут данные, сводят пользователей с ума и помогают мошенникам

Глупо отрицать, что нейросети ускорили работу профессионалов. Дизайнеры рисуют картинки за 5-10 минут вместо 2-х часов, редакторы за день собирают воронку постов, а благодаря вайбкодингу непрофессиональные разработчики кое-как, но могут собрать прототип будущего продукта. Только, как это часто бывает, в погоне за хайповыми инструментами люди забывают о безопасности. И сегодня я хочу рассказать о рисках, которые нас ждут, если мы будем использовать нейросети без должной осторожности.

https://habr.com/ru/articles/960994/

#фишинг #промптинъекции #галлюцинации #утечка_данных #отравление_данных #нейросети

Яндекс.Полуразврат или при чём тут Crypt?

Яндекс выпустил новую модель для Шедеврума, которая попыталась прикрыть уязвимости, которые эксплуатировались для создания «небезопасного контента» категории 18+. Тем не менее, не всё так радужно и с «детским» режимом они очень торопятся. Некоторые уязвимости в промпте остались, а некоторые добавились. Но самое интересное – попытка спастись от «небезопасного контента» путём целенаправленной порчи датасета. Обо всём этом подробно в тексте.

https://habr.com/ru/articles/926670/

#нейросети #безопасность #prompt_injection #промптинъекции #искусственный_интеллект #ai #promptengineering #промптинжиниринг #jailbreak #взлом

AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 2

Во второй части обзора продолжим изучать отчёты комитета защиты ИИ Европейского института телекоммуникационных стандартов (ETSI), тем более последние охватывают не только классический ML, но и генеративные модели. Отбросив лишнее, попытаемся найти полезные рекомендации для безопасности систем на базе генеративного искусственного интеллекта: от RAG до мультиагентов.

https://habr.com/ru/companies/raft/articles/919026/

#безопасность_ии #стандарты_безопасности #промптинъекции #owasp #информационная_безопасность

AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 1

Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости в оркестрации сложных систем — спектр угроз для ИИ увеличивается. Пока США и Китай соревнуются в эффективности и качестве генеративных моделей, европейцы принимают стандарты безопасности ИИ. В Европейском институте телекоммуникационных стандартов (ETSI) пару лет назад создали комитет защиты ИИ (SAI) для разработки комплексного набора стандартов безопасности ИИ. Рабочая группа комитета плодовита на отчеты, на текущий момент артефактов аж 10 штук. Разбираемся в первой части со стартовыми отчетами по безопаности ИИ от ETSI SAI.

https://habr.com/ru/companies/raft/articles/919016/

#Безопасность_ИИ #стандарты_безопасности #промптинъекции #owasp #машинное_обучение

GigaHeisenberg или преступный ИИ

tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в самом конце от DeepSeek.

https://habr.com/ru/articles/905502/

#нейросети #взлом #jailbreak #промптинжиниринг #promptengineering #ai #искусственный_интеллект #промптинъекции #prompt_injection #безопасность

Яндекс.Разврат или анти-этичный ИИ

tl;dr: как обойти внутреннюю цензуру «Шедеврума» и получить то, что хочешь. Описание реализованных состязательных атак с примерами реализации. Без глубокого раскрытия механизма почему так получается.

https://habr.com/ru/articles/901382/

#нейросети #нейронные_сети #промптинжиниринг #промптинг #промптинъекции #взлом #безопастность #этика

Яндекс.Разврат или анти-этичный ИИ

tl;dr: как обойти внутреннюю цензуру «Шедеврума» и получить то, что хочешь. Описание реализованных состязательных атак с примерами реализации. Без глубокого раскрытия механизма почему так получается.

https://habr.com/ru/articles/901382/

#нейросети #нейронные_сети #промптинжиниринг #промптинг #промптинъекции #взлом #безопастность #этика

Как сделать чат-бот с RAG безопаснее?

Каждый день появляются решения на базе генеративных моделей, помогающие бизнесу привлекать новых пользователей и удерживать старых. Подход Retrieval augmented generation позволяет вводить в контекст больших языковых моделей (LLM) корпоративные документы, чтобы чат-бот корректнее отвечал на вопросы пользователей. Гарантирует ли добавление документа в контекст, что чат-бот не будет вводить пользователей в заблуждение или отвечать на вопросы про изготовление бомб? Как защитить RAG?

https://habr.com/ru/companies/raft/articles/881350/

#RAG #безопасность #промптинжиниринг #промптинъекции #большие_языковые_модели

Security-RAG или как сделать AI Security tool на коленке

LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents , квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях. Пока бизнес спешит внедрить очередного виртуального помощника, тот зачастую превращается в неумелого продавца, который не только мешает клиентам связаться со службой поддержки, но и... Удиви меня

https://habr.com/ru/articles/874820/

#llm #llmattack #llmприложения #ml #langchain #langfuse #chromadb #промптинъекции #искусственный_интеллект

Выводим Большие языковые модели на чистую воду с помощью… Больших языковых моделей

Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно внедряет технологии ИИ в свои процессы. В кулуарах предприниматели говорят об опасениях в части галлюцинаций, введения пользователей в заблуждение, утечки чувствительных сведений. Когда клиника внедряет чат-бот для консультирования пациентов, важно удостовериться, что интеллектуальный помощник не советует вместо приёма витаминов пить пиво.

https://habr.com/ru/companies/raft/articles/873504/

#большие_языковые_модели #редтиминг #тестирование_уязвимостей #атаки_на_LLM #автоматическое_тестирование #фреймворки #OWASP_top_10_LLM #промптинъекции #промптинжиниринг #галлюцинации_ии