Безопасность ИИ: новый рынок для интеграторов и как на нем заработать

Компании внедряют ИИ быстрее, чем успевают осознать все последствия, стремясь повысить эффективность и сократить издержки. Но эта гонка за инновациями создает слепую зону для безопасности. По результатам опроса ИБ-компаний , проведенному “Коммерсантом”, в 2026 году до 10% атак на банковские ИТ-инфраструктуры будут связаны с уязвимостями ИИ. На этом фоне растет интерес рынка к решениям и услугам в области тестирования ИИ на устойчивость к атакам. Это создает идеальный момент для интегратора, который может предложить рынку дефицитную компетенцию и закрыть растущую потребность в специализированном тестировании.

https://habr.com/ru/companies/raft/articles/1009532/

#ИИ #искусственный_интеллект #системная_интеграция #интеграторы #ai #ai_security #pentest #pentesting #redteam

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Почему промпт-инъекции — это симптом, а не болезнь безопасности ИИ

Что вы представляете, когда кто-то говорит об AI-driven компании? Может быть, как чат-боты улучшают опыт клиентов? Может быть, как сотрудники разворачивают любые модели для своих нужд? А может, как ИИ-агенты разбирают кучу электронных писем и назначают встречи в календаре, копилоты пишут код за разработчиков и исправляют баги? Красиво. Но что в этой красивой истории может пойти не так и почему безопасность систем искусственного интеллекта не ограничивается защитой от джейлбрейков и промпт-инъекций, разберёмся в этой статье.

https://habr.com/ru/companies/alfa/articles/994378/

#LLM #ИИассистенты #ИИагенты #AI_Security #AI_Red_teaming #Промптинъекции #OWASP

Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций

ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций — атак, заставляющих модель раскрывать информацию, которую она не должна выдавать. Сегодня не существует универсальных методов, полностью исключающих промт-инъекции в LLM. Это делает их источником долгосрочных рисков для организаций, проходящих ИИ-трансформацию. Проблема актуальна не только для IT- и ИБ-специалистов, но и для обычных пользователей. Теория подробно описана, однако без практики ее сложно воспринимать как реальную угрозу. На связи Андрей Давид, руководитель отдела продуктов клиентской безопасности в Selectel . Под катом разберем, почему такие атаки остаются актуальной угрозой для LLM-приложений и как на практике выглядит их эксплуатация — на примере обучающей игры «Защищ[AI]». Это «интерактивный киберполигон», где можно безопасно попробовать атаковать ИИ-ассистента и увидеть, почему одних «запретов в системном промте» недостаточно. Под кат!

https://habr.com/ru/companies/selectel/articles/994940/?utm_source=habrahabr&utm_medium=rss&utm_campaign=994940

#ai_security #промтинъекции #промт #ии #llm #ai #selectel

Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций

ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций — атак, заставляющих модель раскрывать информацию, которую она не должна выдавать. Сегодня не существует универсальных методов, полностью исключающих промт-инъекции в LLM. Это делает их источником долгосрочных рисков для организаций, проходящих ИИ-трансформацию. Проблема актуальна не только для IT- и ИБ-специалистов, но и для обычных пользователей. Теория подробно описана, однако без практики ее сложно воспринимать как реальную угрозу. На связи Андрей Давид, руководитель отдела продуктов клиентской безопасности Под кат!

https://habr.com/ru/companies/selectel/articles/994940/

#ai_security #промтинъекции #промт #ии #llm #ai #selectel

Prompt Worms Часть 2: Я проверил на практике — 31 уязвимость в экосистеме AI-агента

В первой части мы разобрали теорию Prompt Worms — самореплицирующихся атак через AI-агентов. OpenClaw был назван «идеальным носителем». В этой части я проверил на практике: скачал репозиторий, залез в код, прощупал инфраструктуру и нашёл 31 уязвимость в 4 слоях экосистемы. Ноль санитизации на 867 строк мозга, timeout вместо approval, бэкдор-«пасхалка» в коде, утечка хешей паролей в маркетплейсном SaaS, и 14 слепых зон в их собственной threat model. Три дня, ~4,500 строк трассировки, 14 kill chains с PoC

https://habr.com/ru/articles/994230/

#prompt_injection #ai_agents #llmattack #openclaw #ai_security #threat_model #supply_chain_attack #mitre_atlas #pentesting #prompt_worms

Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год

Что было интересного в 2025 году по безопасности ИИ? Помимо развития AI-агентов и их протоколов, гардрейлов, и появления фреймворков, для российского рынка важно отметить появление нескольких новых официальных документов. О них и поговорим, так как я искренне считаю, что они выводят нашу нормативно-правовую базу на уровень одной из самых развитый и проработанных в мире. Но этот пост - не просто обзор) Я расскажу и о своих соображениях о том, как управлять доступом AI-агентов, данными для GenAI-систем, и уязвимостями таких систем.

https://habr.com/ru/articles/986800/

#ai_security #llm #aiагенты #кибербезопасность #нормативные_документы #регуляторика #ии

"Không thể sống thiếu AI agents, nhưng đôi khi chúng 'quá láo' và làm hỏng file 😭. AgentShield ra đời từ ý tưởng sáng tạo của một hacker sau buổi đá banh cuối tuần - theo dõi thay đổi file thời gian thực và 'trở lại' trong 1 click 🦔. MIỄN PHÍ + mã nguồn mở từ @tomsun28. Hiện chỉ test trên macOS, clone repo để góp phần sửa lỗi nếu cần 😄 #AI_Security #BảoMậtAI #CodeSafety #AnToanLapTrinh"

https://i.redd.it/f2zd9d0mngfg1.png

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security