Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре

​Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...

#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность

Источник: https://dstglobal.ru/club/1150-obespechenie-bezopasnosti-rabochih-nagruzok-mashinnogo-obuchenija-v-oblachnoi-infrastrukture

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

https://habr.com/ru/articles/982618/

#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей

Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).

https://habr.com/ru/companies/angarasecurity/articles/976798/

#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель

Новый интернет: когда в сеть заходят не люди, а агенты

Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .

https://habr.com/ru/articles/962418/

#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps