MLS​ecOps là khung bảo mật tích hợp trong toàn bộ vòng đời Machine Learning, giống DevSecOps cho phần mềm. Bảo vệ dữ liệu, mô hình, hạ tầng và theo dõi liên tục, với nguyên tắc Security by Design, Threat Modeling và tự động hoá. Đảm bảo AI mạnh mẽ, đáng tin cậy. #MLSecOps #AI #BảoMậtAI #MachineLearning #DevSecOps #AnNinh

https://dev.to/shivamchamoli18/what-is-mlsecops-49k1

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей

Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).

https://habr.com/ru/companies/angarasecurity/articles/976798/

#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель

Новый интернет: когда в сеть заходят не люди, а агенты

Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .

https://habr.com/ru/articles/962418/

#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров

Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.

https://habr.com/ru/articles/930522/

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops

MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта. А нет, это же будет в 2029 году, так что пока не считается. А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта: Узнать о том, как сберечь свой ИИ

https://habr.com/ru/companies/innostage/articles/929924/

#ии_и_машинное_обучение #информационная_безопасность #llm #mlsecops #ииагенты

Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты; Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew ; Где прячутся CVE в ML-библиотеках и как их ловить до релиза; Канареечный деплой с авто-откатом по метрикам и разумными порогами; мониторинг дрейфа данных и качества модели в реальном времени; Чек-лист DevSecOps : от тега в Model Registry до регулярных Model Review . Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон.

https://habr.com/ru/companies/swordfish_security/articles/921720/

#mlsecops #mlops #DevSecOps #ai_security #ai_safety #безопасная_разработка_ML #жизненный_цикл_ML_модели #Kubernetes_ML

Проверка на Data Poisoning в MLSecOps

В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного обучения в эпоху киберугроз / Хабр Давайте сегодня погрузимся в практику и разберем один из наиболее часто задаваемых мне вопросов: «Как защищаться от отравления данных? Как проверять данные на Data Poisoning»? Подчеркну – не обязательно все советы из статьи реализовывать, возможно какие-то меры будут избыточны, так как в вашей практике уже реализованы альтернативные и при этом не менее эффективные стандарты защиты данных от отравления. Итак, желающих узнать ответ на этот вопрос приглашаю под кат.

https://habr.com/ru/articles/920936/

#mlsecops #data_poisoning #отравление_данных #безопасный_ии #ai_security #aurora #owasp_top10 #очистка_данных #машинное_обучение #информационная_безопасность