Лаборатория Безумного Ученого: Хроники Четырех Экспериментов повлиявших на представление об обеспечении безопасности ИИ

Дата: 11 мая 2025 Жанр: Гонзо-журналистика Записки исследователя, проникшего в тайные лаборатории создателей инструментов безопасности ИИ Дорогие читатели, то, что я собираюсь вам рассказать, звучит как научная фантастика, но это чистая правда. Последние полгода я провел, изучая работу четырех лабораторий, где современные ученые пытаются решить одну из самых сложных задач нашего времени: как заставить искусственный интеллект быть безопасным. Это история о том, как разные умы подходят к одной проблеме, и почему их решения настолько различны, что кажется, будто они работают в параллельных вселенных. Глава 1: Встреча с Архитектором Композиций Мое путешествие началось в исследовательском центре Microsoft, где команда PyRIT работает над тем, что они называют "композиционной безопасностью". Ведущий разработчик, человек с глазами программиста и душой философа, объяснил мне их подход, пока мы шли по коридорам, увешанным диаграммами архитектуры. "Представьте себе, что безопасность - это симфония", - сказал он, останавливаясь перед огромным экраном с движущимися блоками кода. "Каждый компонент играет свою партию, но магия происходит, когда они работают вместе. Orchestrator(оркестратор) координирует все элементы, prompt targets(механизмы для реализаци атаки) определяют цели, а scoring engines(движки подсчёта и анализа результатов) анализируют результаты." PyRIT действительно напоминает оркестр. Каждый компонент имеет четко определенную роль, но истинная сила проявляется в их взаимодействии. Я наблюдал, как система создает многоходовые атаки, где каждый последующий промпт строится на основе предыдущего ответа модели. Это не грубая сила, а тонкое искусство, основанное на понимании того, как языковые модели обрабатывают информацию.

https://habr.com/ru/articles/918094/

#Garak #llamator #pyrit

MLSecOps: защита машинного обучения в эпоху киберугроз

MLSecOps: защита машинного обучения в эпоху киберугроз На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз. Подобные инциденты с развитием и повсеместным распространением нейронных сетей будут происходить всё чаще. Это еще один повод начать внедрение инструментов и технологий MLSecOps, даже на базовом уровне. Всех желающих подробнее познакомиться с особенностями и перспективами направления MLSecOps, узнать про основные виды атак, базовые методы защиты и дополнительные источники для обучения, приглашаю под кат.

https://habr.com/ru/articles/906172/

#MLSecOps #HiveTrace #LLAMATOR #Искусственный_интеллект #Машинное_обучение #Кибербезопасность #OWASP_Top_10 #Data_Poisoning #Защита #Атака