Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face