Как мы строим умный «файрвол» для LLM

Привет, Хабр! Я Данила Катальшов, старший промпт-инженер в команде фундаментальных исследований MWS AI. Недавно вместе с коллегами из корейского университета KOREATECH мы опубликовали научную статью, в которой представили новый фреймворк для борьбы с такими грехами LLM, как галлюцинации, генерация токсичного контента и уязвимость к промпт‑атакам. Мы его назвали AVI — Aligned Validation Interface. По сути это внешний, гибкий и независимый от модели фильтр, работающий как умный файрвол для LLM. Почитать на научном языке о нашем подходе можно в журнале Applied Science . Здесь же я постараюсь чуть менее научно и уж точно покороче пересказать его суть. Заинтересовавшиеся – велком под кат.

https://habr.com/ru/companies/mts_ai/articles/926296/

#ethical_ai #ai_prompts #искусственный_интеллект #нейросети #этика #фреймфорк #языковые_модели #llmмодели #фильтр #исследование

Управление ИИ (AI Governance) в 2025: пять главных вызовов и пути их преодоления

По данным глобальных отчетов, уже 30% всех корпоративных решений в 2025 году принимаются с участием искусственного интеллекта (ИИ). Инструменты ИИ активно внедряются во все сферы: они используются для оптимизации операционных и бизнес-процессов, как самостоятельные или вспомогательные продукты, а все чаще – и как системы, принимающие решения. Однако в этой гонке за эффективностью вопросы управления рисками и этические предохранители нередко отходят на второй план. Между тем, именно сфера регулирования и этики ИИ является ключевым инструментом, позволяющим компаниям обеспечить безопасное использование AI-технологий как с технической точки зрения, так и в контексте соответствия требованиям контролирующих органов. Регуляторные и этические фреймворки, закрепленные на уровне законодательства и лучших отраслевых практик, в действительности определяют ландшафт внедрения новых технологий. С какими вызовами AI Governance сталкивается IT-индустрия сегодня? В этой статье мы разберем 5 ключевых проблем регулирования ИИ, алгоритмической предвзятости, безопасности нейросетей, их экологического следа и глобальной стандартизации AI. Это авторская статья создана специально для сайта habr.com будет полезна IT-специалистам, разработчикам, менеджерам проектов, юристам, а также всем, кто интересуется будущим искусственного интеллекта, его регулированием и этическими аспектами применения технологий.

https://habr.com/ru/articles/920386/

#ai_governance #Ethical_AI #AI_Ethics #explainable_ai #EU_AI_Act