LLM Firewall: устарел, не успев родиться? Почему защита чатов не работает в мире AI-агентов

История про сумасшедшую скорость изменений. Пока мы в Ideco создавали задачи в Jira, исследовали технологии и возможность реализации модуля «LLM Firewall» в Ideco NGFW – ландшафт угроз использования AI принципиально изменился и все приходится переделывать заново. Первое поколение LLM Firewall проектировалось для защиты чат-интерфейсов: пользователь отправил запрос – модель ответила – файрвол отфильтровал. Похоже на известную нам работу прокси-сервера или DLP-решения. Но за 2025–2026 годы индустрия резко перескочила от «чатов» к автономным агентам, которые вызывают инструменты, ходят в базы данных, принимают решения и общаются с другими агентами. Концепция LLM Firewall переродилась раньше, чем полностью оформилась –в Agent Runtime Security. Но назвать сегодняшние stateless-фильтры промптов «решением проблемы безопасности агентов» – значит обманывать всех и продавать «воздух». Два года назад разговор об LLM-безопасности сводился к простой формуле: не дать пользователю сломать чатбот (если конечно отбросить «драконовские» и не выполнимые в современных компаниях требования – ЗАПРЕТИТЬ). Prompt injection, jailbreak, утечка персональных данных – вот и весь threat model. Ответ рынка был логичен: поставить прокси между пользователем и моделью, отфильтровать вредоносный или содержащий чувствительные данные промпт на входе, проверить ответ на выходе. Но тут уже можно было столкнуться со сложностью – «фильтрующей» модели нужно было поддерживать контекст в водовороте вопросов и ответов в чате, что не просто и требует большой мощности.

https://habr.com/ru/companies/ideco/articles/1021292/

#NGFW #llmмодели #llmагент #llm_firewall #информационная_безопасность #стартапы #рынок #архитектура

LLM Firewall: как вписать LLM в контур информационной безопасности

Привет, Хабр! Я Исмагилов Ильнур, разработчик команды Центра интеллектуальной автоматизации Innostage. В прошлой статье мы кратко рассмотрели угрозы ИИ‑сервисам и базовые меры защиты — этого достаточно, чтобы правильно стартовать внедрение ИИ в бизнес-процессы и заложить фундамент best‑практик для масштабирования. Во второй части мы смотрим на LLM Firewall как на рабочий элемент LLMSecOps: от требований приказа ФСТЭК до минимально достаточной архитектуры безопасной эксплуатации LLM в компании. Разбираем, какие защитные меры действительно имеют смысл, где проходит граница разумного контроля и как наращивать защиту по мере роста ИИ-систем, не уходя в overengineering. Материал будет полезен AI-инженерам, специалистам по информационной безопасности и руководителям ИТ и ИБ. Мы обсуждаем, как сохранить управляемость и контроль рисков при внедрении ИИ без лишних затрат, и показываем более глубокие техники выявления атак на LLM — от анализа поведенческой телеметрии до оценки угроз в реальном времени.

https://habr.com/ru/articles/981408/

#LLM_Firewall #LLMSecOps #AIGateway #LLM_as_a_judge #llm #prompt_injection