Как спроектировать системный промпт, невосприимчивый к prompt injection

При разработке с использованием LLM, мы вынуждены передавать часть пользовательского ввода в промпт. Проблема в том, что эти пользователи могут быть настроены агрессивно по отношению к нашей системе. Это создаёт серьёзную уязвимость — вектор атаки под названием prompt injection.

https://habr.com/ru/articles/963260/

#prompt_injection #promptengineering #prompt #prompt_tuning #llmattack

Как спроектировать системный промпт, невосприимчивый к prompt injection

При разработке с использованием LLM, мы вынуждены передавать часть пользовательского ввода в промпт. Проблема в том, что эти пользователи могут быть настроены агрессивно по отношению к нашей системе....

Хабр