Как спроектировать системный промпт, невосприимчивый к prompt injection
При разработке с использованием LLM, мы вынуждены передавать часть пользовательского ввода в промпт. Проблема в том, что эти пользователи могут быть настроены агрессивно по отношению к нашей системе. Это создаёт серьёзную уязвимость — вектор атаки под названием prompt injection.
https://habr.com/ru/articles/963260/
#prompt_injection #promptengineering #prompt #prompt_tuning #llmattack