Как мы написали UI-тесты для ИИ-агента внутри JetBrains IDE

Как проверить, что ИИ-агент в IDE работает, если на одинаковые запросы LLM отвечает по-разному? Ответы модели недетерминированы, а интерфейс и бизнес-логика вполне детерминированы, и их нужно тестировать отдельно. Мы делаем ИИ-агента, встраиваемого в JetBrains IDE. В статье расскажу, как мы выстроили UI-автоматизацию плагина так, чтобы тесты ловили регрессии в интерфейсе, бизнес-логике и при этом не «моргали» из-за нестабильности LLM. Тааак, падажжи

https://habr.com/ru/companies/veai/articles/1028756/

#veai #тестирование #ide #intellij_idea_plugin #плагин_ide #quality_gates #kotlin #intellij_platform #aiagent #ииагент