HabrПочему ReAct-агенты ломаются в продакшене и чем их заменить
Приветствую читателей. Мы пытались построить LLM-чат для продакшена. Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты. В итоге пришлось отказаться от ReAct и перейти на LLMCompiler. А начали мы с того что компания захотела поекспериментировать с созданием чата Для начала освежим память как вообще работает llm и react архитектура. С точки зрения разработчика, ллм - это функция, которая принимает на вход строку и отдает другую строку, входящая строка может прораммировать то, какой ответ будет, например, вы можете попросить ллм вести себя как чат, далее хранить историю входов и выходов и передавать ее опять в ллм. Простейший пример чата
