[Перевод] Как сократить расходы на токены и повысить точность LLM
Когда количество доступных LLM инструментов (tool-ов) разрастается, традиционные подходы к tool calling становятся непрактичными — утилизация токенов улетает ещё до начала общения. К тому же, модели становится сложнее выбрать нужный набор tool-ов для решения проблемы. В новом переводе от команды Spring АйО читаем о паттерне Tool Search Tool, предложенном Anthropic и реализованном в Spring AI с помощью ToolSearchToolCallAdvisor. Он позволяет LLM динамически находить нужные инструменты по мере необходимости, экономя до 64% токенов и повышая точность.
https://habr.com/ru/companies/spring_aio/articles/976178/
#llm #tool #java #kotlin #spring #spring_boot #spring_framework #springboot #spring_security #spring_data











