Собственная LLM в корпоративном контуре: как мы собрали RAG на n8n и сократили расходы в 5,5 раза

В этой статье мы расскажем, как сократили время на поиск информации в корпоративной базе знаний и превратили тысячи страниц документации в удобного ИИ-ассистента. А также поделимся, как реализовали локальный GPT, почему выбрали путь собственных решений вместо готовых сервисов, с какими инфраструктурными вызовами столкнулись и как в итоге собрали рабочие инструменты на базе self-hosted-версии low-code-платформы n8n, полностью закрыв данные внутри корпоративного контура.

https://habr.com/ru/companies/flowwow/articles/1032120/

#llm #автоматизация_рутины #автоматизация_бизнеспроцессов #боты #опыт_внедрения #rag_ai #n8n #n8n_компоненты #управление_временем

10 актуальных RAG-подходов: какие реально полезны и когда их применять?

Всем привет, на фоне обновлений в LLM-стеке за последний год, решил собрать практический список RAG-подходов, которые реально используются в продакшене на основе моего опыта и того что я изучал в других кейсах.

https://habr.com/ru/articles/1029616/

#aiразработка #rag_ai #rag_pipeline #retrieval_augmented_generation #llm #llmмодели #vector_search #hybrid_search #graphrag #multimodal

Ваш RAG не умеет думать. А мой умеет

Привет, Хабр! Базовые RAG-системы уже научились неплохо справляться с прямыми вопросами по тексту. Но только если ответ лежит в одном конкретном абзаце, а вопрос сформулирован почти так же, как сам исходный документ. Попробуйте заставить систему связать факты из трёх разных источников или сделать банальный логический вывод. В большинстве случаев результат будет неутешительным. А уж про поиск скрытых связей я даже спрашивать боюсь. Сегодня рассмотрим open-source RAG-фреймворк HippoRAG 2 . В сфере RAG главным преимуществом данного фреймворка является качество ответов, потому что принципы его работы основаны на реальном человеческом мозге . Давайте разберёмся, откуда он взялся, как устроен изнутри и как его запустить.

https://habr.com/ru/companies/ruvds/articles/1025812/

#rag #rag_ai #rag_pipeline #rag_система #HippoRAG #исскуство #ai #graphrag #ruvds_статьи

Как я свой аналог NotebookLM делал или как сделать обучение эффективнее с JuliaLM

Устав от вечных мук впн, прокси и прочих Захотев в импортозамещение решил склепать NotebookLM на свой лад доступный всем проживающим в необъятной и не только. Кто не знает, NotebookLM - это сервис который позволяет загрузить кучу исследовательских материалов и задавать им вопросы на человеческом языке. PDF-ки, статьи, ютуб-лекции — всё это превращается в базу знаний, по которой можно искать, получать саммари и даже генерировать флешкарточки для подготовки к экзаменам. Со стороны выглядит просто: закинул документ, спросил — получил ответ с цитатами. Но внутри — пайплайн из шести этапов, четыре стратегии поиска, система бюджетирования контекста и довольно нетривиальная работа с векторами. В этой статье расскажу, как всё устроено, почему выбрал именно такой стек и на какие грабли успел наступить.

https://habr.com/ru/articles/1018702/

#NotebookLM #RAG #rag_ai #JuliaLM #AI

Книга: «Основы GraphRAG. Улучшенный RAG на базе графов знаний»

Привет, Хабожители! Создайте и разверните систему GraphRAG производственного уровня. Научитесь извлекать структурированные знания из текста и комбинировать методы векторного поиска с поиском по графам. Книга богата практическими примерами: от создания инструмента поиска по векторному сходству и приложения Agentic RAG до оценки эффективности и точности результатов работы такого приложения.

https://habr.com/ru/companies/piter/articles/1013810/

#rag_ai #retrieval_augmented_generation #llm #graphrag

RAG-бот на YandexGPT без Python и оркестраторов. Кейс внедрения «Яндекс Агента» в медицине

Автоматизация клиентского сервиса в медицине — это всегда баланс между точностью данных и скоростью ответа. Рассказываем, как мы создавали для фармацевтической компании «Буарон» умного помощника на базе Yandex Cloud Agent, который обеспечивает круглосуточную обработку запросов и использует связку PHP и WordPress. Есть два фактора, которые гарантированно дают большую нагрузку на службу поддержки портала – это сложный продукт и широкий ассортимент. Фармацевтическая компания «Буарон» объединила оба. «Буарон» (Boiron) – один из мировых лидеров в производстве лекарств на основе природных субстанций, который в России представляет 130 гомеопатических монопрепаратов и 10 комплексных лекарств. База знаний включает в себя не только описания отдельных средств, но и комплексные решения, такие как «ЛОР-протокол», что требует от ИИ-ассистента высокой точности при сопоставлении запроса пользователя с нужным разделом. Портал компании заключает в себе огромный объем информации, в которой посетителю непросто ориентироваться. В год пользователи оставляют на сайте более 300 000 запросов – это больше 800 в сутки, при этом ответы не всегда находились, а часть обращений терялась или требовала личного участия специалистов. Перед нами в QSOFT стояла задача автоматизировать обработку пользовательских запросов на сайте о клинической гомеопатии, снизить нагрузку на специалистов и сократить число пропущенных обращений. Для этого было решено создать умного помощника на базе Yandex Cloud Agent.

https://habr.com/ru/companies/qsoft/articles/1015934/

#yandexgpt #чатбот #rag_ai #php #wordpress #llm #нейросети

Бесплатный видео курс «Язык R для разработки AI инструментов»

Привет, Хабр! За последние годы большие языковые модели (LLM) глубоко проникли в нашу работу и повседневную жизнь. Многие из нас регулярно используют их как обычные пользователи в веб-интерфейсе. Но что, если вы хотите выйти за рамки «чата с моделью» и создавать собственные интеллектуальные инструменты под конкретные задачи и бизнес-сценарии? Если ваш основной язык программирования — R, то у меня для вас отличная новость! Экосистема R за прошлый год совершила огромный скачок в интеграции с ИИ.

https://habr.com/ru/articles/1011894/

#R #AI #ellmer #MCP #RAG #rag_ai

Gemini Embedding 2 + мультимодальный RAG: эмбеддим видео и картинки — разбор и туториал

10 марта Google выкатил Gemini Embedding 2 - embedding-модель, которая умеет превращать в векторы не только текст, но и картинки, видео, аудио и PDF. Причем все это ложится в одно векторное пространство. Раньше если вы хотели искать по видеобиблиотеке через RAG, приходилось городить огород: транскрибировать аудиодорожку, описывать кадры через Vision LLM, склеивать в текст, и только потом эмбеддить. Каждый шаг - потеря информации. Теперь можно скормить модели MP4 напрямую, и текстовый запрос «как настроить авторизацию» найдёт и статью из базы знаний, и фрагмент видеоинструкции. Но сама по себе модель не решает проблему. LLM не может «прочитать» MP4, поэтому найденное видео без текстового описания - может быть бесполезно. Ключ - в правильной архитектуре: нативный эмбеддинг для поиска + параллельная генерация текстового описания для LLM: два канала, которые работают вместе и выводят мощь RAG наполную катушку. В этой статье разберем что нового в Gemini Embedding 2 и построим полноценный мультимодальный RAG с нуля - Python, Supabase, Gemini API. P.S. С кодом.

https://habr.com/ru/articles/1010030/

#rag #rag_ai #gemini #embeddings #базы_данных #ai #aiagents #postgresql #sql

Hybrid RAG knowledge base за 15 минут — почему пришлось собрать свою lite версию RAG и в чем опасность RAG фреймворков

Архитектура Hybrid RAG систем заняла нишу корпоративных баз знаний, став стандартом для построения сервисов генерации контента на основе внутренних корпоративных данных. Уже пару лет у этого подхода практически нет альтернатив, когда речь заходит о сочетании возможностей генеративного ИИ с требованиями корпоративной безопасности и доверия к полученным результатам. Ключевое преимущество RAG перед обычным взаимодействием с нейросетями заключается в прозрачности: мы четко видим, на основе каких документов был сформирован ответ, и можем проверить каждый шаг пайплайна Почти в каждом проекте, которые мне удалось наблюдать, происходило одно и то же - сначала команда стартует с LangChain или LlamaIndex через пару месяцев пайплайн становится неуправляемым, далее половина фреймворка выкидывается и пишется свой костомный retrieval. В итоге архитектура почти всегда выглядит одинаково - Frontend + Python backend + vector search + LLM API В этой статье я покажу почему это происходит, поделюсь сложностями с которыми можно столкнуться при реализации корпоративных баз знаний основанных на RAG технологиях, расскажу почему готовые фреймворки иногда могут быть опасны для проекта и как я пришел к созданию универсальной сборки RAG системы разворачиваемой за 15 минут За последние два года вокруг вокруг RAG систем сформировалась огромная инфраструктура. Появились специализированные фреймворки и облачные сервисы. Однако, если присмотреться к реальным запросам бизнеса, вырисовывается устойчивый паттерн. Компании хотят быстрый запуск без глубокого погружения в разработку продукта, в пару кликов загрузить корпоративные документы и получать ответы на запросы по своим внутренним документам. Компаниям не нужен очередной конструктор с бесконечными настройками, а востребована легкая, быстро разворачиваемая корпоративная RAG база знаний Основной актив, с которым должны работать такие системы это регламенты, техническая документация, договоры, инструкции и неструктурированные базы знаний. И здесь RAG действительно незаменим. Но существует и обратная сторона медали:

https://habr.com/ru/articles/1005776/

#RAG #knowledge_base #hybrid_rag #rag_система #база_знаний #it_проекты #поисковые_системы #rag_ai #ai_agent #корпоративные_решения

Выбор готового ИИ чат-бота: почему мы в результате написали своего гибридного агента

Краткий итог нашего изучения рынка и создания собственного бота (почему это так - читайте ниже): Промпт-бот (500 ₽ фриланс + 50 000 ₽/месяц API): Используйте, если нужно простое FAQ-покрытие, вся база знаний умещается в короткий промпт, нет регуляторного риска и вы понимаете, что принимаете риск галлюцинаций и нарушений ограничений. Хорошо для демонстрации возможностей. Не подходит для финансовых услуг, медицины, юридических вопросов или любой области, где неверный ответ бота имеет последствия. SaaS-платформа (3 000–100 000+ ₽/месяц): Используйте, если главным образом нужно FAQ-отклонение и маршрутизация обращений, каталог продуктов стабилен и прост, есть команда поддержки, которая хочет единый inbox, и вы хотите запуститься за несколько дней. Aimylogic и BotHelp достаточно хороши для своего предназначения. Российские платформы решают вопрос 152-ФЗ лучше западных аналогов. Open-source-фреймворк (Rasa/Botpress, $0 ПО + инфра + программисты): Rasa даёт полный контроль с локальным NLU и управлением диалогом. Требует Python-инженера и реальных обучающих данных. Корпоративное лицензирование начинается от $35 000/год. Подходит для ML-тяжёлых сценариев, где нужен полный контроль. Требует постоянной поддержки, которую SaaS берёт на себя. Кастомный гибрид (инвестиции в код + ~5 000 ₽/месяц API): Используйте, если нужны управляемые многошаговые квалификационные потоки, данные о продуктах синхронизированы с существующей системой, есть требования к локализации данных или соответствию 152-ФЗ, нестандартная интеграция с каналами или предсказуемость затрат на долгий срок. Не проект выходного дня, но при масштабировании экономика очевидна. По данным рынка, полная разработка «под ключ» в России стоит 70 000–1 000 000 ₽ единоразово (медиана 227 000 ₽ по исследованию Aimylogic).

https://habr.com/ru/articles/1004966/

#чатбот #искусственный_интеллект #rag_ai #llm