Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу

Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами.

https://habr.com/ru/articles/1013832/

#RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии

Vector Data in .NET – Building Blocks for AI Part 2
https://devblogs.microsoft.com/dotnet/vector-data-in-dotnet-building-blocks-for-ai-part-2/

#microsoft #NET #AI #C #Embeddings #Microsoft_Extensions_VectorData #rag #semantic_search #vector_search

[Перевод] Автоэмбеддинги: поиск на ИИ без лишней мороки

Мы рады представить новую возможность, которая делает создание приложений с семантическим поиском таким же простым, как написание SQL-запроса: Автоэмбеддинги . Теперь Manticore Search берёт на себя генерацию эмбеддингов — без дополнительных пайплайнов, внешних сервисов и лишней мороки.

https://habr.com/ru/articles/947632/

#векторный_поиск #семантический_поиск #эмбеддинги #embeddings #vector_search #semantic_search #sql_search #knnsearch #hnsw #json_api

RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai

Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме

https://habr.com/ru/companies/ruvds/articles/924100/

#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст

RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai

Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме

https://habr.com/ru/companies/ruvds/articles/924100/

#spring_ai #исскуственный_интеллект #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи #космотекст

Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач

Что важнее: создать продукт , или доставить его до пользователя ? Оба этапа необходимы. Сегодня обсудим второй . Как нам построить поисковую e-com систему. Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку , но и настройка поисковой выдачи по запросу. Быстро соберем поисковой MVP-сервис . Дообучим модель E5 на реальных данных от Amazon . Определим метрики качества и сравним BM25 , pretrain E5 и fine-tune E5 . Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач . И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности. Погрузиться в семантический поиск →

https://habr.com/ru/companies/datafeel/articles/925290/

#machine_learning #information_retrieval #semantic_search #huggingface #pytorch #nlp #e5 #streamlit #mvp #дообучение_моделей