Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

Выжимаем максимум из опенсорсных моделей и готовим Text2SQL

В любой крупной компании есть повторяющийся сценарий. Аналитик сидит над экспериментом или моделью, строит А/В тесты и дашборды, и в этот момент приходит бизнес и просит быстро посмотреть «продажи жвачки за вчера». Аналитик переключается, пишет запрос, отдаёт результат, а через десять минут прилетает почти такой же вопрос. Потом ещё один и ещё. День заканчивается, а свои задачи стоят и покрываются ржавчиной. Так выглядит ручной доступ к данным. Бизнес понимает, что нужные данные в хранилище есть, но не всегда может их быстро получить. А аналитик становится «бутылочным горлышком», через которое проходит большой поток запросов. Мы хотели упростить работу с данными. Чтобы пользователь задавал вопрос, сервис превращал его в SQL, выполнял в хранилище и возвращал аналитический ответ. Чтобы рутина уходила в инструмент, а аналитик переставал быть «бутылочным горлышком». Вроде ничего нового, но в реальной инфраструктуре вскрывается много интересного: специфическая лексика, свойственная каждому из направлений бизнеса, громоздкие витрины, опыт работы с легаси системами и поведение LLM, которую сначала надо надрессировать.

https://habr.com/ru/companies/oleg-bunin/articles/981494/

#text2sql #large_language_models #open_source_llm #qwen #gpt #аналитика_данных #bird #spider #prompt_engineering #prompt_injection

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Generative AI with Large Language Models in C#in 2026
https://devblogs.microsoft.com/dotnet/generative-ai-with-large-language-models-in-dotnet-and-csharp/

#microsoft #NET #AI #Azure #C #azure_openai #ChatGPT #Csharp #generative_ai #large_language_models #rag #semantic_kernel

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области. Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента.

https://habr.com/ru/companies/otus/articles/946354/

#RAG #retrievalaugmented_generation #LLM #Large_Language_Models #Эмбеддинги #Векторные_базы_данных #Векторные_хранилища #Индексация #Ранжирование

Law & Practice Ensemble RAG. Как создать ассистента, помогающего решать многоаспектные юридические задачи

Большие языковые модели ( LLM ) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями , снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных.

https://habr.com/ru/companies/otus/articles/946012/

#RAG #RetrievalAugmented_Generation #llm #Large_Language_Models #языковые_модели #трансформеры #finetuning #эмбеддинги #dense_retrieval

[Перевод] Карьера вайб-кодера — это тупик

Сразу расставлю все точки над «и»: LLM полезны. Вопрос не в том, могут ли LLM писать код, они на это способны. Вопрос в том, почему вайб-кодинг может оказаться вашей худшей карьерной инвестицией. Я начал замечать перемены, когда темы бесед разработчиков полностью поменялись. Теперь они обсуждают лишь то, как заставить Claude написать код за них. Или конечную цель: как заставить ИИ делать всё без вмешательства человека. До недавнего времени я по большей мере игнорировал этот ажиотаж. Я читал заголовки, время от времени просил Claude или ChatGPT помочь мне в отладке, но ничего больше. Пришла пора учиться вайб-кодингу!

https://habr.com/ru/articles/932442/

#вайбкодинг #large_language_models #большие_языковые_модели #vibecoding #llmагент

[Перевод] Карьера вайб-кодера — это тупик

Сразу расставлю все точки над «и»: LLM полезны. Вопрос не в том, могут ли LLM писать код, они на это способны. Вопрос в том, почему вайб-кодинг может оказаться вашей худшей карьерной инвестицией. Я начал замечать перемены, когда темы бесед разработчиков полностью поменялись. Теперь они обсуждают лишь то, как заставить Claude написать код за них. Или конечную цель: как заставить ИИ делать всё без вмешательства человека. До недавнего времени я по большей мере игнорировал этот ажиотаж. Я читал заголовки, время от времени просил Claude или ChatGPT помочь мне в отладке, но ничего больше. Пришла пора учиться вайб-кодингу!

https://habr.com/ru/articles/932442/

#вайбкодинг #large_language_models #большие_языковые_модели #vibecoding #llmагент