ИИ без иллюзий: почему большие языковые модели ошибаются, даже когда знают ответ

Всем привет! Меня зовут Шабашев Валерий. Я работаю Python-разработчиком в ТехВилле и параллельно занимаюсь научной деятельностью в аспирантуре, где исследую поведение языковых моделей, концептуальный дрейф и методы адаптации моделей к новым данным. В этой статье я хочу поделиться не просто популярным обзором возможностей искусственного интеллекта, а разобрать реальные ограничения современных LLM с опорой на актуальные исследования и практический опыт. За последние несколько лет большие языковые модели (LLM) стали активно применяться в различных областях, где требуется работа с текстовой информацией. Они умеют генерировать тексты, анализировать данные и даже помогать в принятии решений. При этом ключевой вопрос сегодня уже не в том, что модель знает, а в том, как она использует эти знания. При более глубоком анализе становится очевидно: между доступом к информации и способностью корректно рассуждать лежит серьёзный разрыв. Даже имея на входе качественные данные, модели могут допускать логические ошибки, игнорировать важный контекст и делать выводы, которые не следуют из исходной информации. И именно это сегодня становится ключевой проблемой - не недостаток знаний у модели, а отсутствие надёжного механизма проверки и верификации рассуждений.

https://habr.com/ru/companies/vkusvill/articles/1015166/

#вкусвилл #искусственный_интеллект #исследование #llm #rag #большие_языковые_модели #правовой_анализ #retrievalaugmented_generation

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

[Перевод] Как оценивать RAG-системы: метрики, методы и что измерять в первую очередь

Когда RAG-система дает сбой, по финальному ответу почти невозможно понять, где именно произошла ошибка. Генерация с дополнением через поиск – один из базовых паттернов работы с контекстом в LLM-приложениях: он расширяет знания модели за счет поиска, но одновременно усложняет диагностику. В результате без внятной системы оценки любые проблемы выглядят одинаково – как «неверный ответ». В этом материале разберем, что именно стоит измерять в RAG-конвейере, какие метрики действительно помогают находить причину сбоев и как выстроить оценку так, чтобы она показывала не факт ошибки, а ее источник. Разобраться

https://habr.com/ru/companies/otus/articles/1011464/

#RAG #retrievalaugmented_generation #оценка_LLM #метрики_качества #галлюцинации_моделей #информационный_поиск #эмбеддинги #ранжирование_документов #AIархитектура

Базовый минимум. Часть 3: RAG-системы

Большая языковая модель это не источник актуальных сведений, а статистическая система, обученная на данных прошлого. Она не обращается к внешним базам знаний и не узнает о новых событиях. Все что она знает было усвоено на этапе обучения и зафиксировано в ее параметрах. В современных прикладных системах это ограничение часто скрыто за инструментами, поиском и дополнительными модулями. Однако именно архитектурный подход Retrieval-Augmented Generation, RAG стал стандартным способом расширения возможностей модели без ее дообучения. Он позволяет подключать внешние базы знаний, работать с актуальными документами и заметно снижать количество галлюцинаций. В третьей части серии Базовый минимум разбирается как устроен RAG и как реализовать его минимальную рабочую версию на практике.

https://habr.com/ru/articles/1002152/

#RAG #RetrievalAugmented_Generation #языковые_модели #векторная_база_данных #эмбеддинги #чанкование #семантический_поиск #векторный_индекс #ChromaDB #Hugging_Face

RAG — это главное. Почему специализированные LLM реже галлюцинируют

Когда закрылся Skype , этого почти никто уже и не заметил. Хотя сервис когда-то был синонимом термина «видеосвязь». Но потом видеозвонки внедрили везде — в браузеры, мессенджеры, корпоративный софт, экосистемы, а Skype не успел адаптироваться... Возможно, с LLM происходит нечто подобное. Универсальные LLM впечатляют глубиной эрудиции — но для решения конкретных проблем совершенно непригодны. Хотя они быстро и уверенно отвечают на вопросы, выдавая целые «портянки» текста, часто эти ответы представляют собой галлюцинации или «воду», с выдуманными ссылками.

https://habr.com/ru/articles/977260/

#RetrievalAugmented_Generation #rag #ретривер #чанки #эмбеддинги #корпоративные_данные #copilot #gemini #llm #алиса_про

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области. Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента.

https://habr.com/ru/companies/otus/articles/946354/

#RAG #retrievalaugmented_generation #LLM #Large_Language_Models #Эмбеддинги #Векторные_базы_данных #Векторные_хранилища #Индексация #Ранжирование

Law & Practice Ensemble RAG. Как создать ассистента, помогающего решать многоаспектные юридические задачи

Большие языковые модели ( LLM ) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями , снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных.

https://habr.com/ru/companies/otus/articles/946012/

#RAG #RetrievalAugmented_Generation #llm #Large_Language_Models #языковые_модели #трансформеры #finetuning #эмбеддинги #dense_retrieval

[Перевод] Agentic RAG: создание более умных ИИ-систем, понимающих контекст

Команда AI for Devs подготовила перевод статьи о новом подходе — Agentic RAG. Он превращает извлечение данных в активный процесс: агенты сами решают, где искать, как уточнять запросы и когда остановиться. В результате ИИ становится гибче, точнее и действительно готовым к "боевым" задачам.

https://habr.com/ru/articles/942278/

#Agentic_RAG #RetrievalAugmented_Generation #mcp #model_context_protocol #корпоративные_системы