Что такое NER, зачем он нужен и когда не поможет

Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста. Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения. Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач.

https://habr.com/ru/articles/921698/

#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей

Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ

Привет, Хабр! 👋 Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion . Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI . Без OpenAI, без облаков — всё на своём железе. Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust , асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :) Если вам интересно:

https://habr.com/ru/articles/920482/

#rust #telegram_bot #localai #llm #docker #actix #openai #ai #ngrok #natural_language_processing

Поддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросах

Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев».

https://habr.com/ru/companies/habr_rutube/articles/911876/

#rag #ml #ai #natural_language_processing #nlp #ииассистент #rutuberu #поддержка_пользователей #хакатон

Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса

Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. А ещё раньше наша VLM стала применяться в Поиске по картинкам, Умной камере и Нейроэксперте. Всё это время технология не стояла на месте и продолжала совершенствоваться. Пожалуй, пришло время поделиться опытом. На связи Роман Исаченко из команды компьютерного зрения в Яндексе. Сегодня я расскажу, какой путь наша VLM прошла за полгода. А Дарья @dara-orange Виноградова, которая работает со мной в той же команде, поделится описанием пайплайна зрения в Алисе. Мы опишем весь путь формирования новой модели: от архитектуры и сбора данных до финальных замеров качества и скорости.

https://habr.com/ru/companies/yandex/articles/904584/

#vlm #natural_language_processing #computer_vision #multimodality #яндекс

Накорми языковую модель документами

Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение простое: скормить документы большой языковой модели (LLM) и получать ответы. На практике же технические решения оказываются далеко не такими эффективными и качественными, как хотелось бы. Сейчас для работы с локальными документами доступны два основных подхода - RAG (Retrieval-Augmented Generation) и дообучение модели (fine-tuning). Оба подхода имеют свои преимущества и ограничения. В статье рассмотрим их как с теоретической, так и с практической точки зрения.

https://habr.com/ru/articles/898938/

#rag #finetuning #huggingface #llmмодели #llm #нейросети #большие_языковые_модели #nlp #искусственный_интеллект #natural_language_processing

Помощник читателя: визуализируем сюжет

Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем: - граф связей между героями; - хронологию событий; - карту мест действия.

https://habr.com/ru/articles/900870/

#python #machine_learning #artificial_intelligence #natural_language_processing #литература

RAG: борьба с низким качеством ответов в условия экономии памяти на GPU

Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять. В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.

https://habr.com/ru/companies/pgk/articles/897658/

#rag #natural_language_processing #искусственный_интеллект #машинное_обучение #иипомощник #чанки #baseline

Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype

Всем привет! Сегодня мы

https://habr.com/ru/companies/mts_ai/articles/892176/

#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #sidebyside

[Перевод] Применение методов обработки естественного языка и больших языковых моделей в области открытия новых материалов

Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно описанные наборы данных, извлеченные из научной литературы, инструменты на базе ИИ, включая методы обработки естественного языка (NLP), позволяют ускорить исследования в области материалов. Совершенствование NLP-подходов и появление больших языковых моделей (LLMs) способствуют более эффективному извлечению и использованию информации. В настоящем обзоре рассматриваются возможности применения инструментов NLP в науке о материалах, с особым вниманием к автоматическому извлечению данных, поиску новых материалов и автономным исследованиям. Также обсуждаются вызовы и перспективы, связанные с использованием LLMs, и очерчиваются будущие достижения, способные вывести отрасль на новый уровень. Дисклеймер : это вольный перевод научной статьи из журнала Nature

https://habr.com/ru/articles/893896/

#материаловедение #nlp #natural_language_processing #nlu #natural_language_understanding #llm #gpt