Извлечение и обработка требований из документов с помощью NLP-инструментов

Приветствую всех читателей Хабр. Думаю, многим знаком этот сценарий: появляется задача — и первая мысль: «скормлю все LLM, она разберётся». Поначалу получается красиво, всё работает и есть первые результаты. Потом начинаешь проверять детали и замечаешь, что модель местами добавляет текст от себя. Потом смотришь на затрачиваемое время и понимаешь, что при текущей скорости обработка всего объёма документов закончится через год. Именно в такой ситуации я оказался, когда захотел обработать базу ГОСТов. Эта статья — про то, как я прошёл путь от « кидаем всё в LLM » до детерминированного пайплайна на классических NLP-инструментах . И про то, как в этом помогли те же самые языковые модели — но уже в роли консультантов, а не рабочей лошадки.

https://habr.com/ru/companies/ascon/articles/1031940/

#nlp #spacy

The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...

Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp

#fanboy #nlp

Что писала Цветаева о любви. Исследование лирики на Python

Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.

https://habr.com/ru/articles/1019604/

#python #pymorphy2 #spacy #navec #чтение_книг #литература #поэзия #поэзия_и_проза #проза #научнопопулярное

Использование библиотеки spaCy для поиска сущностей в тексте

Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.

https://habr.com/ru/articles/976600/

#nlp #spacy #ruler #python

Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python

Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.

https://habr.com/ru/articles/977210/

#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet

Пейзажная лирика глазами кода

Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.

https://habr.com/ru/articles/968362/

#python #mystem #pymorphy2 #nltk #spacy #razdel

Musik für das Wochenende

https://iorie.bandcamp.com/album/iorie-remixes

#music #iorie #electronic #slowmotion #deep #spacy #house #berlin

I've been shit-talking #spaCy, but today I tried their dep_news_trf model and I take it back. Quite neat, in fact. Still, I really like #stanza.

#Python #NLP #linguistics