Использование библиотеки spaCy для поиска сущностей в тексте

Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.

https://habr.com/ru/articles/976600/

#nlp #spacy #ruler #python

Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python

Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.

https://habr.com/ru/articles/977210/

#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet

Пейзажная лирика глазами кода

Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.

https://habr.com/ru/articles/968362/

#python #mystem #pymorphy2 #nltk #spacy #razdel

Musik für das Wochenende

https://iorie.bandcamp.com/album/iorie-remixes

#music #iorie #electronic #slowmotion #deep #spacy #house #berlin

I've been shit-talking #spaCy, but today I tried their dep_news_trf model and I take it back. Quite neat, in fact. Still, I really like #stanza.

#Python #NLP #linguistics

Переводим fb2 книжки, с нейронками, для себя

Хотел написать классическую статью, ни разу не писал, ради интереса попросил ChatGPT и она все написала, стало скучно до жути, эта «классическая » статья будет под спойлером, она реально по теме, написана с двух запросов, а далее будет кратенько и технически что и зачем, со ссылками на примеры. Для технической части нужны знания python, llm, cuda и что такое OpenAI API.

https://habr.com/ru/articles/946870/

#перевод #переводы #fb2 #scifi #spacy #python #cuda #llm #llmмодели #llmприложения

[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...

Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)

#llm #google #langextract #nlp #spacy #prodigy #ner