HabrАвтоматическое построение онтологии
О чём статья: описание простого подхода к построению системы знаний через синтаксис (NLP) и семантику (LLM). Под онтологией в общем виде понимается некое представление о структуре мира, о сущностях и их взаимосвязях. В информатике тоже прижилось это понятие — как формальное описание области знаний, позволяющее ее структурировать и систематизировать. Где это может пригодиться? Везде, где было бы удобно представить разрозненные сведения в единую систему для поиска и обработки — документы организаций, обращения пользователей, экспертные системы и т. д. В прошлом веке были попытки делать такие системы, прописывая все возможные запросы и ответы на на них — понятно, что такой способ не сильно взлетел. Небольшое изменение запроса — и ответ не найден, чтобы что‑то найти — нужно точно знать, как именно разработчик обозвал те или иные сущности. В наши дни, кажется, появился инструмент для преодоления этих трудностей — языковые модели (LLM). Да, к ним предъявляют претензии по поводу галлюцинаций и прочего, но это уже хорошее приближение к тому, чтобы формализовать такую вроде бы неформализуемую штуку, как человеческая речь. Итак, попробуем программно выделить смысловую структуру из текста. Инструментарий пусть будет такой:
