Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач

Что важнее: создать продукт , или доставить его до пользователя ? Оба этапа необходимы. Сегодня обсудим второй . Как нам построить поисковую e-com систему. Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку , но и настройка поисковой выдачи по запросу. Быстро соберем поисковой MVP-сервис . Дообучим модель E5 на реальных данных от Amazon . Определим метрики качества и сравним BM25 , pretrain E5 и fine-tune E5 . Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач . И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности. Погрузиться в семантический поиск →

https://habr.com/ru/companies/datafeel/articles/925290/

#machine_learning #information_retrieval #semantic_search #huggingface #pytorch #nlp #e5 #streamlit #mvp #дообучение_моделей

Post-Doctoral Fellowship

State University of São Paulo (UNESP)

Post-Doctoral Fellowship
Research in Information Retrieval, LLMs, and Natural Language Inference

See the full job description on jobRxiv: https://jobrxiv.org/job/state-university-of-sao-paulo-unesp-27778-post-doctoral-fellowship/?feed_id=89758

#ai_machine_learning #information_retrieval #ScienceJobs #hiring #research
https://jobrxiv.org/job/state-university-of-sao-paulo-unesp-27778-post-doctoral-fellowship/?feed_id=89758

Lingua Franca — Машинный перевод с учётом именованных сущностей для вопросно-ответных систем

Машинный перевод может улучшить существующие вопросно‑ответные системы (англ. Question Answering — QA), которые имеют ограниченные языковые возможности, позволяя им поддерживать несколько языков. Однако у машинного перевода есть один основной недостаток: часто такие системы не справляются с переводом именованных сущностей, которые нельзя перевести дословно. Например, немецкое название фильма «The Pope Must Die» переводится как «Ein Papst zum Küssen», что дословно означает «Папа для поцелуев». На Русском языке название фильма звучит так: «Папа должен похудеть». Поскольку правильность именованных сущностей критична для вопросно‑ответных систем, необходимо как можно лучше обеспечить правильность их перевода. В данной статье я представляю наш метод машинного перевода, учитывающий именованные сущности, под названием «Lingua Franca». Он использует графы знаний для использования хранящейся там символьной информации с целью обеспечения правильности перевода именованных сущностей. И да, это работает!

https://habr.com/ru/articles/791616/

#машинный_перевод #именованые_сущности #machine_translation #named_entities #question_answering #вопросно_ответный_поиск #графы_знаний #knowledge_graphs #information_retrieval