Корпус мансийского языка часть 1. Модель нейронного машинного перевода

Паща о̄лэн, Хабр! (Привет, Хабр!) На связи Югорский НИИ информационных технологий (ЮНИИИТ). Мы запускаем цикл статей о нашем большом проекте - «Корпус мансийского языка». Мансийский язык - один из коренных языков народов Севера, находящийся под угрозой исчезновения. По данным последней переписи, народ манси насчитывает менее 12.308 человек, а говорящих на данном языке еще меньше. Наш проект направлен на сохранение и цифровизацию этого языка с использованием современных технологий машинного обучения. Работы ведутся над множеством моделей машинного обучения: нейронный переводчик (NMT), система распознавания (STT) и синтеза речи (TTS), модель распознавания мансийских символов (OCR), ну и конечно же большая языковая модель способная общаться на мансийском языке (LLM). Мы планируем рассказать о каждой разработанной модели в отдельной статье, и, как вы уже поняли из названия, эта публикация посвящена нейронному переводчику с русского на мансийский язык и обратно. Что расскажем: ● Как собирали и размечали обучающие данные; ● Какие модели и подходы тестировали; ● Каких результатов удалось достичь. Итак, давайте пойдем по порядку. Как собирали и размечали обучающие данные? Первая и самая сложная задача при создании нейронного переводчика (как, впрочем, и в любой другой ML-задаче) - найти качественные данные. Для обучения NMT требуются параллельные тексты на двух языках. Если для популярных языковых пар доступны миллионы параллельных предложений, то для мансийского языка готовых корпусов нужного объема просто не существует.

https://habr.com/ru/articles/981574/

#nmt #nllb200 #мансийский_язык

Mathematics and 200-point scores are just the tip of the iceberg of NMT results. What did they really show, and do we want to see it? Read Oksana Onishchenko's article.

#NMT #education #learning #Ukraine
https://zn.ua/eng/education-mirrored-by-exams-what-we-really-see-in-the-results.html

Handbook of Neurologic Music Therapy 2nd ed. by Michael H. Thaut & Volker Hömberg

Neurologic Music Therapy (NMT) is a form of music therapy developed for people suffering from cognitive, sensory, or motor dysfunctions - arising from neurological diseases of the nervous system.

@bookstodon
#books
#nonfiction
#neurology
#MusicTherapy
#NMT
#Oxford

23.5.1939 Adolf Hitler gibt militärischer Führungsspitze in Deutschland bekannt, bei erster passender Gelegenheit Polen zu überfallen. Rede v. R. Schmundt aufgezeichnet. Schmundt-Protokoll später wichtiges Dokument im Nürnberger Prozess gegen Hauptkriegsverbrecher.

#OTD #OnThisDay #NMT #Geschichte