Как мы адаптировали LLM для русского языка

Как мы потратили 2 месяца на адаптацию Qwen3-0.6B для русского языка. Написали систему с нуля на основе 8 научных статей из arXiv. Исправили 6 критических багов (от NaN в fp16 до архитектурных проблем). Получили +35% training speed и +60% inference speed . В этой статье - честный рассказ о том, что не работает из коробки, какие грабли ждут в production, и как мы их обошли. Мы - это я и мой друг =)

https://habr.com/ru/articles/964510/

#nlp #llm #machinelearning #RussianNLP #tokenization #pytorch #deeplearning #ProductionML #mawo