Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо

Две недели мы пытались обогнать собственную базу. Файнтюном. Потом ещё раз файнтюном на переделанном корпусе. Потом — RAG. Все три раунда база выиграла. Это статья про отрицательный результат. Я считаю, он полезнее победы — потому что воспроизводимый и объясняет, какой инструмент под какую задачу. Дальше — цифры, стек и три разбора «почему не взлетело».

https://habr.com/ru/articles/1040322/

#llm #gemma4 #dora #lora #sft #llmjudge

Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо

У нас есть открытый бенчмарк https://github.com/csylabs-org/lii-sport-bench-ru для оценки русскоязычных LLM на спортивном домене — ЛИИ-Спорт-Bench-RU, 655 экспертных вопросов по 35 видам спорта. В...

Хабр