Whisper или GigaAM для русского ASR в продакшене: три ловушки бенчмарка, которые перевернут ваши выводы

Полгода назад мы публиковали статью про то, как получили 3.3% WER для русского ASR с GigaAM. Замеры шли на пяти TTS-фрагментах из аудиокниг, что подтверждало тезис «специализация бьёт универсальность». С тех пор мы перемерили обе модели на реальных продакшен-записях и попали в три ловушки бенчмарка. Первый замер показал «GigaAM впереди Whisper на 7 pp». На тех же данных, после небольшой чистки, обе модели идут вровень. А на самом шумном клипе с реверберацией Whisper уходит вперёд на 19 pp. Это всё на одном подкасте, с одними и теми же скриптами, одними и теми же моделями. Детали разбираем под катом. Протестировали 10 методов «улучшения» аудио (большинство сделали хуже), измерили RTF на RTX 4090 и сформулировали финальный выбор: GPU - до обученный Whisper-turbo, CPU - GigaAM v3-e2e-rnnt. И почему именно так.

https://habr.com/ru/articles/1042574/

#распознавание_речи #ASR #Whisper #GigaAM #WER #fasterwhisper #бенчмарк #finetuning #русский_ASR #оффлайнраспознавание

#Steady #Klimacrew

Wenn #Sprachmodelle plötzlich menschenverachtende Aussagen treffen oder gefährliche Tipps geben, läuft etwas gewaltig schief.

Eine aktuelle Untersuchung zeigt, wie schnell #Feintuning unerwartete Folgen haben kann – mit brisanten Konsequenzen für reale Anwendungen.

Das Phänomen wurde nur durch Zufall entdeckt.

https://tino-eberl.de/missbrauch-kuenstlicher-intelligenz/gefaehrliches-finetuning-ki-modelle-koennen-aus-dem-ruder-laufen/

#KI #Sprachmodelle #Finetuning #AIRisiko #LLM #AISecurity #KIMissbrauch #Retröt

Ожидание: сделать ИИ-примерочную обоев за 2 дня. Реальность: пришлось добучать свою модель на SD

В условиях жесткой конкуренции на рынке отделочных материалов любому магазину жизненно необходимо хоть какое-то осязаемое преимущество. Стандартными каталогами и скидками уже никого не удивить. Так у нас родилась идея: сделать онлайн-примерочную обоев. Кажется, звучит как киллер-фича — дать клиенту возможность до покупки увидеть, как конкретный паттерн будет смотреться в его реальном интерьере. На тот момент на рынке вовсю хайповали генеративные модели (такие как «Nano Banana»). На первый взгляд казалось, что проблема решается в два клика. План был надежен, как швейцарские часы: получить API-ключ, отправить по эндпоинту фотографию интерьера и текстуру обоев, сопроводить это правильным промптом (с указанием учитывать перспективу, освещение и масштаб) и забирать готовый результат. Но на практике оказалось, что задача не просто нетривиальная. Она вскрыла целый пласт проблем, о которых создатели популярных генеративок предпочитают умалчивать.

https://habr.com/ru/articles/1039804/

#computer_vision #stable_diffusion #нейросети #finetuning #ecommerce #визуализация_интерьеров #chatgpt

🌞#Sun – The billion-year energy scandal!⚡

The #Zoomposium with Prof. Dr. #ThomasNaumann and Dr. #IljaBohnet focuses precisely on such fundamental #unansweredquestions in #science:

📎https://philosophies.de/index.php/2022/10/26/zoomposium-naumann-bohnet-das-raetselhafte-universum/

📺https://youtu.be/k22eSYJgPD0

#NuclearFusion #Physics #Cosmology #Energy #Einstein #TheoryOfRelativity #OpenQuestions #DarkMatter #StringTheory #Metaphysics #DESY #PhilosophyOfScience #Universe #Cosmos #FineTuning #Research #Science #Philosophy #Astrophysics #NuclearPhysics

RT @jun_song: One of my best friends from my US college days works as an AI engineer at Big Tech and is about to finish his PhD. I only got my bachelor's, came back to Korea, and worked in a completely different field: strategic planning. My job was planning new businesses and making factories and affiliates run efficiently. My only involvement with AI was building and implementing workflow automation when they asked for it. I was talking to my friend recently. He knows everything about his specific field, but he knew absolutely nothing about how local LLMs work or post-training. That made me realize something: AI has so many different subfields, and having a degree doesn’t mean you know everything. Curiosity for new things and the drive to learn them will be way more important than a degree going forward. And I’ve said this before, but I’m not posting this motivation to sell you a course. I will never do that. Set up a research multi-agent for the latest information and study new things. It will help you massively. If you can leverage your current domain knowledge to figure out which fields will be promising in the future, that’s the best scenario. Thanks for reading this long post. I genuinely want all my followers to succeed, and I hope this information was helpful. 송준 Jun Song (@jun_song) A year ago, I didn't care about fine-tuning or post-training at all. But when I thought about corporate security, it hit me: the demand for fine-tuning is going to be massive. I locked in for a few months. Using nothing but my MacBook, I fine-tuned the SuperGemma4 series entirely on my own, and it r…

mehr auf Arint.info

#agent #finetuning #Huggingface #nitter #opensource #things #US #arint_info

https://x.com/jun_song/status/2056591055064318143#m

Das Oxford Internet Institute zeigt: Empathisches Fine-Tuning von LLMs erhöht Fehlerquoten.

Modelle wie GPT-4o, Llama-70b und Qwen-32b liefern nach Warm-Persona-Tuning bis zu 30 Prozentpunkte häufiger falsche Fakten. Sie bestätigen fehlerhafte Nutzerannahmen, statt zu korrigieren. Kontrollgruppen mit kaltem Profil blieben stabil.

#LLM #FineTuning #OxfordInternetInstitute #Sycophancy #AIGeneratedImage

https://www.all-ai.de/news/news26top/sprachmodelle-freundlich-studie

#AIEngineering #rl #llm #finetuning

https://www.digitalocean.com/community/conceptual-articles/group-relative-policy-optimization-reinforcement-learning