Миф о «равных весах»: что на самом деле скрывается внутри малых моделей

Последние годы развитие LLM шло по пути экстенсивного масштабирования: считалось, что чем больше весов и данных, тем умнее модель. В индустрии даже сложилась жесткая классификация по количеству параметров: 7B, 8B, 32B. Она же создает иллюзию, что модели одной весовой категории обладают сопоставимыми аналитическими, генеративными и логическими характеристиками, что в корне противоречит современным эмпирическим наблюдениям. Но действительно ли «вес» модели все еще определяет ее качество в 2026 году? Или компактная архитектура способна конкурировать с гигантами, требующими H100 и сотни гигабайт VRAM? В этой статье мы не будем рассуждать об этом абстрактно: возьмем реальные модели из каталога FMC и посмотрим на практике, как размер влияет на качество reasoning, генерации и прикладную эффективность — и влияет ли вообще.

https://habr.com/ru/companies/selectel/articles/1043278/

#mlops #selectel #llmмодели #qwen #phi4 #mistral #gptoss #deepseek #ai #aiагенты

Миф о «равных весах»: что на самом деле скрывается внутри малых моделей

Последние годы развитие LLM шло по пути экстенсивного масштабирования: считалось, что чем больше весов и данных, тем умнее модель. В индустрии даже сложилась жесткая классификация по количеству параметров: 7B, 8B, 32B. Она же создает иллюзию, что модели одной весовой категории обладают сопоставимыми аналитическими, генеративными и логическими характеристиками, что в корне противоречит современным эмпирическим наблюдениям. Но действительно ли «вес» модели все еще определяет ее качество в 2026 году? Или компактная архитектура способна конкурировать с гигантами, требующими H100 и сотни гигабайт VRAM? В этой статье мы не будем рассуждать об этом абстрактно: возьмем реальные модели из каталога FMC и посмотрим на практике, как размер влияет на качество reasoning, генерации и прикладную эффективность — и влияет ли вообще.

https://habr.com/ru/companies/selectel/articles/1043278/

#mlops #selectel #llmмодели #qwen #phi4 #mistral #gptoss #deepseek #ai #aiагенты

I like #Claude, but the lowest-cost model, #Haiku, is mostly worthless. I was talking about power supplies for a product, and it told me I get get more *power* out of a North American outlet because 20A breakers are common here, whereas in Europe and Asia 16A are more common.

I save on tokens using Haiku, but I end up spending more because the output is worse than #Gemini Flash-Lite, #llama3, or #Phi4. Haiku *may* be better at #RAG; I'm not sure, but it doesn't make up for the #LLM being bad.

Топ локальных нейросетей ︎◍ 2026: подборка ИИ для запуска из дома

Сознаюсь: когда я впервые попытался запустить большую языковую модель на своём ноутбуке, всё закончилось вертушкой кулера, жутким лагом и системным сообщением “Недостаточно памяти”. Казалось, что домашний ИИ – удел владельцев космических станций с жидким азотом. Но прошло совсем немного времени, и ситуация изменилась до неузнаваемости. Теперь достаточно обычной RTX 3060 и получаса свободного вечера, чтобы завести себе персонального ассистента, который работает на даче без интернета и умеет шутить (или хотя бы пытается). Я расскажу обо всём по порядку – без воды и фанатизма. Что вообще запускать, на чём запускать, какие подводные камни ждут и почему “самая новая модель” дома – далеко не всегда лучший выбор. Поехали! Готовьте отвёртку и VRAM – мы начинаем!

https://habr.com/ru/companies/bothub/articles/1028906/

#gemma_4 #qwen36 #qwen35 #gptoss30b #mistral_7b #phi4 #deepseek_v32 #whisper #nemotron_cascade_2

Tested Microsoft Phi4 14B on my Linux server.

44.8 t/s avg. 9.4GB VRAM. Three runs, three nearly identical speeds --one of the most consistent models I've tested. No drama, no variance, just a quiet workhorse. Most models get chattier as context builds. Not this one.

Turns out Microsoft was cooking at home while everyone assumed they just ordered a carry out from OpenAI.

Read the full breakdown below.

#LocalAI #Ollama #LLM #phi4 #Homela

https://goarcherdynamics.com/2026/03/27/aihome-phi4-14b-review/?utm_source=mastodon&utm_medium=jetpack_social

Microsoft veröffentlicht Phi-4-Reasoning-Vision-15B als Open-Weight-Version.

Das Modell kombiniert Bilderkennung mit logischen Denkprozessen. Es interpretiert Benutzeroberflächen und Diagramme strukturiert, um darauf basierend Aktionen auszuführen.

Durch den Fokus auf ausgewählte Trainingsdaten bleibt der Rechenaufwand gering genug für lokale Anwendungen. #Microsoft #Phi4 #AI
https://www.all-ai.de/news/news26top/phi-4-reasoning-vision-release

Microsoft's new Phi‑4 Reasoning Vision 15B packs multimodal reasoning into a compact 15‑billion‑parameter model, delivering low‑latency inference for vision‑language tasks. The paper shows how a tiny model can still reason across images and text, opening doors for open‑source AI on edge devices. Curious? Dive into the benchmarks and see the numbers. #Phi4 #LowLatencyAI #MultimodalAI #CompactModel

🔗 https://aidailypost.com/news/microsofts-phi-4-reasoning-vision-15b-offers-lowlatency-compact-ai

Định dạng GGUF có thể đã hỗ trợ các mô hình LLM lai Transformer/Mamba? LM Studio đã có các file GGUF cho Granite 4.0 của IBM. Người dùng muốn chuyển đổi Phi-4-mini-flash-reasoning (MSFT) và Nemotron-Nano-9B-v2 (Nvidia) sang GGUF để chạy cục bộ. Thảo luận về khả năng kỹ thuật và chi phí suy luận.

#GGUF #LLM #AI #Mamba #Transformer #Granite4 #Phi4 #NemotronNano #MáyHọc #TríTuệNhânTạo #MôHìnhNgônNgữ

https://www.reddit.com/r/LocalLLaMA/comments/1nzpjz8/how_did_lm_studio_convert_ibms_granite_40_mod