Mastodawn

💡 Just converted the original Dante-7B model into GGUF format for faster inference and broader compatibility! Huge thanks to outflanknl for creating the base. Check it out: https://huggingface.co/ganchito/dante-7b.gguf @huggingface #ollama #gguf #redteam #ai

ganchito/dante-7b.gguf · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Gea-Suan Lin Aug 15

https://blog.gslin.org/archives/2025/08/15/12574/ollama-%e8%88%87-llama-cpp-%e7%9a%84%e6%81%a9%e6%80%a8/

Ollama 與 llama.cpp 的恩怨 (?)

#20b #gguf #gpt #llama.cpp #model #ollama #openai #oss

Ollama 與 llama.cpp 的恩怨 (?)

前幾天看到「Ollama and gguf (github.com/ollama)」這邊的討論，原文是指到 GitHub 上面的 ticket，有人反應 Ollama 無法跑最近 OpenAI 新出的 gpt-oss-20b (GGUF 格式，像是 ggml-org/gpt-oss-20b-GGUF 這個)：「gpt-oss 20b gguf model fail to run #11714」。然後 Oll...

Gea-Suan Lin's BLOG

Qiita - 人気の記事 Aug 14

M4 の MacBook Air でローカルLLM（2種）： MLX版と公式の GGUF版の「Jan-v1-4B」をそれぞれ軽く試す（MLX LM と LM Studio を利用）
https://qiita.com/youtoy/items/dc8818981b7baff5dc08?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GGUF #LMStudio #mlx_lm #Jan_v1 #Jan_v1_4B

M4 の MacBook Air でローカルLLM（2種）： MLX版と公式の GGUF版の「Jan-v1-4B」をそれぞれ軽く試す（MLX LM と LM Studio を利用） - Qiita

はじめにこの記事は、過去にも色々と試してきているローカルLLM関連の話です。技術情報のチェックと合わせて、ほぼ毎日に近いくらい確認している Hugging Face の MLX版モデル（主に「mlx-community (MLX Community)」のもの）を見てい...

Qiita

GripNews Aug 11

🌗 gpt-oss 20b gguf 模型運行失敗
➤ Ollama 平臺 GGUF 模型運行問題追蹤
✤ https://github.com/ollama/ollama/issues/11714
本文記錄使用者在 Ollama 平臺上運行 gpt-oss 20b 模型時遇到的問題。與原始模型順利運行不同，GGUF 格式的模型出現了 tensor 類型錯誤，初步懷疑是 ggml 依賴庫需要更新，尤其提及 llama.cpp 項目。雖然在 llama.cpp 本身能夠正常運行 GGUF 模型，但問題仍然存在於 Ollama 環境。
+ 感覺是 Ollama 的 ggml 庫版本太舊了，需要更新一下。
+ 樓主是在哪個系統上跑的？我這邊有時也會遇到類似問題，但換個版本就好了。
#軟體錯誤 #模型運行 #GGUF 格式

gpt-oss 20b gguf model fail to run · Issue #11714 · ollama/ollama

What is the issue? The original model coudl run without problem, but the gguf model fail to run for below errors May need an update of ggml dependencies like llama.cpp ggml-org/llama.cpp#15091 Note...

GitHub

Habr Jun 20

Русскоязычные LLM для вызова инструментов, переводов и финансовой аналитики

🧠 Русскоязычные LLM для вызова инструментов, переводов и финансовой аналитики Подборка моделей, которые действительно позволяют отказаться от OpenAI и вести разработку в закрытом контуре без подключения к интернету 🔌

https://habr.com/ru/articles/920400/

#typescript #javascript #python #llm #ai #openai #grok #agents #tensorflow #gguf

Русскоязычные LLM для вызова инструментов, переводов и финансовой аналитики

Предыдущая статья с подборкой моделей для русского draw a cat which choosing LLM model Все модели из списка были проверены мной лично и ведут себя именно как написано. Мой компьютер оборудован 64ГБ...

Хабр

Habr Jun 18

Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости

Токены летят быстрее, а результат — медленнее: парадокс квантизации DeepSeek-R1. Замеры 4 версий модели доказали: уменьшение размера ускоряет генерацию отдельных токенов, но что происходит с общим временем ответа?

https://habr.com/ru/articles/919452/

#deepseek #deepseek_r1 #deepseek_r10528 #ai #llm #llmмодели #gguf #кодогенерация #local_ai #llamacpp

Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости

Введение После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла...

Хабр

Habr 25+Jun 10

Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта

Локальный DeepSeek-R1-0528 на скромном железе? Реально. Со скоростью улитки? Первоначально – да. Но итог моего эксперимента: эту 'улитку' можно заставить работать вдвое быстрее.

https://habr.com/ru/articles/916966/

#deepseek #ai #llm #local_ai #epyc #deepseek_r1 #deepseek_v3 #llamacpp #huggingface #gguf

Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта

Зачем? У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание...

Хабр

Habr Jun 9

Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта

https://habr.com/ru/articles/916966/

#deepseek #ai #llm #local_ai #epyc #deepseek_r1 #deepseek_v3 #llamacpp #huggingface #gguf

Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта

Хабр

Winbuzzer May 6

Microsoft Clippy Returns as AI Assistant, Empowered By LLMs You Can Run Locally on Your PC

#AI #Clippy #AIClippy #AIAssistants #LLMs #LocalAI #OpenSource #ElectronJS #LlamaCpp #GGUF #Gemma3 #Llama3 #Phi4 #Qwen3 #RetroTech #MicrosoftOffice #OnDeviceAI

https://winbuzzer.com/2025/05/06/microsoft-clippy-returns-as-ai-assistant-empowered-by-llms-you-can-run-locally-on-your-pc-xcxwbn/

Habr Mar 31

Сравниваем скорость генерации LLM локально и по API

По ощущениям, на Хабре одна группа пользователей пользуется LLM локально, а другая - через внешние API. А третья еще не определилась, и у неё периодически возникают следующие вопросы: - Что будет, если запускать LLM на CPU вместо GPU? Сильно упадет скорость? - А как это от размера модели зависит? - А DeepSeek оригинальный очень большой - а можно его с диска подкачивать, если он в RAM не влезает? В общем, я пару раз отвечал на данные вопросы в комментариях - но поскольку я периодически натыкаюсь на них вновь и вновь, то решил сделать эту небольшую статью. TLDR : Я сделал небольшое HTML-приложение, которое наглядно дает ощущение скорости генерации в разных инсталляциях . Если непонятно, что там к чему - то лучше прочитать статью.

https://habr.com/ru/articles/896204/

#gpt #ollama #gguf

Сравниваем скорость генерации LLM локально и по API

По ощущениям, на Хабре одна группа пользуется LLM локально, а другая - через внешние API. А третья еще не определилась, и у неё периодически возникают следующие вопросы: Что будет, если запускать LLM...

Хабр