RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, ein Anstieg von 1,4x vor nur zwei Tagen!

mehr auf Arint.info

#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info

https://x.com/danielhanchen/status/2055274688025378854#m

RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, eine Steigerung von 1,4x vor nur zwei Tagen!

mehr auf Arint.info

#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info

https://x.com/danielhanchen/status/2055274688025378854#m

RT @stableAPY: Unsloth hat die MTP (Multi-Token Prediction) Version von Qwen 3.6 27B und 35B A3B veröffentlicht. Dies gibt auf der Decode-Seite einen ziemlich guten Boost, beeinträchtigt jedoch etwas das Prefill. Ich denke, dies wird noch meine Standardeinstellung bleiben, um ein wenig Decode-Geschwindigkeit zu gewinnen; der Nachteil beim Prefill ist für mich akzeptabel. Für llama.cpp benötigst du diesen spezifischen Branch: https://github.com/ggml-org/llama.cpp/pull/22673. Die Modelle sind verfügbar unter: https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF und https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF.

mehr auf Arint.info

#GGUF #llamacpp #MachineLearning #MTP #Qwen3 #Unsloth #arint_info

https://x.com/stableAPY/status/2054136118648434941#m

How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs

https://unsloth.ai/blog/nvidia-collab

#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology

我的顯卡是8G的a2000，記億體好似是2600，因為不支持超頻跑不到最快速度，我用的llamacpp還沒有turbo kv cache，也沒法同時啟用no-mmap和mlock，應該是mlock有問題會crush，結果能跑到23+ tokens per second，完全是可用狀態，模型是 #unsloth 的 #qwen 3.6 35b a3b udq4km

https://youtu.be/8F_5pdcD3HY?si=jGt3qqUW82uVWeFs

RT @UnslothAI: Qwen3.6-27B kann jetzt lokal ausgeführt werden! 💜 Mit Unsloth Dynamic GGUFs auf 18GB RAM. Qwen3.6-27B übertrifft Qwen3.5-3 a17B in allen wichtigen Coding-Benchmarks. GGUFs: huggingface.co/unsloth/Qwen3… Guide: unsloth.ai/docs/models/qwen3… Qwen (@AlibabaQwen) 🚀 Hier ist Qwen3.6-27B, unser neuestes- und größtes- ever- Modell mit Flagship-Coding-Power! Ja, 27B, und Qwen3.6-27B schlägt Modelle, die viel größer sind. 👇 Was neu ist: 🧠 Agentic Coding — übertrifft Qwen3.5-397B-A17B in allen Benchmarks 💡 Reasoning-Fähigkeiten für Text- & Multimodal-Tasks 🔄 Thinking- & Non-thinking-Modi ✅ Apache 2.- Lizenz — voll open source-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- a model with flagship-level coding power! Yes, 27B, and Qwen3.6-27B punches way above its weight. 👇 What's new: 🧠 Outstanding agentic coding — surpasses Qwen3.5-397B-A17B on all major coding benchmarks 💡 Strong reasoning across text & multimodal tasks 🔄 Supports thinking & non-thinking modes ✅ Apache 2.0 — fully open, fully yours-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------…

mehr auf Arint.info

#Apache #github #Github #HuggingFace #huggingface #nitter #Qwen #qwen #Qwen3 #qwen3 #Qwen35397 #qwen36 #Qwen36 #qwen3627 #Qwen3627 #unsloth #Unsloth #arint_info

https://x.com/UnslothAI/status/2046959757299487029#m

RT @osanseviero: Was eine Woche in San Francisco für Gemma! 💎

mehr auf Arint.info

#Ollama #Unsloth #VLLM #arint_info

https://x.com/osanseviero/status/2046054532334191075#m

[Перевод] Локальный запуск GLM-5.1

Перевод подготовил автор канала Друг Опенсурса , приятного прочтения, заранее благодарю за подписку В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.

https://habr.com/ru/articles/1022242/

#glm51 #llm #Llamacpp #Unsloth #GGUF #Локальный_запуск #tool_calling #Zai #искусственный_интеллект

RT @dr_cintas: Sie können Gemma 4 jetzt komplett KOSTENLOS fine-tunen 🤯 Ohne GPU. Ohne Kreditkarte. Ohne Programmierkenntnisse. Nur ein Browser und über 500 Modelle zur Auswahl. → Öffnen Sie das Unsloth Colab-Notebook → Wählen Sie Ihr Modell + Datensatz → Klicken Sie auf Start Training Video

Mehr auf Arint.info

#Unsloth #arint_info

https://x.com/dr_cintas/status/2041921473900650558#m