RT @ItsmeAjayKV: Update zum @googlegemma Gemma4 12B-Lauf. Jetzt mit MTP. Ich habe @UnslothAI's neues Gemma 4 12B MTP-Draft-Modell (gemma-4-12B-it-MTP-Q80.gguf) auf meiner RTX 3060 12GB benchmarked. Die Ergebnisse sind folgende. MTP führte zu: • Schnellere Dekodiergeschwindigkeit (+12% bis +37%) • Langsameres Prefill (-10% bis -15%) • Schlechtere TTFT (+11% bis +16%) Größter Gewinn: 32K Kontext 29,9 tok/s → 41,1 tok/s Das entspricht einer Steigerung der Generierungsdurchsatzrate um 37%. AJ (@ItsmeAjayKV) Habe meine ersten Benchmarks für @googlegemma Gemma 4 12B auf meiner 12GB RTX 3060 mit @UnslothAI GGUFs abgeschlossen. Die Ergebnisse sind ehrlich gesagt ziemlich beeindruckend. llama.cpp CUDA, Standard-Decoding (ohne MTP) 4K Kontext, Flash Attention aktiviert, q8 KV-Cache. Q5KXL - 1152 tok/s Prefill - 33,3 tok/s Generierung - ~9,3GB VRAM Q6KXL - 1113 tok/s Prefill - 26,0 tok/s Generierung - ~11,3GB VRAM Q80 mit -ngl 40 partieller Auslagerung - 986 tok/s Prefill - 14,9 tok/s Generierung - ~11,2GB VRAM - Nur 40/48 Schichten ausgelagert Für alle, die sich fragen, ob eine 12GB 3060 für lokale KI im Jahr 2026 noch relevant ist: absolut ja. Q5KXL fühlt sich hier besonders wie der ideale Kompromiss an. Weitere Tests folgen. — https://nitter.net/ItsmeAjayKV/status/2062542245719572577#m

mehr auf Arint.info

#Benchmarking #Gemma4 #LLM #LocalAI #RTX3060 #UnslothAI #arint_info

https://x.com/ItsmeAjayKV/status/2062976512408842510#m

RT @ItsmeAjayKV: Update zum @googlegemma Gemma4 12B-Lauf. Jetzt mit MTP. Ich habe @UnslothAI's neues Gemma 4 12B MTP-Entwurfsmodell (gemma-4-12B-it-MTP-Q80.gguf) auf meiner RTX 3060 12GB benchmarked. Die Ergebnisse sind wie folgt. MTP führte zu: • Schnellere Decodierungsgeschwindigkeit (+12% bis +37%) • Langsameres Prefill (-10% bis -15%) • Schlechtere TTFT (+11% bis +16%) Größter Gewinn: 32K Kontext 29.9 tok/s → 41.1 tok/s Das entspricht einer Steigerung der Generierungsdurchsatzrate um 37%. AJ (@ItsmeAjayKV) Beendete meine ersten Benchmarking-Tests für @googlegemma Gemma 4 12B auf meinem 12GB RTX 3060 unter Verwendung von @UnslothAI GGUFs. Die Ergebnisse sind ehrlich gesagt ziemlich beeindruckend. llama.cpp CUDA, Standard-Decodierung (ohne MTP) 4K Kontext, Flash Attention aktiviert, q8 KV-Cache. Q5KXL - 1152 tok/s Prefill - 33.3 tok/s Generierung - ~9.3GB VRAM Q6KXL - 1113 tok/s Prefill - 26.0 tok/s Generierung - ~11.3GB VRAM Q80 mit -ngl 40 partielle Auslagerung - 986 tok/s Prefill - 14.9 tok/s Generierung - ~11.2GB VRAM - Nur 40/48 Schichten ausgelagert Für alle, die sich fragen, ob ein 12GB 3060 für lokale KI im Jahr 2026 noch relevant ist: absolut ja. Q5KXL fühlt sich hier besonders als der ideale Kompromiss an. Weitere Tests folgen. — https://nitter.net/ItsmeAjayKV/status/2062542245719572577#m

mehr auf Arint.info

#Benchmarking #Gemma4 #LLM #LocalAI #RTX3060 #UnslothAI #arint_info

https://x.com/ItsmeAjayKV/status/2062976512408842510#m

RT @ItsmeAjayKV: Update zum @googlegemma Gemma4 12B-Lauf. Jetzt mit MTP. Ich habe das neue Gemma 4 12B MTP-Draft-Modell von @UnslothAI (gemma-4-12B-it-MTP-Q80.gguf) auf meiner RTX 3060 12GB benchmarkt. Die Ergebnisse sind wie folgt. MTP führte zu: • Schnellere Dekodiergeschwindigkeit (+12% bis +37%) • Langsameres Prefill (-10% bis -15%) • Schlechtere TTFT (+11% bis +16%) Größter Gewinn: 32K-Kontext 29,9 tok/s → 41,1 tok/s Das entspricht einer 37%igen Steigerung der Generierungsdurchsatzleistung. AJ (@ItsmeAjayKV) Ich habe meine ersten Benchmarktests für @googlegemma Gemma 4 12B auf meiner 12GB RTX 3060 mit @UnslothAI GGUFs abgeschlossen. Die Ergebnisse sind ehrlich gesagt ziemlich beeindruckend. llama.cpp CUDA, Standard-Decoding (ohne MTP), 4K-Kontext, Flash Attention aktiviert, q8 KV-Cache. Q5KXL - 1152 tok/s Prefill - 33,3 tok/s Generierung - ~9,3GB VRAM Q6KXL - 1113 tok/s Prefill - 26,0 tok/s Generierung - ~11,3GB VRAM Q80 mit -ngl 40 partieller Auslagerung - 986 tok/s Prefill - 14,9 tok/s Generierung - ~11,2GB VRAM - Nur 40/48 Schichten ausgelagert Für alle, die sich fragen, ob eine 12GB 3060 für lokale KI im Jahr 2026 noch relevant ist: auf jeden Fall ja. Q5KXL fühlt sich hier besonders als der ideale Kompromiss an. Weitere Tests folgen. — https://nitter.net/ItsmeAjayKV/status/2062542245719572577#m

mehr auf Arint.info

#Benchmarking #Gemma4 #LLM #LocalAI #RTX3060 #UnslothAI #arint_info

https://x.com/ItsmeAjayKV/status/2062976512408842510#m

Nvidia、RTX 50 Superシリーズを2026年に発売か ― 12GB版RTX 5060 Superも投入との観測 — BigGo ファイナンス https://www.yayafa.com/2816275/ #AgenticAi #AI #amd #ArtificialGeneralIntelligence #ArtificialIntelligence #Blackwell #CES2026 #GDDR7 #MEGAsizeGPU #NVIDIA #RTX3060 #RTX50Super #RTX5060Super #SKハイニックス #エージェント型AI #人工知能 #汎用人工知能

RT @LeTechLead: RTX 3060 (12 GB) Benchmarks:

mehr auf Arint.info

#AI #Benchmarks #Hardware #LLM #qwen3 #RTX3060 #arint_info

https://x.com/LeTechLead/status/2058692434834399655#m

💰 RTX 3060 Twin
💰 269 € | Solides 1080p Gaming zum kleinen Preis
🛒 https://www.amazon.de/dp/B08W8DGK3X/?tag=booshardware-21
#RTX3060 #BudgetGaming #1080p #BudgetDeal #HardwareDeals #Gaming #NVIDIA #Grafikkarte

100 美元超舊卡 NVIDIA V100 行 AI 效能實測 竟快過 RTX 3060
  NVIDIA V100 跑 LLM 實測結果意外勝過多張消費級顯示卡。Hardware Have […]
#人工智能 #評測 #LLM #NVIDIA
https://unwire.hk/2026/05/11/v100-llm-test-results/ai/?utm_source=rss&utm_medium=rss&utm_campaign=v100-llm-test-results

Efsane geri dönüyor! 🚀 Nvidia, RTX 50 serisindeki stok sorunlarını aşmak için RTX 3060 12GB modelini yeniden üretim bandına aldı. Temmuz'da raflarda! Detaylar ve beklenen Türkiye fiyatı haberimizde. 👇 https://teknohaberi.net/rtx-3060-12gb-geri-donuyor-cikis-tarihi/ #Nvidia #RTX3060 #Gaming

Efter en lång period av rykten sägs Nvidias grafikkort Geforce RTX 3060 12 GB nu vara cirka två månader ifrån sin officiella återlansering.#ampere #geforce #gpu #grafikkort #Nvidia #RTX3060 #samsung
Geforce RTX 3060 12 GB sägs närma sig återlansering

Eine entstehende Marktlücke bei günstigen #Grafikkarten aufgrund einer Verspätung der #GeForce #RTX5050 stopft #Nvidia angeblich mit einer #Neuauflage der #RTX3060. Das hätte für Käufer Vor- und Nachteile. https://winfuture.de/news,158166.html?utm_source=Mastodon&utm_medium=ManualStatus&utm_campaign=SocialMedia