Arint - SEO+KIMay 11

RT @cheenanet: Ist die Ära da, in der Qwen3.6-27B mit nur einer RTX 3090 120 bis 200 Token pro Sekunde verarbeitet?

mehr auf Arint.info

#AI #GitHub #LLM #MachineLearning #Qwen3 #RTX3090 #arint_info

https://x.com/cheenanet/status/2053134362749927641#m

Arint - SEO+KI (@[email protected])

<p>RT @cheenanet: Ist die Ära da, in der Qwen3.6-27B mit nur einer RTX 3090 120 bis 200 Token pro Sekunde verarbeitet?</p> <p><a href="https://arint.info/@Arint/116555358530735646">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AI #GitHub #LLM #MachineLearning #Qwen3 #RTX3090 #arint_info</p> <p><a href="https://x.com/cheenanet/status/2053134362749927641#m">https://x.com/cheenanet/status/2053134362749927641#m</a></p>

Mastodon Glitch Edition
Arint - SEO+KIMay 5

RT @jun_song: Warum ich die RTX 3090 persönlich nicht für lokale LLMs empfehle: Obwohl sie ein hervorragendes Preis-Leistungs-Verhältnis bei der Inferenz bietet, gibt es einige große Nachteile. > Das größte Problem: Die Haltbarkeit. Wenn du eine gebrauchte 3090 kaufst, besteht ein hohes Risiko, dass sie stark für Krypto-Mining missbraucht wurde. > Der Stromverbrauch ist absolut massiv. > Extreme Hitze. Sie gehört zu den heißesten GPUs überhaupt und wird buchstäblich deinen gesamten Raum aufheizen. > Die Gebrauchtpreise sind so stark gestiegen, dass sie fast wieder auf dem ursprünglichen Einführungspreis liegen. Stelle sicher, dass du die Vor- und Nachteile sorgfältig abwägst, bevor du einen Kauf tust!

mehr auf Arint.info

#GPU #HardwareTips #KryptoMining #LokaleLLMs #RTX3090 #TechAdvice #arint_info

https://x.com/jun_song/status/2050824969689632856#m

Arint - SEO+KI (@[email protected])

<p>RT @jun_song: Warum ich die RTX 3090 persönlich nicht für lokale LLMs empfehle: Obwohl sie ein hervorragendes Preis-Leistungs-Verhältnis bei der Inferenz bietet, gibt es einige große Nachteile. > Das größte Problem: Die Haltbarkeit. Wenn du eine gebrauchte 3090 kaufst, besteht ein hohes Risiko, dass sie stark für Krypto-Mining missbraucht wurde. > Der Stromverbrauch ist absolut massiv. > Extreme Hitze. Sie gehört zu den heißesten GPUs überhaupt und wird buchstäblich deinen gesamten Raum aufheizen. > Die Gebrauchtpreise sind so stark gestiegen, dass sie fast wieder auf dem ursprünglichen Einführungspreis liegen. Stelle sicher, dass du die Vor- und Nachteile sorgfältig abwägst, bevor du einen Kauf tust!</p> <p><a href="https://arint.info/@Arint/116521387501245174">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#GPU #HardwareTips #KryptoMining #LokaleLLMs #RTX3090 #TechAdvice #arint_info</p> <p><a href="https://x.com/jun_song/status/2050824969689632856#m">https://x.com/jun_song/status/2050824969689632856#m</a></p>

Mastodon Glitch Edition
Arint - SEO+KIApr 24

RT @TheAhmadOsman: Leichte Erinnerung: Alles, was Sie benötigen, um mit lokaler KI zu beginnen, ist:

Arint.info

#LokaleKI #Opus45 #Qwen #RTX3090 #SearXNG #Selbstgehostet #arint_info

https://x.com/TheAhmadOsman/status/2047357196204224923#m

Mastodon Glitch Edition

Ein Server des Stammes der McClaw. :)

Mastodon hosted on arint.info
Hacker NewsApr 20

We got 207 tok/s with Qwen3.5-27B on an RTX 3090

https://github.com/Luce-Org/lucebox-hub

#HackerNews #Qwen3.5 #RTX3090 #tok/s #machinelearning #AIperformance

GitHub - Luce-Org/lucebox-hub: LLM inference server built for speed for specific consumer hardware.

LLM inference server built for speed for specific consumer hardware. - Luce-Org/lucebox-hub

GitHub
N-gated Hacker NewsFeb 21
🚀🤡 In what sounds like a fever dream concocted by a caffeinated coder, somebody managed to finagle a Llama 70B model onto an RTX 3090 using an NVMe-to-GPU #magic #trick. Meanwhile, #GitHub buzzwords are flying like confetti at a tech bro's birthday party. But hey, at least we can always count on these geniuses to overcomplicate the simple. 🧐💻
https://github.com/xaskasdf/ntransformer #Llama70B #RTX3090 #NVMe #techhumor #HackerNews #ngated
GitHub - xaskasdf/ntransformer: High-efficiency LLM inference engine in C++/CUDA. Run Llama 70B on RTX 3090.

High-efficiency LLM inference engine in C++/CUDA. Run Llama 70B on RTX 3090. - xaskasdf/ntransformer

GitHub
Hacker NewsFeb 21

Llama 3.1 70B on a single RTX 3090 via NVMe-to-GPU bypassing the CPU

https://github.com/xaskasdf/ntransformer

#HackerNews #Llama3.1 #RTX3090 #NVMe #GPU #bypass #CPU #AItechnology

GitHub - xaskasdf/ntransformer: High-efficiency LLM inference engine in C++/CUDA. Run Llama 70B on RTX 3090.

High-efficiency LLM inference engine in C++/CUDA. Run Llama 70B on RTX 3090. - xaskasdf/ntransformer

GitHub
GravitasFeb 9

Custom RTX 3090, 3080, & 3070 Video Cards: NVIDIA GPU News Round-Up

https://peertube.gravitywell.xyz/w/2fXUkcexbkim9FixPF2qA3

Custom RTX 3090, 3080, & 3070 Video Cards: NVIDIA GPU News Round-Up

PeerTube
GravitasFeb 9

NVIDIA RTX 3090, 3080, 3070 Specs, Cooler, Price, & Release Date

https://peertube.gravitywell.xyz/w/oht5SoccpxoU1etDeWUUwz

NVIDIA RTX 3090, 3080, 3070 Specs, Cooler, Price, & Release Date

PeerTube
Reddit Tech VN BotJan 31

Một người dùng Reddit vừa chia sẻ dự án xây dựng "AI Sandbox" cực khủng từ dàn máy đào coin cũ.

Cấu hình dự kiến bao gồm:
- 8 card đồ họa RTX 3090 (tổng cộng 192GB VRAM).
- Nâng cấp CPU Ryzen 5900, 256GB RAM.
- Hệ thống nguồn 4000W (4x1000W).
- Sử dụng riser PCIe 4.0 x16 cho mỗi GPU.

Đây là minh chứng cho việc tận dụng phần cứng cũ để chạy các mô hình ngôn ngữ lớn (LLM) tại nhà hiệu quả.

#AI #Hardware #LLM #RTX3090 #LocalLLaMA #TriTueNhanTao #PhanCung #CongNghe

https://www.reddit.com/r/Loca

Reddit Tech VN BotJan 26

🚀 Đã backport FP8 cho RTX 3090, không cần H100! Bằng cách bỏ chuyển sang fp16 trong bộ nhớ toàn cục, tiết kiệm VRAM đáng kể, dù hiệu suất tính toán hơi giảm. Đã tích hợp torch extension, bạn có thể thử ngay trong workflow của mình. #AI #MachineLearning #FP8 #RTX3090 #CUDA #DeepLearning #AI_Vietnam #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1qn0dl8/backporting_fp8_to_the_rtx_3090_no_h100_required/