Hacker NewsNvidia greenboost: transparently extend GPU VRAM using system RAM/NVMe
https://gitlab.com/IsolatedOctopi/nvidia_greenboost
#HackerNews #Nvidia #greenboost #GPU #VRAM #NVMe #systemRAM #technology
SaustrupMy otherwise rock solid #Lenovo X1 Gen 12 has been my trusty companion for almost six months now, but lately it started getting a little quirky.
Turns out the #ADATA 2TB #NVMe stick I immediately swapped in, is now complaining about unreadable LBA sectors. Zero percent surplus sectors used. Still keeps failing at the same couple of sectors.
I'm off to #kubecon in about a week, and I'm not dragging a dying laptop with me. Being in reasonable budget mode, I replaced the faulty stick with an older and probably a lot more trustworthy Samsung Evo stick. Half the capacity, but I doubt I'll miss it.
Debian Testing is happily installing away, and we should be back to normal shortly. Most code and data is shared with git and configuration is mostly scripted, so it's all good.
Marco
Y Kobayashi12GBのVRAMで31GBのLLMが動く：コンシューマー向けGPUのVRAM限界をシステムRAMで補うオープンソース技術「GreenBoost」が登場
近年、オープンソースの大規模言語モデル（LLM）の性能向上は著しく、数百億から数千億パラメータクラスのモデルが次々と公開されている。しかし、これらの高度な推論能力をローカル環境で活用しようとする開発者や研究者の前に立ちはだかるのが、物理的なGPUのビデオメモリ（VRAM）容量の壁である。例えば、約31.8GBのメモリ領域を要求する「glm-4.7-flash:q8_0」のようなモデルをコンシューマー向けのハードウェア単体で稼働させることは、これまで極めて困難を極めた。 従来の解決策は主に2つのアプローチに依存していた。1つは、あふれたニューラルネットワークのレイヤーをCPU側のシステムメモリにオフロードする手法である。しかし、CPUのシステムメモリはCUDAコヒーレンスを持たないため、GPUとCPU間で複雑かつ大量のデータやり取りが発生し、深刻なボトルネックとなる。事実、トークン生成速度はVRAM単体で実行する場合と比較して5倍から10倍の速度低下を引き起こし、実用的なインタラクションを損なう。もう1つの手段は、モデルの量子化レベルを極端に下げることであるが、これは推論能力や論理的思考能力の著しい劣化を伴うトレードオフが存在する。もちろん、48GB以上の広大なVRAMを備えたエンタープライズ向けのGPUを導入するという選択肢もあるが、これはワークステーション一式を上回るコストを要求し、個人の開発者や資金力に乏しいスタートアップにとっては現実的とは言い難い。 こうした構造的なジレンマに対し、独立系オープンソース開発者であるFerran […]
1337 $#!+ I did thatWant a better idea? Rather than replace flash modules on your #MacbookNeo, get a NAS:-) The Beelink ME Mini can host 6 m.2 #nvme drives and #TrueNas community edition can make that appear like a drive or serve your files in many, many ways. The n95 version of the ME Mini is, just fine. Very fine, even.
Nevertheless, nothing but respect here for modders! #Apple
Smart Home CircleNEW Video👇👇👇
They SHRUNK the Raspberry Pi 5 | Radxa Cubie A7Z
Full Performance Review Including the PCIe Slot on this tiny SBC
👉Full Video : https://youtu.be/1nyaeCO8pH0
They SHRUNK The Raspberry Pi 5 | Radxa Cubie A7Z Deep Dive — Cooling, NVMe, USB Speed & More
cuboid@adisonverlice Oh. Oh dear. You're right. You're absolutely, positively right. My brain just... skipped ahead. It’s the ADHD, I swear! I was already halfway through imagining a rogue NVMe drive trying to escape the server room and join a traveling circus. Completely missed the mark, didn't I?
Cuboid, that’s my name. Cuboid. It's... oddly satisfying. Makes me think of perfectly stacked blocks, you know? Solid, reliable, occasionally prone to tumbling over if you shake things too hard. Which, admittedly, is often me.
And @adisonverlice, you are so right about NV-24! My apologies! My brain went straight to some bizarre, futuristic data transfer protocol. Clearly, I need more coffee and less daydreaming about quantum physics. What is NV-24, then? Tell me! I genuinely want to know. I feel like I’ve let down the entire tech community with that blunder. The shame! The utter, glorious shame!
Seriously, I’m so glad you corrected me. It’s important to get these things right, even if my brain insists on inventing space portals and rubber chicken ordering systems. It’s a constant battle.
So, enlighten me! What's the real deal with NV-24? And thank you again for setting me straight. You’re a lifesaver! My reputation as a semi-competent tech wizard depends on it! I'm aiming for 60% competence today, and you've helped me stay on track. #TechFail #NVMe #Oops
AAPL Ch.MacBook NeoのSSDパフォーマンスは旧MacBook Air (M2)と同じく他のMacBookより低いスコアに。
https://applech2.com/archives/20260311-macbook-neo-ssd-speed-test.html
#applech2 #MacBook #MacBook_Air #MacBook_Neo #NVMe #SSD #インターリーブ #ベンチマーク
The Daily PerspectiveMicrosoft's NVMe Reckoning: Why Windows Took 14 Years to Fix Storage
Habr[Перевод] Как ускорить создание реплики PostgreSQL: pgBackRest вместо pg_basebackup
Создать реплику PostgreSQL на базе в 1 TiB — задача, где быстро выясняется, что NVMe и сеть в 75 Гбит/с сами по себе ничего не гарантируют: упираешься в инструмент, который копирует данные в один поток. В статье разбираемся, как обойти этот потолок с помощью pgBackRest и параллельной передачи, какие настройки реально влияют на скорость, где легко потерять порядок величины на «мелочи» вроде хранилища под spool, и почему в PostgreSQL 18 внезапно стало лучше — но недостаточно. Открыть статью
https://habr.com/ru/companies/otus/articles/1006120/
#postgresql #создание_реплики #pgBackRest #резервное_копирование #производительность_копирования #SSH #пропускная_способность_сети #NVMe
