llama_cpp.rb: llama.cpp를 위한 Ruby 바인딩 라이브러리

llama.cpp의 기능을 Ruby 환경에서 직접 활용할 수 있도록 네이티브 바인딩 인터페이스를 제공한다.

🔗 원문 보기

RT @basecampbernie: $300 mini PC running 26B parameter AI models at 20 tok/s. Minisforum UM790 Pro ($351) + AMD Radeon 780M iGPU + 48GB DDR5-5600 + 1TB NVMe. The secret: the 780M has no dedicated VRAM. It shares your DDR5 via unified memory. The BIOS says "4GB VRAM" but Vulkan sees the full pool. I'm allocating 21+ GB for model weights on a GPU with "4GB VRAM." The iGPU reads weights directly from system RAM at DDR5 bandwidth (~75 GB/s). MoE only activates 4B params per token = 2-4 GB of reads. That's why 20 tok/s works. What it runs: - Gemma 4 26B MoE: 19.5 tok/s, 110 tok/s prefill, 196K context - Gemma 4 E4B: 21.7 tok/s faster than some RTX setups - Qwen3.5-35B-A3B: 20.8 tok/s - Nemotron Cascade 2: 24.8 tok/s Dense 31B? 4 tok/s, reads all 18GB per token, bandwidth wall. MoE same quality? 20 tok/s. Full agentic workflows via @NousResearch Hermes agent with terminal, file ops, web, 40+ tools, all against local models. No API keys. Just a box on your desk. The RAM is the pain right now. DDR5 prices 3-4x what they were a year ago. But the compute is free forever after you buy it. @Hi_MINISFORUM @ggerganov llama.cpp + Vulkan + @UnslothAI GGUFs + @AMDRadeon RDNA 3. Fits in your hand. #LocalLLM #Gemma4 #llama_cpp #AMD #Radeon780M #MoE #LocalAI #AI #OpenSource #GGUF #HermesAgent #NousResearch #DDR5 #MiniPC #EdgeAI #UnifiedMemory #Vulkan #iGPU #RunItLocal #AIonDevice

Mehr auf Arint.info

#agent #API #GGUF #llama #LocalAI #OpenSource #Qwen3535 #arint_info

https://x.com/basecampbernie/status/2040326984446935059#m

第905回　新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0905?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #ハードウェア製品 #Ubuntu #生成AI #llama_cpp #Intel_ARC_B580

第904回　ミドルレンジのグラフィックボードで生成AI入門［Intel編］
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0904?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #お役立ち情報 #Ubuntu #生成AI #llama_cpp #Intel_ARC_B580

第902回　FirefoxのAIチャットボットをローカルLLMで使用する
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0902?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #お役立ち情報 #Ubuntu #Firefox #GGUF #LLM #AI #llama_cpp

Bạn có thể để agent viết mã tự động benchmark llama.cpp và tìm cấu hình nhanh nhất cho mỗi model. Bằng cách liệt kê các flag (Flash Attention, KV cache, batch, offload…), chạy thử, ghi TPS và tạo script chạy tối ưu. Trên M1 Ultra đạt +8‑12% TPS, tốc độ nạp prompt nhanh hơn, không giảm chất lượng. Thử ngay! #llama_cpp #AI #benchmark #tuning #opensource #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1qth3qu/let_your_coding_agent_benchmark_llamacpp_for_you/

第897回　GPUに画像の文字を解析させる⁠⁠、あるいはQwen3-VL入門
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0897?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #お役立ち情報 #Ubuntu #GPU #Qwen_3 #llama_cpp #LLM #OCR

Moondream 3, mô hình thị giác mạnh, đã ra mắt năm ngoái. Gần đây có phiên bản MLX int4 trên HuggingFace, nhưng vẫn chưa có hỗ trợ llama.cpp và chưa thấy hoạt động công khai nào. #AI #Moondream3 #MLX #llama_cpp #MachineLearning #TríTuệNhânTạo #MôHìnhThịGiác

https://www.reddit.com/r/LocalLLaMA/comments/1qmh3si/what_happened_to_moondream3/

Cập nhật mới: bản fix flash FA cho GLM 4.7 trên CUDA đã được hợp nhất vào dự án llama.cpp, cải thiện hiệu năng và độ ổn định khi chạy mô hình GLM trên GPU. Các nhà phát triển LLM nên cập nhật phiên bản mới nhất. #AI #MachineLearning #LLM #CUDA #llama_cpp #CôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1qjrsur/glm_47_flash_fa_fix_for_cuda_has_been_merged_into/