https://dl.acm.org/doi/10.1145/3669940.3707274 #GPUOptimization #WebBrowsing #TechHumor #InternetSecrets #HackerNews #ngated
RT @Kimi_Moonshot: Wir machen FlashKDA open-source — unsere auf CUTLASS basierende Implementierung von Kimi Delta Attention-Kernels mit hoher Performance. Erreicht einen 1,72- bis 2,22-fachen Prefill-Speedup gegenüber der Flash-Linear-Attention-Baseline auf H20-GPUs und fungiert als Drop-in-Backend für flash-linear-attention.
mehr auf Arint.info
#AttentionMechanism #DeepLearning #GPUoptimization #LLM #OpenSource #arint_info
<p>RT @Kimi_Moonshot: Wir machen FlashKDA open-source — unsere auf CUTLASS basierende Implementierung von Kimi Delta Attention-Kernels mit hoher Performance. Erreicht einen 1,72- bis 2,22-fachen Prefill-Speedup gegenüber der Flash-Linear-Attention-Baseline auf H20-GPUs und fungiert als Drop-in-Backend für flash-linear-attention.</p> <p><a href="https://arint.info/@Arint/116446367301746433">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AttentionMechanism #DeepLearning #GPUoptimization #LLM #OpenSource #arint_info</p> <p><a href="https://x.com/Kimi_Moonshot/status/2046607915424034839#m">https://x.com/Kimi_Moonshot/status/2046607915424034839#m</a></p>
Github Awesome (@GithubAwesome)
AutoKernel은 GPU 프로파일링과 커널 최적화 작업을 자동화하는 도구로, Andrej Karpathy의 autoresearch에서 영감을 받아 개발된 자율 에이전트를 사용합니다. 사용자가 PyTorch 모델을 지정하면 백그라운드에서 Triton 커널을 자동으로 최적화해 주므로 모델 개발자가 수동으로 프로파일을 관찰·조정하는 시간을 크게 절약할 수 있습니다.

Building AI models and tired of staring at GPU profilers? AutoKernel does it for you. Inspired by Karpathy's autoresearch, it brings autonomous AI agents to GPU kernel optimization. Point it at any PyTorch model, go to sleep, and wake up to optimized Triton kernels. It
The Hidden Engineering Behind Fast AI: How LLM Inference Actually Works
https://techlife.blog/posts/llm-inference-optimization/
#LLM #Inference #PagedAttention #vLLM #FlashAttention #SpeculativeDecoding #MachineLearning #GPUOptimization #KVCache
⚡️ Tăng 90% PP/s nhưng TPS chỉ cải thiện 10–20% khi dùng 2 GPU (RTX Pro 6000 & 5090). Ai biết cách tối ưu giúp mình với? Đang chạy server AI để cung cấp dịch vụ nhanh! #AI #GPUOptimization #LlamaServer #MáyHọc #CôngNghệThôngTin
https://www.reddit.com/r/LocalLLaMA/comments/1qopgpp/llama_server_using_dual_gpus_pp_is_amazing_tps/
Khám phá mô hình AI phi2 của Microsoft, phù hợp để chạy trên PC với 12GB RAM + 3GB VRAM + GTX 1050 + Linux Mint. Phi2 được lượng tử hóa Q4K, tối ưu hiệu suất trên GPU trung bình. Thử tải về từ Hugging Face hoặc TheBloke và trải nghiệm mô hình AI phi-commercial này! #AIModel #Linux #TechVietnam #LocalLLaMA #Phi2 #GPUOptimization #AICommunity
Qwen3 Next 80B với 250k token context hoàn toàn chạy trên 1 GPU 7900 XTX (24 GB) tốc độ 41 tok/s. Sử dụng lượng tử hóa IQ2_XSS, Q4_0 KV & FA. Thay đổi lớn cho ứng dụng LLM trên 1 card duy nhất, khả năng xử lý code tuyệt vời. #Qwen3 #AILocal #GPUOptimization #LocalLLM #AIProgramming #MôHìnhHóaAI #LậpTrìnhViên
Công cụ 5060ti nâng cấp RAM (6000MHz) và Switch CUDA giúp tăng tốc độ{LLaMA} từ 22 t/s lên gần 37 t/s. Chi phí ~2200$, ít hơn 5090. #GPUoptimization #LLaMA #AI #tech #Performance #TốiMAXGPU #LLaMAtrong #Tètresjpg #nghiencoded #xuấtkho
Lenovo launches GPU Advanced Services, promising up to 30 percent faster AI performance
https://web.brid.gy/r/https://nerds.xyz/2025/09/lenovo-gpu-ai/