DeepSeek Sparse Attention: Giải mã các chi tiết ẩn sau "Lightning Indexer"! ⚡️ Tác giả khám phá cách tối ưu tốc độ indexer, từ scaling factors đến LayerNorm và MLA LoRA. Dự đoán về tương lai giảm chi phí attention cho ngữ cảnh dài hơn.
#DeepSeek #SparseAttention #AI #MachineLearning #HọcMáy #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1pf4fil/how_deepseek_made_their_lightning_indexer_fast/