sayzardSemiAnalysis (@SemiAnalysis_)
Zai_org의 최근 릴리스를 축하하며, DeepSeek Attention(DSA) 지원이 아직 성숙 단계이지만 vLLM과 함께 이미 우수한 성능을 보이고 있다고 보고합니다. 모든 입력 시퀀스 길이에서 높은 지속적 입력 토큰 처리량을 기록해 DSA의 강점을 강조하며 vllm_project에 대한 긍정적 평가를 남김.
SemiAnalysis (@SemiAnalysis_) on X
Congrats on the release @Zai_org ! Support for DeepSeek Attention (DSA) is still maturing, but we're already seeing great performance with vLLM High sustained input token throughput across all input sequence lengths shows the power of DSA Great work @vllm_project !