sayzardpratik narola (@pratik_narola)
Kimi K2.5와 K2.6이 기본적으로 native Int4 양자화 상태로 배포되며, 1.1T 파라미터 모델의 전체 파일 크기가 600GB라고 설명합니다. 대규모 모델 서빙에서 양자화와 저장/배포 비용을 가늠할 수 있는 실무적 정보입니다.
pratik narola (@pratik_narola) on X
@kkamranxyz @cerebras @ArtificialAnlys @Kimi_Moonshot by default Kimi k2.5 and k2.6 are released with native Int4 quants. Its 1.1 T param model with total file size of 600 GB. its simple math. not sure if they are hosting on even smaller quant. though unlikely. could be nvfp4.