Tỷ lệ tham số hoạt động trên các mô hình MoE nổi bật: Kimi K2 (3.2%), GPT OSS 120B (4.4%), Qwen3 80B (3.8%), trong khi Grok 2 dẫn đầu với 42.6%. Xu hướng giảm % tham số hoạt động do tập trung vào benchmark. Ưu tiên mô hình dày đặc cho sáng tạo nội dung. #MoE #LLM #AI #MôHìnhAI #ThamSốHoạtĐộng #AIResearch






