Shadows‑Gemma‑3‑1B là mô hình suy luận được tinh chỉnh nhanh (≈10 phút trên TPUv5) từ gemma‑3‑4b‑it bằng distillation log‑prob. Nghiên cứu phát hiện “shadow tokens” – các token xuất hiện sớm rồi xuất hiện lại later, biểu hiện cho quá trình suy luận, back‑tracking và draft lại câu trả lời. Mô hình cho kết quả tốt hơn trên nhiều câu hỏi khó, kèm bộ dữ liệu Reasoning traces ~4800 và giải pháp GSM8K. #AI #LLM #MachineLearning #NghienCuu #Gemma #ShadowsGemma #MôHìnhSuyLinh #Vietnam.

https://www.redd

Giới thiệu Shadows-Gemma-1B, một mô hình lý luận được fine-tune từ Gemma. Kỹ thuật độc đáo shadow token giúp mô hình suy nghĩ bằng cách phân tích các token có xác suất thấp. Một dự án nhỏ thú vị trong thế giới AI.

#AI #MôHìnhNgônNgữ #LýLuận #CôngNghệ #ShadowsGemma #LLM #Reasoning #Tech

https://www.reddit.com/r/LocalLLaMA/comments/1qcd9m1/shadowsgemma31b_cold_start_reasoning_from_topk20/