So sánh Muon và AdamW trong đào tạo mô hình AI. Muon có thể underfit trong khi AdamW overfit. Cả hai mô hình đều đạt độ chính xác cao nhưng AdamW nhỉnh hơn. #Muon #AdamW #AI #MachineLearning #ĐàoTạoMôHình #TríTuệNhânTạo #Optimization #DeepLearning

https://www.reddit.com/r/LocalLLaMA/comments/1owa4ag/muon_underfits_adamw_overfits/

‘YouTube Does Not Operate That Way’: How YouTube Creators Are Schooling Hollywood
#IndieWire #Analysis #News #AdamW #DharMann #FutureofFilmmaking #InDevelopment #NealMohan #YouTube

https://www.indiewire.com/news/analysis/youtube-creators-hollywood-faster-cheaper-studio-model-1235152651/

Practical Efficiency of Muon for Pretraining

O Muon alcança o mesmo loss com 10–15% menos tokens e converge mais depressa, preservando a eficiência de dados mesmo com tamanhos de lote muito grandes. Recomenda-se como sucessor “drop-in” do AdamW em grande escala.

📎https://arxiv.org/pdf/2505.02222

#DeepLearning #Optimization #AdamW

Understanding AdamW through Proximal Methods and Scale-Freeness

Zhenxun Zhuang, Mingrui Liu, Ashok Cutkosky, Francesco Orabona

https://openreview.net/forum?id=IKhEPWGdwK

#adamw #adam #gradients