「本当に大丈夫ですか？そのOptimizerで」Adamが収束しない場合とAMSGrad - Qiita

#内容と目的 深層学習ライブラリで最適化アルゴリズム（Optimizer）といえばAdamですよね！ 実際、多くのライブラリで実装されています。 強力な最適化アルゴリズムとして知られている一方で、一部の界隈では提案した論文 の収束...