「失敗の積み重ね」がLLMを生んだ（後編）— Attentionからスケール革命、そして整列へ | DevelopersIO

前編で辿った数学の限界からEmbeddingまでの道のりに続き、後編ではRNNの構造的限界からAttentionが生まれ、Transformerが翻訳のパッチからLLMの基盤アーキテクチャへ進化する過程を追う。GPT-3のスケール革命で創発的能力が現れ、RLHFで整列が実現し、推論時計算・蒸留で効率化が進む現在まで——LLMが「設計されずに」完成した80年の後半を解説する。