Một người dùng đã tự thiết kế một "SSM head" đơn giản, thay thế cơ chế attention truyền thống trong mô hình GPT. Cơ chế này sử dụng các "slot" để lưu trữ thông tin, lấy cảm hứng từ Mamba/RWKV. Mô hình GPT tích hợp đầu SSM này đã giải thành công phép cộng 24 chữ số chỉ trong 40.000 bước huấn luyện.

#AI #ML #SSM #GPT #AttentionReplacement #MachineLearning #NeuralNetworks

https://www.reddit.com/r/LocalLLaMA/comments/1pamni7/very_low_effort_i_designed_a_simple_ssm_head/