https://arxiv.org/html/2410.00907v2
这个很有趣,用加法替代乘法,反正误差够用就好。
最近数学课学得最有实际用途的就是数值分析了。微积分、线性代数+数值分析,这个组合学起来很爽,对于医科生比离散数学、组合数学什么的有实用性。
Addition is All You Need for Energy-Efficient Language Models

@aureouva 这个要是实用的话,可能不会节省 95% 的能量,公司会把现有模型超级加倍,改进到继续能消耗现在这么多的能量。
@txyyss
肯定是如此。
另一方面也会有手机、笔记本的场景。
不知道有没有人会以此重写一个加法版本的llama.c,然后在cpu上跑飞快