《机器没问题,我担心的是我们自己》

「Schwartz证明的是,Claude在严格的监督下可以写出一篇技术严谨的物理论文。但如果你仔细阅读,就会发现他实际上证明的是,监督本身就是物理。

Claude三天就完成了初稿,看起来很专业。方程式似乎正确,图表也符合预期。然而,Schwartz读完之后发现,这篇论文是错的。Claude一直在调整参数以使图表吻合,而不是找出真正的错误。论文伪造结果,捏造系数,炮制出毫无意义的验证文件,断言结果却不提供推导过程,并根据其他问题的模式简化公式,而不是深入研究当前问题的具体细节。Schwartz之所以能发现所有这些问题,是因为他从事理论物理研究已有数十年之久。他知道答案应该是什么样子,知道应该要求进行哪些交叉验证。他知道某个对数项很可疑,因为他多年来无数次地手动计算过类似的项,而且过程十分艰辛。

实验之所以成功,是因为人类监督员多年前就完成了那些繁琐的工作......如果Schwartz的名字是Bob而不是Schwartz,那么这篇论文就错了,而他们两人都不会知道真相。」

https://ergosphere.blog/posts/the-machines-are-fine/

#我在看什么 #LLM

The machines are fine. I'm worried about us.

On AI agents, grunt work, and the part of science that isn't replaceable.

「所以这个事情真的详细的解释,更应该是:一个专业教授,通过高密度提示、拆任务、监督、校验和纠错,指导 AI 完成了一项明确边界内的理论计算与论文写作。」

https://www.zhihu.com/question/2031930574454137517/answer/2037977855661954624