fly51fly (@fly51fly)
Google Research와 University of Wisconsin-Madison 공동 저자들의 2026년 논문 'Grow, Don't Overwrite: Fine-tuning Without Forgetting'(arXiv)이 공유되었습니다. 미세조정(fine-tuning) 시 기존 지식을 잃지 않도록 하는 방법을 제안하는 연구로, 모델 지속 학습과 캐타스트로픽 포게팅 문제에 대한 해결책을 다룹니다. arXiv 링크 포함.
Awni Hannun (@awnihannun)
장기 실행 에이전트와 관련된 지속학습에 대한 관찰과 소규모 실험 보고. MLX로 토이 실험을 해본 결과, 프롬프트 압축(prompt compaction)과 재귀적 서브에이전트(recursive sub-agents)를 결합한 현재의 접근법이 의외로 효과적이며 장기 에이전트 설계에 유용할 수 있다는 판단을 제시함.
I've been thinking a bit about continual learning recently, especially as it relates to long-running agents (and running a few toy experiments with MLX). The status quo of prompt compaction coupled with recursive sub-agents is actually remarkably effective. Seems like we can go
Guohao Li (@guohao_li)
GLM-5의 on-policy cross-stage distillation이 흥미롭다는 언급입니다. 작성자는 @thinkymachines의 on-policy distillation 블로그를 인용하며, 특히 옴니(omni) 모델에서 재학습 시 발생하는 catastrophic forgetting(망각)을 완화하기 위한 on-policy distillation 활용 아이디어를 공유했습니다.
The on-policy cross-stage distillation in GLM-5 by @Zai_org is quite interesting as well. When @thinkymachines released their blog on on-policy distillation, I also shared some thoughts on how to use on-policy distillation for catastrophic forgetting, especially for omni models.
Dan McAteer (@daniel_mac8)
Dario가 Dwarkesh에게 한 말 가운데 핵심은 지속학습(continual learning)이 장애물이 아닐 수 있다는 점이며, 이것이 해결되면 강력한 AI로 가는 '마지막 도미노'가 넘어갈 수 있다고 주장하는 내용입니다. 지속학습의 중요성과 AI 역량 확보에 대한 전략적 함의를 강조하는 트윗입니다.
Chubby (@kimmonismus)
Dario Amodei가 향후 1~2년 내에 연속 학습(continual learning)을 해결할 가능성이 높다고 언급했습니다. 그는 최근의 연구적 돌파구들이 계속 이어지고 있다고 평가하며, 지속 학습 분야의 조기 해결을 전망하는 발언을 했습니다.
https://x.com/kimmonismus/status/2022411046384742562
#darioamodei #continuallearning #airesearch #lifelonglearning
fly51fly (@fly51fly)
arXiv 논문 'Self-Distillation Enables Continual Learning' 발표: 자기 증류(self-distillation)를 활용해 연속 학습(continual learning) 성능을 개선하는 방법을 제안합니다. 저자들은 이 접근이 기존 방법 대비 잔존 성능과 안정성을 높여 재훈련 없이 지식 유지에 도움된다고 보고합니다. (저자/소속 포함: I. Shenfeld 외, MIT·ETH Zurich)
Dan McAteer (@daniel_mac8)
OpenAI Prism은 연구자 전용이 아니라 일반 사용자·학생도 활용할 수 있는 도구라는 안내입니다. 작성자는 Google의 'Nested Learning' 논문을 업로드해 Continual Learning 패러다임을 단순한 다이어그램으로 자동 생성했으며, 학습용 시각화 생성에 유용하고 무료로 사용할 수 있음을 강조했습니다.
OpenAI Prism is *NOT* only for researchers. Uploaded Google's "Nested Learning" paper for Continual Learning and had it generate a diagram that visualizes the paradigm in a simple way. Great if you're a student or curious person who wants to learn too. Plus it's free.
Erik Hoel (@erikphoel)
새 논문 'A Disproof of LLM Consciousness' 공개: 저자는 LLM에 대해 반증 가능하고 비자명한(falsifiable and non-trivial) 의식 이론은 작동할 수 없음을 보였다고 주장하며, 흥미롭게도 연속학습(continual learning)을 해결하면 상황이 바뀔 수 있다고 시사함.
1. 🚨 Finally I get to share my new paper: "A Disproof of LLM Consciousness." I show that *no* falsifiable and non-trivial theories of consciousness could ever work for LLMs. Intriguingly, turns out that cracking continual learning might change this https://t.co/aZBo3XUo9r
sayzard
Biplab P.
Mart Beller
