sayzardShow HN: RVW – A transformer model capable of online continual learning
RVW는 사전학습된 트랜스포머 모델을 온라인으로 지속 학습할 수 있게 설계된 새로운 아키텍처입니다. 각 레이어별 전문가 집단을 동적으로 확장 및 축소하며, 리플레이 버퍼나 명시적 태스크 식별자 없이 분포 변화에 적응합니다. TinyLlama-1.1B에 적용 시 기존 EWC, 파인튜닝, LoRA 대비 훨씬 낮은 퍼플렉서티를 기록하며 이전 도메인 성능도 유지합니다. 도메인 지식은 개별 전문가보다 레이어 간 라우팅 패턴에 의해 인코딩되는 것으로 보입니다.
https://zenodo.org/records/20064618
#continuallearning #transformer #onlinelearning #lora #tinyllama
Adaptive Low-Rank Product Transformers with Dynamic Expert Routing for Online Continual Learning
Inspired by the role of sleep in biological continual learning, we introduce RVW, a trans- former architecture for online continual adaptation of pretrained models. RVW maintains a small pool of per-layer experts that grow and prune in response to distribution shift, with no replay buffer and no explicit task identifier. Applied to TinyLlama-1.1B on a 15,000- chunk six-domain stream, RVW reaches 40 average held-out PPL, substantially better than EWC (158), fine-tuning (164), and LoRA (448) on the same parameter-matched base, while preserving prior-domain performance. Threshold sweeps suggest a combinatorial encoding reading: domain knowledge appears to be carried by routing patterns across layers rather than by individual specialized experts.
O_CEI_Horizon
AI Sparkup
Biplab P.
Mart Beller
