Mastodawn

Sten Rüdiger (@StenRuediger)

arXiv에 새 논문 'MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning'가 공개되었다. 매개변수 효율적 미세조정(PEFT)에서 단순히 저랭크 업데이트 여부보다 어떤 부분공간을 적응시키는지가 더 중요할 수 있다는 점을 제시한다. LoRA 및 full fine-tuning과 비교한 흥미로운 연구 결과다.

https://x.com/StenRuediger/status/2041888496927826398

#arxiv #peft #lora #finetuning #research

Sten Rüdiger (@StenRuediger) on X

I’ve uploaded a new paper on arXiv (co-authored by @rasbt): MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning In Parameter-Efficient Fine-Tuning, a key question may not just be how low-rank the update is, but *which* subspace we adapt.

X (formerly Twitter)