sayzardElias Kempf (@elkmf)
새 모델 출시 후 변경된 LLM 동작을 체계적으로 찾아내기 위한 파이프라인을 구축·평가한 내용입니다. 저자들은 다양한 모델 차이 탐지(model diffing) 방법이 동일한 동작 변화를 발견하는 경우가 많지만, 그 변화에 대해 서로 다른 추상화 수준으로 기술한다는 점을 관찰했습니다. changelog에 없는 동작 변화 탐지에 초점을 둡니다.
Elias Kempf (@elkmf) on X
New model release? Great. But did the LLM’s behavior change in ways the changelog doesn't mention? We built and evaluated a pipeline to find out! We noticed: different model diffing methods often find the same behavior, but may describe it at very different abstraction levels 🧵