Simon Willison (@simonw)

지난 2년간 모델 성능은 크게 개선되었음에도 불구하고 컨텍스트 길이(문맥창)는 거의 개선되지 않았다는 관찰입니다. 현재 200,000에서 1,000,000 토큰 범위에 정체되어 있어 장기 문맥 처리 능력 향상이 더디다는 지적을 담고 있습니다.

https://x.com/simonw/status/2018706006457360690

#contextlength #llm #longcontext #modelcapacity

Simon Willison (@simonw) on X

It's interesting how, for all of the huge model improvements we've seen over the past two year, the one thing that hasn't improved much at all is context length We've been stuck in the 200,000 up to 1m range for quite a long time now

X (formerly Twitter)