Mastodawn

Ivan Fioravanti ᯅ (@ivanfioravanti)

exolabs 최신 버전에서 벤치마크 테스트 중에 /bench/chat/completions 엔드포인트를 찾아냄. 이 엔드포인트는 호출 간 캐시를 비활성화해 실제 성능 측정에 적합하며, M3 Ultra 칩을 활용한 성능 테스트에 딱 맞는 기능이라고 평함.

https://x.com/ivanfioravanti/status/2028047012109734067

#exolabs #benchmarking #api #m3ultra

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

Doing some benchmark testing on @exolabs latest version is great! I've found the /bench/chat/completions endpoint that disables cache between calls! Exactly what I need! Let's push these M3 Ultras!

X (formerly Twitter)