[Перевод] Разбираем 14 самых популярных бенчмарков для LLM

Opus 4.5 набирает 80.6% на SWE-bench Verified. Opus 4 — 72.5%. Значит ли это, что Opus 4.5 лучше программирует, чем Opus 4? Ну... возможно . Но SWE-bench Verified это не показывает. Он показывает способность модели чинить небольшие баги в 12 популярных open source Python-репозиториях, которые почти наверняка входят в её обучающие данные. SWE-bench Verified не тестирует умение ориентироваться в вашем TypeScript-монорепо, Spring Boot-приложении или самописном ORM, на котором настоял предыдущий CTO. Я написал эту статью, потому что в релизах новых моделей постоянно мелькает один и тот же набор бенчмарков — и я понятия не имел, что они означают. Пришлось прочитать статьи, код и критику. Результат: разбор 14 бенчмарков — что тестирует, как устроен, в чём критикуют, и мои собственные наблюдения.

https://habr.com/ru/articles/1017082/

#бенчмарки_LLM #SWEbench #оценка_языковых_моделей #AI_бенчмарки_2025 #TerminalBench #ARCAGI #GPQA_Diamond #FrontierMath #тестирование_ИИ #метрики_качества_LLM

Люди набирают 100%, GPT-5.4 — 0,26%, а Google хватило всего лишь 3-бит

Седьмой выпуск еженедельных IT-новостей от OpenIDE: новый бенчмарк AGI, которому модели не смогли угодить, трёхбитная квантизация от Google, ACP-протокол в OpenIDE, GigaChat 3.1 и бесславный конец Sora.

https://habr.com/ru/companies/haulmont/articles/1017460/

#ARCAGI #GPT54 #Grok #Google_TurboQuant #OpenIDE_ACP #Claude_Capybara #Sora #GigaChat_31 #бенчмарк_AGI

https://winbuzzer.com/2026/03/30/arc-agi-3-offers-2m-ai-matching-human-reasoning-benchmark-xcxwbn/

ARC-AGI-3 Offers $2M for AI Matching Human Reasoning

#AI #ARCAGI #ARCAGI3 #AGI #AIBenchmarks #AIResearch #AICompetition #LLMs #DeepLearning #MachineLearning #FrançoisChollet #ARCPrizeFoundation

Emily (@IamEmily2050)

ARC AGI-3 결과를 통해 현재 AI 모델들의 한계가 드러났다는 내용이다. 대부분의 모델이 계획 능력과 장기 기억이 부족하고, 1%도 넘지 못했으며, AGI까지는 아직 갈 길이 멀다고 지적한다.

https://x.com/IamEmily2050/status/2036992645411852638

#ai #agi #arcagi #llm

ARC Prize (@arcprize)

ARC-AGI-2 Semi Private 벤치마크의 국제 모델 성적 요약: Kimi K2.5(@Kimi_Moonshot) 12% ($0.28), Minimax M2.5(@MiniMax_AI) 5% ($0.17), GLM-5(@Zai_org) 5% ($0.27), Deepseek V3.2(@deepseek_ai) 4% ($0.12). 작성자는 이들 모델이 2025년 7월의 Frontier Labs 성능보다 낮다고 언급하고 있습니다. 여러 국제 모델의 비교·평가 결과입니다.

https://x.com/arcprize/status/2028563647212265565

#benchmark #arcagi #models #evaluation

Lisan al Gaib (@scaling01)

Google이 Gemini 3 Flash, Gemini 3.1 Pro, Gemini 3 Deep Think 등 여러 Gemini 계열로 ARC-AGI-2 벤치마크에서 지배적 성과를 내고 있다는 트윗. 여러 변형이 동일 벤치에서 경쟁 우위를 확보하며 실험적 우수성을 과시하고 있음.

https://x.com/scaling01/status/2024520825085305037

#google #gemini #arcagi #benchmark

ARC Prize (@arcprize)

Gemini 3.1 Pro가 Google DeepMind의 ARC-AGI 세미프라이빗 평가에서 성능을 공개: ARC-AGI-1에서 98% 달성(과제당 비용 $0.52), ARC-AGI-2에서 77% 달성(과제당 비용 $0.96). Gemini 계열이 성능과 비용 효율성의 파레토 프론티어를 밀어붙이고 있음을 시사.

https://x.com/arcprize/status/2024522812728496470

#gemini #arcagi #benchmark #modelefficiency

Derya Unutmaz, MD (@DeryaTR_)

Gemini Pro 3.1이 ARC-AGI에서 뛰어난 성능을 보였다는 보고: ARC-AGI-1은 현재 98% 달성(작업당 비용 $0.52)으로 사실상 완료 수준이며, ARC-AGI-2는 77%로 2위이지만 Gemini Deep Think와 근접한 성능을 보이면서도 비용은 10배 저렴한 $0.96/작업 수준이라는 분석으로, 짧은 기간 내 큰 진전으로 평가됩니다.

https://x.com/DeryaTR_/status/2024581128468713858

#gemini #geminipro #arcagi #benchmark #llm

ARC Prize (@arcprize)

Gemini 3 Deep Think(2/26) 반공개 평가 결과: Google DeepMind의 새로운 모델이 ARC‑AGI 벤치마크에서 SOTA를 기록했습니다. ARC‑AGI‑1에서 정확도 96.0% 및 비용 $7.17/문제, ARC‑AGI‑2에서 정확도 84.6% 및 비용 $13.62/문제 결과를 보고했으며, 새로운 ARC‑AGI SOTA 모델로 공개되었습니다.

https://x.com/arcprize/status/2021985585066652039

#gemini3 #deepmind #arcagi #sota

ARC Prize (@arcprize)

ARC-AGI 공개 SOTA 제출 소식: V1은 94.5% (작업당 $11.4), V2는 72.9% (작업당 $38.9)를 보고했습니다. 해당 제출물은 GPT 5.2 기반이며 @LandJohan이 여러 접근법을 앙상블한 맞춤형 정제 방식으로 구성된 것으로 보입니다. (벤치마크·비용·모델 정보 포함)

https://x.com/arcprize/status/2018746794310766668

#arcagi #gpt5.2 #sota #benchmark