Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк

Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто проконсультирует, а по вашему запросу придёт и сделает все сам. То же самое и с кодовыми агентами, они не просто отвечают на вопросы, они читают документацию, работают в терминале, дёргают API, правят файлы и в идеале закрывают задачу целиком, от тикета до мёрж-реквеста. Звучит здорово, пока не выясняется, что ваш агент починил баг, сломав при этом три соседних модуля, или молча проигнорировал половину требований из задачи. Короче говоря, агенты умеют халтурить, и делают это красиво. А значит, их нужно постоянно тестировать. Причем тестировать в условиях, максимально приближённых к рабочим: с реальным репозиторием, CI-пайплайном и набором тестов, которые не обманешь. Именно для этого в AI-сообществе появился целый класс таких инструментов как бенчмарки и песочницы, заточенные под оценку агентов. В этой статье мы разберём, какие подходы к тестированию кодинг-агентов существуют сегодня, в чём их сильные и слабые стороны, и расскажем, как мы в

https://habr.com/ru/companies/doubletapp/articles/1040698/

#ml #ai #benchmark #aiагенты #aiagent #swebench #swebench_verified #OSWorld #GAIA #terminalbench

OSS Agent I built topped the TerminalBench on Gemini-3-flash-preview

https://github.com/dirac-run/dirac

#HackerNews #OSS #Agent #TerminalBench #Gemini3 #FlashPreview #OpenSource

[Перевод] Разбираем 14 самых популярных бенчмарков для LLM

Opus 4.5 набирает 80.6% на SWE-bench Verified. Opus 4 — 72.5%. Значит ли это, что Opus 4.5 лучше программирует, чем Opus 4? Ну... возможно . Но SWE-bench Verified это не показывает. Он показывает способность модели чинить небольшие баги в 12 популярных open source Python-репозиториях, которые почти наверняка входят в её обучающие данные. SWE-bench Verified не тестирует умение ориентироваться в вашем TypeScript-монорепо, Spring Boot-приложении или самописном ORM, на котором настоял предыдущий CTO. Я написал эту статью, потому что в релизах новых моделей постоянно мелькает один и тот же набор бенчмарков — и я понятия не имел, что они означают. Пришлось прочитать статьи, код и критику. Результат: разбор 14 бенчмарков — что тестирует, как устроен, в чём критикуют, и мои собственные наблюдения.

https://habr.com/ru/articles/1017082/

#бенчмарки_LLM #SWEbench #оценка_языковых_моделей #AI_бенчмарки_2025 #TerminalBench #ARCAGI #GPQA_Diamond #FrontierMath #тестирование_ИИ #метрики_качества_LLM

모델은 그대로, 하네스만 바꿨더니 Top 5, LangChain 코딩 에이전트 실험

https://aisparkup.com/posts/9444

🏆 Chinese startup #FeelingAI achieves 72.9% on #TerminalBench 2.0 with CodeBrain-1, ranking #2 globally — only behind #OpenAI's Simple Codex (77.3%). First Chinese team in top 10 for Agentic AI coding benchmarks! 🧠
🧵👇#AI

🧠 CodeBrain-1 is a dynamic "brain" that adjusts plans & strategies in real-time. Key features:
⚡ Useful Context Searching via LSP integration
🔄 Validation Feedback that turns failures into insights
📉 15%+ less Token consumption vs Claude Code

Pi 코딩 에이전트, 4개 도구와 1,000토큰으로 벤치마크 상위권 달성

https://aisparkup.com/posts/8874