Claude Code с Opus 4.6 прибавил 12 пунктов после обновления Terminal-Bench
После исправления 28 заданий Terminal-Bench результат Claude Code с Opus 4.6 вырос с 58,0% до 70,1%. Сравниваем его с Codex CLI.
Результат Claude Code с Opus 4.6 вырос с 58,0% до 70,1%, когда организаторы Terminal-Bench исправили 28 из 89 заданий. Codex CLI с GPT-5.3-Codex в той же серии прибавил 5,8 процентного пункта и набрал 79,1%.
В одном задании просили работать с PostgreSQL, а тесты ожидали вывод Spark SQL. В версии 2.1 организаторы привели условие и проверку к одной СУБД.
Какие результаты можно сравнить в одной таблице
Terminal-Bench даёт агентам задачи, которые нужно выполнить в терминале. Участник получает инструкцию и рабочую среду, а результат проверяют тесты. В отчёте об обновлении авторы сопоставили одни и те же связки модели и инструмента на версиях 2.0 и 2.1. Из 89 заданий исправили 28.
| Модель и инструмент | Terminal-Bench 2.0 | Terminal-Bench 2.1 | Изменение |
| GPT-5.3-Codex в Codex CLI | 73,3% | 79,1% | +5,8 п. п. |
| GPT-5.4 в Codex CLI | 76,0% | 77,3% | +1,3 п. п. |
| Opus 4.6 в Claude Code | 58,0% | 70,1% | +12,1 п. п. |
| GPT-5.3-Codex в Terminus 2 | 64,7% | 68,5% | +3,8 п. п. |
| Opus 4.6 в Terminus 2 | 62,9% | 63,8% | +0,9 п. п. |
| Sonnet 4.6 в Claude Code | 51,9% | 58,5% | +6,6 п. п. |
Здесь проценты показывают успешность выполнения в условиях теста. В сводке нет подсчёта ручных исправлений после агента. Поэтому по этим цифрам можно сравнить доли успешных выполнений, а оценка времени ревью или числа правок потребует других данных.
В задании просили PostgreSQL, а тест проверял Spark SQL
В задании query-optimize агент мог выполнить инструкцию для PostgreSQL и получить отказ от проверки, настроенной на Spark SQL. Исправление задания устранило это расхождение.
Организаторы также обнаружили девять задач, в которых после публикации изменились внешние зависимости. Зафиксированный образ Docker защищает окружение от части таких изменений. Если выполнение требует обращения к внешнему ресурсу, состояние этого ресурса может поменяться уже после сборки образа. Ещё в восьми задачах доступных ресурсов не хватало по меньшей мере для одного корректного способа решения.
По опубликованным результатам для Opus 4.6 в Claude Code прирост после обновления составил 12,1 пункта, а для той же модели в Terminus 2 — 0,9 пункта. Разброс виден и у GPT-5.3-Codex: плюс 5,8 пункта в Codex CLI и плюс 3,8 в Terminus 2. Одно обновление условий повлияло на связки по-разному.
Почему в результате фигурируют и модель, и инструмент
Модель решает, какой шаг сделать дальше. Среда агента передаёт ей содержимое файлов, запускает команды и возвращает результаты. Этот программный слой называют агентной обвязкой. В таблице разница видна на одной и той же версии теста: GPT-5.3-Codex получила 79,1% с Codex CLI и 68,5% с Terminus 2, Opus 4.6 — 70,1% с Claude Code и 63,8% с Terminus 2.
Серии задач на форках реальных репозиториев измеряют работу иначе. В SWE-bench Verified из исходного набора отобрали 500 задач после проверки инженерами. Участник получает описание проблемы и состояние репозитория перед её исправлением. Затем проверяется, работает ли патч на тестах. Терминальная серия и такой набор задач дают два разных среза работы агента.
Как менялся тест, пока результаты продолжали сравнивать
В версии 2.0 часть команд уже использовала закреплённое окружение. После публикации пользователи обнаружили задачи с изменившимися зависимостями, ресурсными ограничениями и расхождениями между условиями и тестами. Авторы выпустили отдельную ревизию 2.1 и показали результаты обеих версий рядом. Для Claude Code с Opus 4.6 это разница между 58,0% и 70,1%, поэтому версию набора здесь стоит указывать вместе с моделью и агентом.