Claude Code с Opus 4.6 прибавил 12 пунктов после обновления Terminal-Bench

После исправления 28 заданий Terminal-Bench результат Claude Code с Opus 4.6 вырос с 58,0% до 70,1%. Сравниваем его с Codex CLI.

Результат Claude Code с Opus 4.6 вырос с 58,0% до 70,1%, когда организаторы Terminal-Bench исправили 28 из 89 заданий. Codex CLI с GPT-5.3-Codex в той же серии прибавил 5,8 процентного пункта и набрал 79,1%.

В одном задании просили работать с PostgreSQL, а тесты ожидали вывод Spark SQL. В версии 2.1 организаторы привели условие и проверку к одной СУБД.

Какие результаты можно сравнить в одной таблице

Terminal-Bench даёт агентам задачи, которые нужно выполнить в терминале. Участник получает инструкцию и рабочую среду, а результат проверяют тесты. В отчёте об обновлении авторы сопоставили одни и те же связки модели и инструмента на версиях 2.0 и 2.1. Из 89 заданий исправили 28.

Модель и инструмент Terminal-Bench 2.0 Terminal-Bench 2.1 Изменение
GPT-5.3-Codex в Codex CLI 73,3% 79,1% +5,8 п. п.
GPT-5.4 в Codex CLI 76,0% 77,3% +1,3 п. п.
Opus 4.6 в Claude Code 58,0% 70,1% +12,1 п. п.
GPT-5.3-Codex в Terminus 2 64,7% 68,5% +3,8 п. п.
Opus 4.6 в Terminus 2 62,9% 63,8% +0,9 п. п.
Sonnet 4.6 в Claude Code 51,9% 58,5% +6,6 п. п.

Здесь проценты показывают успешность выполнения в условиях теста. В сводке нет подсчёта ручных исправлений после агента. Поэтому по этим цифрам можно сравнить доли успешных выполнений, а оценка времени ревью или числа правок потребует других данных.

В задании просили PostgreSQL, а тест проверял Spark SQL

В задании query-optimize агент мог выполнить инструкцию для PostgreSQL и получить отказ от проверки, настроенной на Spark SQL. Исправление задания устранило это расхождение.

Организаторы также обнаружили девять задач, в которых после публикации изменились внешние зависимости. Зафиксированный образ Docker защищает окружение от части таких изменений. Если выполнение требует обращения к внешнему ресурсу, состояние этого ресурса может поменяться уже после сборки образа. Ещё в восьми задачах доступных ресурсов не хватало по меньшей мере для одного корректного способа решения.

По опубликованным результатам для Opus 4.6 в Claude Code прирост после обновления составил 12,1 пункта, а для той же модели в Terminus 2 — 0,9 пункта. Разброс виден и у GPT-5.3-Codex: плюс 5,8 пункта в Codex CLI и плюс 3,8 в Terminus 2. Одно обновление условий повлияло на связки по-разному.

Почему в результате фигурируют и модель, и инструмент

Модель решает, какой шаг сделать дальше. Среда агента передаёт ей содержимое файлов, запускает команды и возвращает результаты. Этот программный слой называют агентной обвязкой. В таблице разница видна на одной и той же версии теста: GPT-5.3-Codex получила 79,1% с Codex CLI и 68,5% с Terminus 2, Opus 4.6 — 70,1% с Claude Code и 63,8% с Terminus 2.

Серии задач на форках реальных репозиториев измеряют работу иначе. В SWE-bench Verified из исходного набора отобрали 500 задач после проверки инженерами. Участник получает описание проблемы и состояние репозитория перед её исправлением. Затем проверяется, работает ли патч на тестах. Терминальная серия и такой набор задач дают два разных среза работы агента.

Как менялся тест, пока результаты продолжали сравнивать

В версии 2.0 часть команд уже использовала закреплённое окружение. После публикации пользователи обнаружили задачи с изменившимися зависимостями, ресурсными ограничениями и расхождениями между условиями и тестами. Авторы выпустили отдельную ревизию 2.1 и показали результаты обеих версий рядом. Для Claude Code с Opus 4.6 это разница между 58,0% и 70,1%, поэтому версию набора здесь стоит указывать вместе с моделью и агентом.

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ

alexey.m
07 ноября 2026

OpenCode 2.2.6 научился делить MCP-серверы между проектами

В новой версии терминального агента MCP-подключения можно пулить, скриптовы...
alexey.m
09 ноября 2026

llama-modchip уместил DeepSeek на 284 млрд параметров в 64 ГБ ОЗУ без GPU

Автор проекта сжал DeepSeek-V4-Flash до 56,56 ГиБ и заявляет 9–10 токенов в...
alexey.m
16 ноября 2026

Вышла llama.cpp 1.0.0: что проверить, если вы запускаете модели локально

Код придётся переписывать только авторам обёрток. Но старые скрипты запуска...