Денис Тарелкин 18 ноября 2026

Хватит ли 16 ГБ для локального ИИ по коду? Что показали 542 задачи на MacBook Air

На MacBook Air M2 с 16 ГБ сравнили 24 варианта Qwen2.5-Coder. Разбираем результаты 542 задач, размеры файлов и расход энергии.

На MacBook Air M2 с 16 ГБ памяти Qwen2.5-Coder 7B решила 396 из 542 коротких задач по Python. Её файл занимал 4,7 ГБ. Пиковый расход памяти авторы не указали.

В препринте от 13 ноября исследователи сравнили 24 варианта Qwen2.5-Coder. Компактная версия 3B решила 366 задач и тратила примерно вдвое меньше энергии на успешное решение.

Что запустили на MacBook Air с 16 ГБ

Авторы использовали MacBook Air M2 без вентилятора, подключённый к питанию. Модели запускали через Ollama 0.32.6 с вычислениями через Metal. В случае этого Mac 16 ГБ — общая память для процессора и графики. На компьютере с отдельной видеокартой результат будет зависеть в том числе от её памяти и от того, какую часть вычислений среда выполнения перенесёт на процессор.

Для проверки взяли 164 задачи HumanEval+ и 378 задач MBPP+. Модель получала условие и генерировала решение на Python. Задача засчитывалась, если решение проходило и основные, и дополнительные тесты EvalPlus. Так проверяли небольшие программные задачи. Скорость навигации по большому репозиторию и качество многофайловых правок в эти замеры не входили.

Как меньшая модель сравнялась с 7B

Квантование уменьшает объём данных, которыми представлены веса модели. Поэтому один вариант 7B занимает 3 ГБ, а другой — 6,3 ГБ. Чтобы сравнить, что даёт переход между такими файлами, авторы сопоставили долю решений и расход энергии.

Вариант Qwen2.5-Coder Размер файла Задачи из 542 Джоули на успешное решение
3B Q4_K_M 1,9 ГБ 366 69,4
7B Q2_K 3,0 ГБ 363 141,2
7B Q4_K_M 4,7 ГБ 396 145,7
7B Q6_K 6,3 ГБ 403 183,1

Разница между 366 и 363 решениями статистически незначима. При этом 7B Q2_K потратила в 2,03 раза больше энергии на решённую задачу по замерам цепей питания процессора, графики и памяти.

На поднаборе HumanEval+ авторы провели пять парных повторов, чередуя конфигурации. В этих запусках 3B Q4_K_M генерировала токены примерно вдвое быстрее 7B Q2_K.

Внутри размера 7B выбор квантования тоже имел значение. Версия Q4_K_M решила на 33 задачи больше Q2_K. Версия Q6_K дала ещё семь решений относительно Q4_K_M, но разница между двумя последними конфигурациями в этом наборе осталась статистически неопределённой. Размер в таблице относится к файлу модели, а расход энергии — к тестовым запускам на конкретном Mac.

Размер загрузки и память во время работы

В каталоге Ollama указаны размеры готовых вариантов: около 1,9 ГБ для 3B Q4_K_M, 4,7 ГБ для 7B Q4_K_M и 9 ГБ для 14B Q4_K_M. В работе от 13 ноября измеряли варианты до 7B включительно. Для 14B из этого списка известен размер скачивания, а сопоставимых результатов на этой машине авторы не приводят.

При запуске часть памяти занимает контекст: инструкция к задаче, переданный код, история диалога и уже сгенерированный ответ. Ollama отдельно поясняет, что увеличение контекста повышает расход памяти. Выделенный контекст и распределение модели между CPU и GPU можно посмотреть через ollama ps. Так можно выяснить, поместилась ли конфигурация на GPU или часть модели пришлось перенести на CPU.

Какие цифры смотреть, если проверяете свой ноутбук

У llama.cpp есть утилита llama-bench. Она отдельно показывает скорость обработки входных токенов и генерации новых. Первый показатель важен, когда в запросе длинный файл. Второй показывает, с какой скоростью появляется уже начатый ответ. Эти замеры стоит сопоставлять при одинаковой длине входа и одинаковых настройках запуска.

На вопрос «хватит ли 16 ГБ» опубликованный эксперимент даёт конкретный ответ: на MacBook Air M2 авторы запускали 3B и 7B и проверяли их на сотнях коротких задач по Python. В их выборке 7B Q4_K_M прошла 73,1% задач, 3B Q4_K_M — 67,5%. Выбор между ними зависит от того, оправдывает ли такой выигрыш дополнительные 2,8 ГБ при загрузке и больший расход энергии на успешное решение.

Как появилась линейка Qwen2.5-Coder

В техническом отчёте Qwen2.5-Coder команда Qwen описала семейство из шести размеров, от 0,5B до 32B параметров. Авторы разделяли базовые модели и версии Instruct, дообученные для выполнения пользовательских инструкций. Исследователи на Mac сравнивали именно Instruct, сохранив одну линейку и меняя размер и степень сжатия.

Полные результаты, включая точность на отдельных задачах и журналы измерения мощности, авторы выложили отдельно. В статье отмечено, что большую часть вариантов прогоняли в отдельных одиночных сессиях. Серия повторов относится к паре 3B Q4_K_M и 7B Q2_K на HumanEval+.

Комментарии

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ