Модель на 80 млрд параметров на телефоне: как устроен smolmaxxing и что повторить дома

Проект запускает большие языковые модели на ТВ-приставке, старом iPad и телефоне за счёт чтения весов с накопителя. Разбираем, что понадобится и какую модель выбрать под свою память.
Модель на 80 млрд параметров на телефоне: как устроен smolmaxxing и что повторить дома

У открытого проекта smolmaxxing простая цель: запустить самую большую языковую модель на самом слабом железе, какое найдётся дома. 13 ноября к ТВ-приставке Xiaomi и iPad Air 2013 года добавился третий участник — смартфон OnePlus Nord CE 2. На нём модель Qwen3-Next-80B-A3B на 80 млрд параметров выдаёт 2,6–3,1 токена в секунду при 7,4 ГБ памяти, из которых свободно около 3 ГБ. Все замеры авторы сделали на самих устройствах и только на процессоре.

Проект можно повторить: патчи к llama.cpp открыты под лицензией MIT, готовые файлы моделей лежат на Hugging Face, а для Android не нужен root. Ниже разберём, на чём держится трюк, что понадобится и какую модель выбрать. Сами мы запуск не повторяли: команды и цифры взяты из документации проекта.

На чём держится трюк

Файл 80-миллиардной модели весит 27,6 ГБ, а процесс на телефоне занимает в пике около 5 ГБ памяти. Это работает благодаря архитектуре MoE — смеси экспертов. Слой такой модели состоит из десятков или сотен блоков-экспертов, но на каждый токен маршрутизатор выбирает лишь несколько. У Qwen3-Next-80B-A3B из 80 млрд параметров на токен работают 3 млрд.

smolmaxxing держит в оперативной памяти набор недавно использованных экспертов, а остальных дочитывает с флеш-накопителя, когда их выбирает маршрутизатор. Авторы называют этот механизм пейджером экспертов и подробно описывают его в документации. Два приёма снижают число обращений к накопителю:

  • маршрутизатору дают небольшой бонус за экспертов, которые уже лежат в памяти. На приставке это снизило долю промахов с 13% примерно до 2%;
  • эксперты для следующих слоёв подгружаются заранее, по предсказанию маршрутизатора.

Отсюда главное ограничение. Пейджер экспертов работает только с моделями MoE. Обычным, плотным моделям на каждый токен нужны почти все веса. Для них в проекте есть отдельный режим потокового чтения с накопителя, но он медленный: Qwen3.5-9B на приставке выдаёт 0,27 токена в секунду. Авторы дают простую формулу потолка: если модель должна прочитать X МБ на токен, она не обгонит 278 / X токенов в секунду, где 278 МБ/с — предел чтения накопителя приставки. Для другого устройства в формулу нужно подставить скорость его накопителя.

Что понадобится

По инструкции для приставки и описанию телефона:

  • устройство на Android с процессором ARMv8.2 и включённой отладкой по USB или по сети. Root не нужен, всё работает от пользователя shell в каталоге /data/local/tmp/llm;
  • компьютер с adb, zig, cmake, ninja, python3 и uv. На нём собирают статические бинарные файлы llama.cpp с патчем;
  • свободное место на накопителе устройства: от 1 ГБ для маленькой модели до 27,6 ГБ для самой большой плюс кэш переупакованных весов;
  • кабель понадёжнее. Авторы пишут, что USB-соединение трижды обрывалось на долгих и тяжёлых прогонах.

Со старым iPad сложнее: нужны джейлбрейк и iOS 12, а модели на 8 и 16 млрд параметров годятся там только для отдельных сеансов.

Какую модель брать под свою память

Цифры взяты из таблиц проекта, скорость измерена в чате:

Устройство и память Модель Файл Скорость
Приставка, доступно около 1 ГБ Qwen3.5-2B, выбор авторов по умолчанию 0,99 ГБ 7,7 токена в секунду
Приставка, доступно около 1 ГБ Moon-Beam-8B-A1B, MoE на 8 млрд 0,48 ГБ и 2,6 ГБ кэша 7,2
Приставка, доступно около 1 ГБ Ling-mini-2.0, MoE на 16 млрд 0,47 ГБ и 5,3 ГБ кэша 5,1
Телефон, свободно около 3 ГБ Ling-mini-2.0 5,5 ГБ 11,1–15,3
Телефон, свободно около 3 ГБ Qwen3.6-35B-A3B 12,3 ГБ 4,9–5,7
Телефон, свободно около 3 ГБ Qwen3-Next-80B-A3B 27,6 ГБ 2,6–3,1

Нижняя граница диапазона получена при точной маршрутизации, верхняя — с бонусом за экспертов в памяти. Для 35-миллиардной модели бонус ухудшает перплексию на 0,7%, для 80-миллиардной — на 0,5%. У Ling-mini-2.0 верхние 15,3 токена в секунду получены ещё и с сокращением числа экспертов на токен до шести, и перплексия при этом выросла на 17%. Перплексия показывает, насколько хорошо модель предсказывает текст, и чем она меньше, тем лучше.

Больше параметров не значит лучше. Для приставки авторы советуют начинать с Qwen3.5-2B: у неё лучший баланс скорости и качества. На телефоне лучшей по качеству ответа они называют 35-миллиардную модель, а 80-миллиардная остаётся демонстрацией предела.

Как выглядит запуск на телефоне

Сначала на компьютере собирают llama.cpp с патчем. Он сделан поверх версии 0.8.0:

        git clone https://github.com/ggml-org/llama.cpp third_party/llama.cpp
cd third_party/llama.cpp && git checkout 8642541 && git apply ../../patches/llama.cpp-v0.8.0-tvbox.patch
    

Дальше идёт вызов cmake с кросс-компиляцией под aarch64 — он целиком приведён в инструкции. Готовые бинарные файлы и модель отправляют на телефон через adb push. Сервер стартует на телефоне, а чат открывается в браузере компьютера через проброс порта:

        adb forward tcp:8090 tcp:8090
adb shell 'cd /data/local/tmp/llm && GGML_MOE_PAGER=1 GGML_REPACK_CACHE=$PWD/cache/q36f GGML_MOE_POOL=80 GGML_MOE_BIAS=0.005 \
  GGML_MOE_PREFETCH_K=8 GGML_MOE_PREFETCH_AHEAD=2 GGML_MOE_READERS=8 LIMIT_MB=400 ./tv-watch server.log \
  ./bin/llama-server -m q36-q2-full.gguf -c 1024 -np 1 --host 127.0.0.1 --port 8090 --reasoning off -cram 0 -fa on \
  -ctk q8_0 -ctv q8_0 -ub 4 -b 64 -t 2 -C 0xC0 --cpu-strict 1'
    

Это команда из документации для Qwen3.6-35B-A3B. Перед первым запуском авторы прогоняют llama-bench на один токен, чтобы записать кэш переупакованных весов. Файл 80-миллиардной модели на Hugging Face разбит на две части — их нужно склеить командой llama-gguf-split --merge.

Файлы для телефона открывает и обычный llama.cpp, но заявленную скорость даёт только сборка с патчем. Файлы для приставки и iPad без патча не загрузятся совсем: у них урезан выходной слой.

Три настройки, которые дают основную скорость

По таблице «что помогло» из описания телефона:

  1. Два потока на быстрых ядрах. Параметры -t 2 -C 0xC0 --cpu-strict 1 привязывают расчёт к двум ядрам Cortex-A78. На Ling-mini-2.0 это дало 12,0 токена в секунду против 7,9 на четырёх потоках и 6,7 на восьми: медленные ядра тормозят быстрые.
  2. Размер пула экспертов в памяти (GGML_MOE_POOL). Увеличение пула с 64 до 80 экспертов на слой подняло скорость Qwen3.6 с 4,7 до 5,0 токена в секунду.
  3. Бонус маршрутизации (GGML_MOE_BIAS). На Qwen3.6 значение 0,005 подняло скорость с 4,9 до 5,7 токена в секунду ценой 0,7% перплексии.

Четвёртая настройка отвечает за качество. Эксперты больших моделей сжаты до 2 бит на вес. На приставке модель Moon-Beam-8B-A1B с такими экспертами без поправки зацикливалась в 12 длинных ответах из 13, примерно после 250–300 слов. Штраф за повторы 1,15 на окне в 256 токенов снизил число таких ответов до 1 из 13. Для моделей на телефоне авторы такого замера не приводят, но штраф за повторы в их чате включён.

Чего ждать не стоит

  • Автономного ассистента в кармане. Модель запускается из оболочки adb, а чат открыт на компьютере.
  • Замеров с включённым экраном: их авторы не приводят. При выключенном экране Android ограничивает быстрые ядра частотой 1,3 ГГц из 2,4, и все цифры для телефона измерены именно так.
  • Независимых подтверждений. Все результаты получены авторами; они приглашают присылать замеры с других устройств.
  • Свежего движка. Патч рассчитан на llama.cpp 0.8.0, о переносе на версию 1.0.0 в репозитории ничего не сказано. Что изменилось в ней для локального запуска, мы разбирали в материале о llama.cpp 1.0.0.

Если старого телефона под рукой нет, а компьютер с 64 ГБ памяти есть, посмотрите на соседний подход: llama-modchip сжимает DeepSeek на 284 млрд параметров так, чтобы модель целиком поместилась в оперативную память. В планах smolmaxxing — одноплатные компьютеры, роутеры и другие телефоны; сроков авторы не называют.

Источники

По теме

Комментарии