У открытого проекта smolmaxxing простая цель: запустить самую большую языковую модель на самом слабом железе, какое найдётся дома. 13 ноября к ТВ-приставке Xiaomi и iPad Air 2013 года добавился третий участник — смартфон OnePlus Nord CE 2. На нём модель Qwen3-Next-80B-A3B на 80 млрд параметров выдаёт 2,6–3,1 токена в секунду при 7,4 ГБ памяти, из которых свободно около 3 ГБ. Все замеры авторы сделали на самих устройствах и только на процессоре.
Проект можно повторить: патчи к llama.cpp открыты под лицензией MIT, готовые файлы моделей лежат на Hugging Face, а для Android не нужен root. Ниже разберём, на чём держится трюк, что понадобится и какую модель выбрать. Сами мы запуск не повторяли: команды и цифры взяты из документации проекта.
На чём держится трюк
Файл 80-миллиардной модели весит 27,6 ГБ, а процесс на телефоне занимает в пике около 5 ГБ памяти. Это работает благодаря архитектуре MoE — смеси экспертов. Слой такой модели состоит из десятков или сотен блоков-экспертов, но на каждый токен маршрутизатор выбирает лишь несколько. У Qwen3-Next-80B-A3B из 80 млрд параметров на токен работают 3 млрд.
smolmaxxing держит в оперативной памяти набор недавно использованных экспертов, а остальных дочитывает с флеш-накопителя, когда их выбирает маршрутизатор. Авторы называют этот механизм пейджером экспертов и подробно описывают его в документации. Два приёма снижают число обращений к накопителю:
- маршрутизатору дают небольшой бонус за экспертов, которые уже лежат в памяти. На приставке это снизило долю промахов с 13% примерно до 2%;
- эксперты для следующих слоёв подгружаются заранее, по предсказанию маршрутизатора.
Отсюда главное ограничение. Пейджер экспертов работает только с моделями MoE. Обычным, плотным моделям на каждый токен нужны почти все веса. Для них в проекте есть отдельный режим потокового чтения с накопителя, но он медленный: Qwen3.5-9B на приставке выдаёт 0,27 токена в секунду. Авторы дают простую формулу потолка: если модель должна прочитать X МБ на токен, она не обгонит 278 / X токенов в секунду, где 278 МБ/с — предел чтения накопителя приставки. Для другого устройства в формулу нужно подставить скорость его накопителя.
Что понадобится
По инструкции для приставки и описанию телефона:
- устройство на Android с процессором ARMv8.2 и включённой отладкой по USB или по сети. Root не нужен, всё работает от пользователя
shellв каталоге/data/local/tmp/llm; - компьютер с
adb,zig,cmake,ninja,python3иuv. На нём собирают статические бинарные файлы llama.cpp с патчем; - свободное место на накопителе устройства: от 1 ГБ для маленькой модели до 27,6 ГБ для самой большой плюс кэш переупакованных весов;
- кабель понадёжнее. Авторы пишут, что USB-соединение трижды обрывалось на долгих и тяжёлых прогонах.
Со старым iPad сложнее: нужны джейлбрейк и iOS 12, а модели на 8 и 16 млрд параметров годятся там только для отдельных сеансов.
Какую модель брать под свою память
Цифры взяты из таблиц проекта, скорость измерена в чате:
| Устройство и память | Модель | Файл | Скорость |
| Приставка, доступно около 1 ГБ | Qwen3.5-2B, выбор авторов по умолчанию | 0,99 ГБ | 7,7 токена в секунду |
| Приставка, доступно около 1 ГБ | Moon-Beam-8B-A1B, MoE на 8 млрд | 0,48 ГБ и 2,6 ГБ кэша | 7,2 |
| Приставка, доступно около 1 ГБ | Ling-mini-2.0, MoE на 16 млрд | 0,47 ГБ и 5,3 ГБ кэша | 5,1 |
| Телефон, свободно около 3 ГБ | Ling-mini-2.0 | 5,5 ГБ | 11,1–15,3 |
| Телефон, свободно около 3 ГБ | Qwen3.6-35B-A3B | 12,3 ГБ | 4,9–5,7 |
| Телефон, свободно около 3 ГБ | Qwen3-Next-80B-A3B | 27,6 ГБ | 2,6–3,1 |
Нижняя граница диапазона получена при точной маршрутизации, верхняя — с бонусом за экспертов в памяти. Для 35-миллиардной модели бонус ухудшает перплексию на 0,7%, для 80-миллиардной — на 0,5%. У Ling-mini-2.0 верхние 15,3 токена в секунду получены ещё и с сокращением числа экспертов на токен до шести, и перплексия при этом выросла на 17%. Перплексия показывает, насколько хорошо модель предсказывает текст, и чем она меньше, тем лучше.
Больше параметров не значит лучше. Для приставки авторы советуют начинать с Qwen3.5-2B: у неё лучший баланс скорости и качества. На телефоне лучшей по качеству ответа они называют 35-миллиардную модель, а 80-миллиардная остаётся демонстрацией предела.
Как выглядит запуск на телефоне
Сначала на компьютере собирают llama.cpp с патчем. Он сделан поверх версии 0.8.0:
git clone https://github.com/ggml-org/llama.cpp third_party/llama.cpp
cd third_party/llama.cpp && git checkout 8642541 && git apply ../../patches/llama.cpp-v0.8.0-tvbox.patch
Дальше идёт вызов cmake с кросс-компиляцией под aarch64 — он целиком приведён в инструкции. Готовые бинарные файлы и модель отправляют на телефон через adb push. Сервер стартует на телефоне, а чат открывается в браузере компьютера через проброс порта:
adb forward tcp:8090 tcp:8090
adb shell 'cd /data/local/tmp/llm && GGML_MOE_PAGER=1 GGML_REPACK_CACHE=$PWD/cache/q36f GGML_MOE_POOL=80 GGML_MOE_BIAS=0.005 \
GGML_MOE_PREFETCH_K=8 GGML_MOE_PREFETCH_AHEAD=2 GGML_MOE_READERS=8 LIMIT_MB=400 ./tv-watch server.log \
./bin/llama-server -m q36-q2-full.gguf -c 1024 -np 1 --host 127.0.0.1 --port 8090 --reasoning off -cram 0 -fa on \
-ctk q8_0 -ctv q8_0 -ub 4 -b 64 -t 2 -C 0xC0 --cpu-strict 1'
Это команда из документации для Qwen3.6-35B-A3B. Перед первым запуском авторы прогоняют llama-bench на один токен, чтобы записать кэш переупакованных весов. Файл 80-миллиардной модели на Hugging Face разбит на две части — их нужно склеить командой llama-gguf-split --merge.
Файлы для телефона открывает и обычный llama.cpp, но заявленную скорость даёт только сборка с патчем. Файлы для приставки и iPad без патча не загрузятся совсем: у них урезан выходной слой.
Три настройки, которые дают основную скорость
По таблице «что помогло» из описания телефона:
- Два потока на быстрых ядрах. Параметры
-t 2 -C 0xC0 --cpu-strict 1привязывают расчёт к двум ядрам Cortex-A78. На Ling-mini-2.0 это дало 12,0 токена в секунду против 7,9 на четырёх потоках и 6,7 на восьми: медленные ядра тормозят быстрые. - Размер пула экспертов в памяти (
GGML_MOE_POOL). Увеличение пула с 64 до 80 экспертов на слой подняло скорость Qwen3.6 с 4,7 до 5,0 токена в секунду. - Бонус маршрутизации (
GGML_MOE_BIAS). На Qwen3.6 значение 0,005 подняло скорость с 4,9 до 5,7 токена в секунду ценой 0,7% перплексии.
Четвёртая настройка отвечает за качество. Эксперты больших моделей сжаты до 2 бит на вес. На приставке модель Moon-Beam-8B-A1B с такими экспертами без поправки зацикливалась в 12 длинных ответах из 13, примерно после 250–300 слов. Штраф за повторы 1,15 на окне в 256 токенов снизил число таких ответов до 1 из 13. Для моделей на телефоне авторы такого замера не приводят, но штраф за повторы в их чате включён.
Чего ждать не стоит
- Автономного ассистента в кармане. Модель запускается из оболочки adb, а чат открыт на компьютере.
- Замеров с включённым экраном: их авторы не приводят. При выключенном экране Android ограничивает быстрые ядра частотой 1,3 ГГц из 2,4, и все цифры для телефона измерены именно так.
- Независимых подтверждений. Все результаты получены авторами; они приглашают присылать замеры с других устройств.
- Свежего движка. Патч рассчитан на llama.cpp 0.8.0, о переносе на версию 1.0.0 в репозитории ничего не сказано. Что изменилось в ней для локального запуска, мы разбирали в материале о llama.cpp 1.0.0.
Если старого телефона под рукой нет, а компьютер с 64 ГБ памяти есть, посмотрите на соседний подход: llama-modchip сжимает DeepSeek на 284 млрд параметров так, чтобы модель целиком поместилась в оперативную память. В планах smolmaxxing — одноплатные компьютеры, роутеры и другие телефоны; сроков авторы не называют.
Источники
- https://github.com/hyperionaidev/smolmaxxing
- https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/phone.md
- https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/tv-box.md
- https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/tv-box-setup.md
- https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/how-it-works.md
- https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/lessons.md
- https://huggingface.co/hyperionaidev/Qwen3.6-35B-A3B-phone-GGUF
- https://huggingface.co/hyperionaidev/Qwen3-Next-80B-A3B-phone-GGUF
Комментарии