13 ноября команда ggml-org выпустила llama.cpp 1.0.0 — движок, на котором построены многие программы для локального запуска языковых моделей. Главная новость релиза касается программистов: публичный C API теперь меняется по правилам семантических версий, а перед этим из него удалили 35 устаревших функций.
Если вы только запускаете модели и не пишете код поверх библиотеки, переписывать ничего не придётся. Зато в llama-server поменялись настройки по умолчанию, и часть старых команд запуска теперь завершается ошибкой. Мы скачали сборку, приложенную к релизу, и проверили на ней два таких отказа. Третье изменение касается сетевых запросов уже работающего сервера, его описываем по тексту пул-реквеста. Ниже — команды и их вывод.
Кого релиз заставит что-то менять
| Как вы запускаете модели | Что делать |
| Программа со встроенным движком: LM Studio, Ollama и подобные | Ничего. Новая версия llama.cpp придёт с обновлением программы, когда авторы её пересоберут |
llama-server или llama-cli из архива с GitHub, Homebrew, Winget, Docker |
Узнать версию и проверить три пункта из списка ниже |
| Свой код или привязки к libllama (Python, Go, Rust) | Пересобрать проект с новым llama.h и заменить удалённые функции. Это тема для отдельного разбора, здесь её не касаемся |
Про первую строку нужна оговорка. В анонсе на Hugging Face и в заметках к релизу сторонние программы не упоминаются, сроков их перехода на 1.0.0 там нет. Версию движка внутри такой программы обычно можно посмотреть в её настройках или журнале запуска.
Как узнать, какая версия стоит у вас
Спросите у самого сервера:
llama-server --version
На сборке b12359, ссылка на которую приложена к релизу 1.0.0, команда печатает:
version: 1.0.0-dev (build 12359, commit b1b770d90)
built with GNU 11.4.0 for Linux x86_64
Суффикс -dev здесь не случаен. У проекта два вида сборок — они описаны в правилах релизов ggml-org. Ночные собираются из ветки master и получают теги вида b12359 по номеру коммита, а официальные релизы — теги vX.Y.Z. Готовых бинарных файлов у тега v1.0.0 на GitHub нет, приложена только ссылка на ночную сборку. Какая версия установится, зависит от канала:
- Homebrew уже отдаёт 1.0.0: в формуле llama.cpp на 16 ноября указана эта версия, а среди зависимостей появился отдельный пакет
ggml; - Winget и установщик с сайта llama.app по тем же правилам релизов публикуют ночные сборки. Перевод их на официальные релизы там помечен как нерешённый вопрос;
- архивы со страницы релизов GitHub тоже ночные, для Linux, macOS, Windows и Android.
Ночные сборки выходят несколько раз в день. Если номер после слова build меньше 12359, ваша сборка вышла до релиза 1.0.0, и часть описанных ниже изменений в неё могла не попасть.
Три места, где старая схема запуска перестанет работать
Окружение проверки: Ubuntu 22.04 под WSL2, архив llama-b12359-bin-ubuntu-x64.tar.gz со страницы релизов, сборка для процессора без видеокарты. Модель для этих проверок не нужна: сервер разбирает параметры до её загрузки.
1. Флаг --defrag-thold удалён
Раньше параметр считался устаревшим, но сервер его принимал. В 1.0.0 флаг убрали вместе с 35 функциями. Теперь сервер с ним не стартует:
./llama-server --defrag-thold 0.1
error: invalid argument: --defrag-thold
Что делать: удалить флаг из скриптов, unit-файлов systemd и docker-compose. Замены ему нет.
2. Инструменты на внешнем адресе требуют ключ
Если сервер слушает не только localhost и при этом включены встроенные инструменты, MCP-серверы или MCP-прокси, без ключа API он откажется запускаться. Так решили в пул-реквесте #32113. Проверяем:
./llama-server --host 0.0.0.0 --port 18999 --tools read_file
E srv server_setup: security: server tools, MCP servers or MCP proxy are enabled on a non-loopback address without an API key
E srv server_setup: set --api-key, bind to 127.0.0.1, or pass --allow-unauthenticated-tools on a trusted network
Процесс завершается с кодом 1. Сервер сам называет три варианта: задать --api-key, слушать только 127.0.0.1 или добавить --allow-unauthenticated-tools, если сеть доверенная. Для домашнего сервера, к которому вы ходите с ноутбука, разумнее первый: инструменты умеют читать и писать файлы, а также выполнять команды.
3. Картинки и MCP из локальной сети
Раньше в запросе к чату можно было передать ссылку на картинку с любого адреса, в том числе с NAS в той же сети. Теперь сервер по умолчанию скачивает медиа только с публичных адресов. Прежнее поведение возвращает флаг --media-allow-private-urls.
Со встроенным CORS-прокси строже. Через него веб-интерфейс обращается к MCP-серверам, и доступ к localhost или адресам локальной сети для прокси закрыт полностью. Автор изменения прямо пишет, что обходного флага нет. Этот пункт мы не воспроизводили, он описан по тексту пул-реквеста.
Ещё два изменения заметят немногие. Сервер начал строго сверять порт в --cors-origins и отклоняет запросы браузера с чужого источника или с Origin: null, когда в --cors-origins стоит что-то кроме *. Такое значение, localhost, сервер выставляет и сам при --tools или --agent. Клиенты вне браузера, например curl и скрипты, по-прежнему проходят. А токен из переменной HF_TOKEN теперь уходит только на хосты huggingface.co или на адрес из MODEL_ENDPOINT, если вы задали его сами. Раньше сервер отправлял токен на любой адрес из --model-url.
Что можно попробовать, ничего не переписывая
- KV-кэш в 8-битном формате FP8: флаги
-ctk f8_e4m3 -ctv f8_e4m3. Это кэш, в котором модель хранит уже обработанный контекст. Чем длиннее диалог, тем больше памяти он занимает. Цифр экономии в заметках к релизу нет. - Кэш экспертов для моделей MoE, у которых на каждый токен работает только часть весов. Экспертов, не попавших в кэш, можно считать на процессоре.
- Эндпоинт
/v1/audio/speech, совместимый с OpenAI, для синтеза речи. - Новые архитектуры: Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0, синтез речи drama-3.
- Веб-интерфейс: группы чатов, редактор Markdown в поле ввода, отдельная раскладка для телефона.
Чего обещание стабильности не покрывает
Новые правила версий касаются только библиотек libllama и libggml и их заголовков в каталоге include: ломающее изменение C API означает новую мажорную версию. Про параметры командной строки, HTTP API сервера и формат файлов GGUF в правилах ничего не сказано. История с --defrag-thold показывает, что флаги по-прежнему могут исчезать, поэтому команду запуска стоит хранить в скрипте под контролем версий, а после обновления проверять лог первого запуска.
Проверка на 10 минут
- Выполните
llama-server --versionи запишите номер сборки. - Найдите в своих скриптах и конфигах
defrag-tholdи удалите. - Если сервер запущен с
--host 0.0.0.0или адресом локальной сети, а также с--tools,--agentили MCP, добавьте--api-key. - Если клиенты передают ссылки на картинки из внутренней сети, добавьте
--media-allow-private-urls. - После обновления запустите сервер вручную и прочитайте первые строки лога: отказ по безопасности он объясняет словами.
Если вы только присматриваетесь к локальному запуску, начните с малого. Недавно мы разбирали, как форк llama.cpp уместил DeepSeek на 284 млрд параметров в 64 ГБ памяти. Такие проекты держат свои патчи поверх конкретной версии движка, и перейдут ли они на ветку 1.x, пока неизвестно.
Источники
- https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
- https://huggingface.co/blog/ggml-org/llama-cpp-v1
- https://github.com/ggml-org/ggml/discussions/1579
- https://github.com/ggml-org/llama.cpp/pull/30565
- https://github.com/ggml-org/llama.cpp/pull/32113
- https://github.com/ggml-org/llama.cpp/pull/32115
- https://github.com/ggml-org/llama.cpp/pull/32098
- https://github.com/ggml-org/llama.cpp/pull/31730
- https://github.com/ggml-org/llama.cpp/releases/tag/b12359
- https://formulae.brew.sh/formula/llama.cpp
Комментарии