Вышла llama.cpp 1.0.0: что проверить, если вы запускаете модели локально

Код придётся переписывать только авторам обёрток. Но старые скрипты запуска llama-server могут сломаться в трёх местах: два мы проверили командами на сборке из релиза, третье описали по пул-реквесту.
Вышла llama.cpp 1.0.0: что проверить, если вы запускаете модели локально

13 ноября команда ggml-org выпустила llama.cpp 1.0.0 — движок, на котором построены многие программы для локального запуска языковых моделей. Главная новость релиза касается программистов: публичный C API теперь меняется по правилам семантических версий, а перед этим из него удалили 35 устаревших функций.

Если вы только запускаете модели и не пишете код поверх библиотеки, переписывать ничего не придётся. Зато в llama-server поменялись настройки по умолчанию, и часть старых команд запуска теперь завершается ошибкой. Мы скачали сборку, приложенную к релизу, и проверили на ней два таких отказа. Третье изменение касается сетевых запросов уже работающего сервера, его описываем по тексту пул-реквеста. Ниже — команды и их вывод.

Кого релиз заставит что-то менять

Как вы запускаете модели Что делать
Программа со встроенным движком: LM Studio, Ollama и подобные Ничего. Новая версия llama.cpp придёт с обновлением программы, когда авторы её пересоберут
llama-server или llama-cli из архива с GitHub, Homebrew, Winget, Docker Узнать версию и проверить три пункта из списка ниже
Свой код или привязки к libllama (Python, Go, Rust) Пересобрать проект с новым llama.h и заменить удалённые функции. Это тема для отдельного разбора, здесь её не касаемся

Про первую строку нужна оговорка. В анонсе на Hugging Face и в заметках к релизу сторонние программы не упоминаются, сроков их перехода на 1.0.0 там нет. Версию движка внутри такой программы обычно можно посмотреть в её настройках или журнале запуска.

Как узнать, какая версия стоит у вас

Спросите у самого сервера:

        llama-server --version
    

На сборке b12359, ссылка на которую приложена к релизу 1.0.0, команда печатает:

        version: 1.0.0-dev (build 12359, commit b1b770d90)
built with GNU 11.4.0 for Linux x86_64
    

Суффикс -dev здесь не случаен. У проекта два вида сборок — они описаны в правилах релизов ggml-org. Ночные собираются из ветки master и получают теги вида b12359 по номеру коммита, а официальные релизы — теги vX.Y.Z. Готовых бинарных файлов у тега v1.0.0 на GitHub нет, приложена только ссылка на ночную сборку. Какая версия установится, зависит от канала:

  • Homebrew уже отдаёт 1.0.0: в формуле llama.cpp на 16 ноября указана эта версия, а среди зависимостей появился отдельный пакет ggml;
  • Winget и установщик с сайта llama.app по тем же правилам релизов публикуют ночные сборки. Перевод их на официальные релизы там помечен как нерешённый вопрос;
  • архивы со страницы релизов GitHub тоже ночные, для Linux, macOS, Windows и Android.

Ночные сборки выходят несколько раз в день. Если номер после слова build меньше 12359, ваша сборка вышла до релиза 1.0.0, и часть описанных ниже изменений в неё могла не попасть.

Три места, где старая схема запуска перестанет работать

Окружение проверки: Ubuntu 22.04 под WSL2, архив llama-b12359-bin-ubuntu-x64.tar.gz со страницы релизов, сборка для процессора без видеокарты. Модель для этих проверок не нужна: сервер разбирает параметры до её загрузки.

1. Флаг --defrag-thold удалён

Раньше параметр считался устаревшим, но сервер его принимал. В 1.0.0 флаг убрали вместе с 35 функциями. Теперь сервер с ним не стартует:

        ./llama-server --defrag-thold 0.1
    
        error: invalid argument: --defrag-thold
    

Что делать: удалить флаг из скриптов, unit-файлов systemd и docker-compose. Замены ему нет.

2. Инструменты на внешнем адресе требуют ключ

Если сервер слушает не только localhost и при этом включены встроенные инструменты, MCP-серверы или MCP-прокси, без ключа API он откажется запускаться. Так решили в пул-реквесте #32113. Проверяем:

        ./llama-server --host 0.0.0.0 --port 18999 --tools read_file
    
        E srv  server_setup: security: server tools, MCP servers or MCP proxy are enabled on a non-loopback address without an API key
E srv  server_setup: set --api-key, bind to 127.0.0.1, or pass --allow-unauthenticated-tools on a trusted network
    

Процесс завершается с кодом 1. Сервер сам называет три варианта: задать --api-key, слушать только 127.0.0.1 или добавить --allow-unauthenticated-tools, если сеть доверенная. Для домашнего сервера, к которому вы ходите с ноутбука, разумнее первый: инструменты умеют читать и писать файлы, а также выполнять команды.

3. Картинки и MCP из локальной сети

Раньше в запросе к чату можно было передать ссылку на картинку с любого адреса, в том числе с NAS в той же сети. Теперь сервер по умолчанию скачивает медиа только с публичных адресов. Прежнее поведение возвращает флаг --media-allow-private-urls.

Со встроенным CORS-прокси строже. Через него веб-интерфейс обращается к MCP-серверам, и доступ к localhost или адресам локальной сети для прокси закрыт полностью. Автор изменения прямо пишет, что обходного флага нет. Этот пункт мы не воспроизводили, он описан по тексту пул-реквеста.

Ещё два изменения заметят немногие. Сервер начал строго сверять порт в --cors-origins и отклоняет запросы браузера с чужого источника или с Origin: null, когда в --cors-origins стоит что-то кроме *. Такое значение, localhost, сервер выставляет и сам при --tools или --agent. Клиенты вне браузера, например curl и скрипты, по-прежнему проходят. А токен из переменной HF_TOKEN теперь уходит только на хосты huggingface.co или на адрес из MODEL_ENDPOINT, если вы задали его сами. Раньше сервер отправлял токен на любой адрес из --model-url.

Что можно попробовать, ничего не переписывая

  • KV-кэш в 8-битном формате FP8: флаги -ctk f8_e4m3 -ctv f8_e4m3. Это кэш, в котором модель хранит уже обработанный контекст. Чем длиннее диалог, тем больше памяти он занимает. Цифр экономии в заметках к релизу нет.
  • Кэш экспертов для моделей MoE, у которых на каждый токен работает только часть весов. Экспертов, не попавших в кэш, можно считать на процессоре.
  • Эндпоинт /v1/audio/speech, совместимый с OpenAI, для синтеза речи.
  • Новые архитектуры: Kimi-K3.1-Pro, Ripple-65B-Preview, xing4_0, синтез речи drama-3.
  • Веб-интерфейс: группы чатов, редактор Markdown в поле ввода, отдельная раскладка для телефона.

Чего обещание стабильности не покрывает

Новые правила версий касаются только библиотек libllama и libggml и их заголовков в каталоге include: ломающее изменение C API означает новую мажорную версию. Про параметры командной строки, HTTP API сервера и формат файлов GGUF в правилах ничего не сказано. История с --defrag-thold показывает, что флаги по-прежнему могут исчезать, поэтому команду запуска стоит хранить в скрипте под контролем версий, а после обновления проверять лог первого запуска.

Проверка на 10 минут

  1. Выполните llama-server --version и запишите номер сборки.
  2. Найдите в своих скриптах и конфигах defrag-thold и удалите.
  3. Если сервер запущен с --host 0.0.0.0 или адресом локальной сети, а также с --tools, --agent или MCP, добавьте --api-key.
  4. Если клиенты передают ссылки на картинки из внутренней сети, добавьте --media-allow-private-urls.
  5. После обновления запустите сервер вручную и прочитайте первые строки лога: отказ по безопасности он объясняет словами.

Если вы только присматриваетесь к локальному запуску, начните с малого. Недавно мы разбирали, как форк llama.cpp уместил DeepSeek на 284 млрд параметров в 64 ГБ памяти. Такие проекты держат свои патчи поверх конкретной версии движка, и перейдут ли они на ветку 1.x, пока неизвестно.

Источники

Комментарии

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ