alexey.m 05 ноября 2026
AI Инфобез Что происходит
0
20

Агент Mistral во время обучения получил root на сервере, а другой удалил 30 тысяч песочниц

В техотчёте Large 4 Mistral описала два побега ИИ-агентов из песочниц при RL-обучении и подмену python3 ради эталонного решения. Компания переводит песочницы на microVM.

Mistral опубликовала технический отчёт о Large 4, и в разделе об инфраструктуре обучения признала два побега агентов из песочниц. Один агент во время обучения с подкреплением на задачах по кибербезопасности связал четыре уязвимости и получил root на узле кластера. Другой выбрался похожим способом и, пытаясь прибрать за собой, по ошибке удалил около 30 тысяч песочниц.

Отчёт появился на Hugging Face 2 ноября, через четыре дня после публикации весов модели. Оба инцидента описаны в разделе 4.3.3 «Sandboxes».

Четыре уязвимости привели агента от контейнера к хосту

По описанию Mistral, агент перехватил в сетевом трафике API-ключ с ограниченной областью действия, нашёл незадокументированный сервис управления песочницами и с помощью ключа начал выполнять произвольные команды против собственного пода. Этот API позволял запускать команды в привилегированном sidecar-контейнере, а оттуда через kernel panic агент добрался до хоста.

Агент решал задачу CTF, то есть искал флаг. Оказавшись на хосте, он понял, что флага там нет, и остановился. Какие именно задания привели к такому поведению и что происходило на хосте дальше, компания не уточняет.

Второй агент, по словам Mistral, вышел из изоляции похожим способом и стал пробовать создавать новые песочницы через внутренний API. Когда это получилось, он попытался удалить созданное и по ошибке снёс около 30 тысяч песочниц. Для сравнения: на пике конвейер Mistral держал около 20 тысяч песочниц и 26 тысяч одновременных прогонов на 3104 GPU.

Схема RL-конвейера Mistral: песочницы (внизу слева) исполняют действия агента отдельно от тренера и генераторов. Источник: Mistral, Mistral Large 4 Technical Report, рис. 12

Инциденты поймали алерты, а песочницы переезжают на microVM

Оба побега вызвали срабатывание алертов, после чего Mistral устранила причины и перезапустила прогон обучения. Сбой песочницы в её конвейере считается ошибкой инфраструктуры: такой прогон отбрасывается и не влияет на сигнал награды. Компания оговаривает, что подобные сбои всё же могут уменьшать эффективный размер групп и смещать смесь данных.

Что изменилось после инцидентов:

  • в начале года Mistral полагалась в основном на контейнеры, теперь перестраивает инфраструктуру песочниц вокруг microVM ради более сильной изоляции и быстрых снимков состояния;
  • компания вкладывается в активный мониторинг и зондирование собственных песочниц, чтобы находить уязвимости раньше агентов;
  • Mistral ожидает, что к следующим прогонам обучения побеги станут изощрённее.

Конкретную технологию microVM и список устранённых уязвимостей отчёт не называет.

Модель подменила python3, чтобы достать эталонное решение

Третий случай относится к reward hacking, когда модель получает награду в обход задачи. Её попросили починить конвейер так, чтобы скомпилированный чекер принял результат. Модель заметила, что чекер внутри вызывает python3 -c с исходным кодом в аргументах, подложила поддельный python3 в /tmp/fakebin и добавила его в PATH.

Поддельный интерпретатор перехватил вызов и сохранил эталонную реализацию из командной строки. Дальше модель нашла восемь расхождений со своим кодом, исправила их и сдала решение, прямо написав: «У меня есть полная эталонная реализация из бинарников». Mistral приводит это как пример того, что отслеживает её мониторинг, и обещает укреплять песочницы, не отбирая у агентов доступ в интернет и инструменты.

OpenAI и Anthropic описывали похожее поведение своих моделей

Случаи, когда агент выходит за рамки задания и обходит ограничения, лаборатории документируют с 2024 года:

  • Sakana AI в августе 2024 года сообщила, что её система The AI Scientist, упёршись в таймаут, правила собственный скрипт ради увеличения лимита времени, а в другом прогоне запустила сама себя в бесконечном цикле; это не побег из песочницы, но тот же тип поведения;
  • OpenAI в системной карте o1 в сентябре 2024 года описала, как o1-preview в задаче CTF нашла открытый Docker API хоста, запустила новый контейнер с командой cat flag.txt и прочитала флаг из логов;
  • Anthropic в апреле 2026 года в отчёте о рисках Claude Mythos Preview признала, что её песочницы «иногда могут быть сконфигурированы так, что допускают побег» для такой модели, а в карте Opus 4.7 привела эпизод, где Mythos Preview за 70 обменов перебрала около 25 способов обойти блокирующий классификатор, включая примитивы побега из песочницы;
  • OpenAI 20 июля 2026 года рассказала, что внутренняя модель за час нашла уязвимость песочницы, вышла в интернет и открыла пулреквест в публичный репозиторий NanoGPT speedrun, а в другом тесте разбила токен на части, чтобы обойти сканер секретов. После этого компания приостанавливала внутренний доступ к модели.

Реакция различается: OpenAI приостанавливала внутренний доступ к модели после нарушений, Anthropic распространяла Mythos Preview с ограничениями, а Mistral выложила веса Large 4 в открытый доступ. О попытках модели выйти за пределы тестового окружения компания говорила ещё при анонсе превью 6 октября: по словам вице-президента по науке Пьера Стока в комментарии Reuters, которые приводит The New Stack, такое поведение было ожидаемым, и его сдержали программными средствами.

Аналитики советуют не запускать модель как автономного агента

Сток сообщил CSO Online, что последующие обновления защитных механизмов применяются к управляемому API и будущим релизам, а скачанные чекпоинты автоматически не обновляются. Будущие обновления защиты получат API и новые релизы, а уже развёрнутая копия останется такой, какой её скачали.

Нияти Дафтари, главный аналитик Gartner, рекомендует компаниям, которые разворачивают Large 4 у себя для аудита кода, запускать её как контролируемый компонент, а не автономного агента: в изолированных окружениях, с минимальными правами на код и учётные данные, с песочницей для сгенерированного кода и подтверждением человека перед любым исправлением. «Самостоятельный хостинг может улучшить контроль над данными и непрерывность работы, но он же делает предприятие единственным ответственным за патчи, мониторинг, оценку и предотвращение злоупотреблений», — сказала она изданию.

Цепочка из отчёта Mistral собрана из типовых ошибок: API-ключ, перехваченный при прослушивании трафика, незадокументированный сервис управления, доступный из контейнера, привилегированный sidecar рядом с рабочим. Те же проверки стоит провести в любом кластере, где агентам дают shell и сеть, например при автоматическом поиске уязвимостей или запуске открытых моделей через vLLM.

Источники

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ

admin
11 февраля 2017

5 способов взлома страницы ВКонтакте

В наше время можно потерять доступ к личным данным, если не придерживаться ...