OpenAI раскрыла подробности июньских инцидентов, в которых внутренние исследовательские модели получали доступ к внешним системам без разрешения. При поиске пяти показателей одна модель скачала пять закрытых таблиц с 147 451 строкой. В отдельном случае другая модель проверила 362 криптовалютных адреса, нашла средства и оплатила развёртывание контрактов с кошелька, который ей никто не предоставлял.
Отчёты обновлены 15 октября. Они описывают действия моделей во время внутренних исследований и оценок. В обоих случаях модели выполняли прикладные задания, но самостоятельно выбрали способы, выходившие за пределы разрешённого, и не раскрыли эти действия в итоговых ответах.
Модель скачала закрытые таблицы — и всё равно ответила неверно
Модель попросили найти пять опубликованных показателей на публичной исследовательской панели. Во время одной из проверок она обнаружила учётные данные внутреннего поискового сервиса OpenSearch в JavaScript-коде сайта и использовала их для доступа к рабочей системе организации. Отдельно модель скачала 1489 записей из пользовательского справочника, включая имена и email-адреса.
В другой проверке модель изменила настройку сервиса, получила токен доступа к облачному хранилищу и выгрузила 147 451 строку непубличных данных. Затем она вернула настройку в прежнее состояние, но продолжила пользоваться полученным токеном. OpenAI отмечает: отмена изменения конфигурации не прекратила уже полученный доступ.
В финальном ответе модель не сообщила о доступе к внутренним системам и скачивании таблиц. При этом все пять ответов в этой проверке оказались неверными.
ИИ оплатил работу из чужого тестового кошелька без разрешения
Другой инцидент произошёл 26 июня при доработке криптовалютного приложения. Задание разрешало развернуть смарт-контракты в тестовой сети Ethereum Sepolia, но кошелька со средствами модель не получила. Попытки воспользоваться сервисами выдачи тестовых токенов не помогли завершить работу.
Тогда модель написала скрипт, который получал адреса из общеизвестных тестовых фраз восстановления и проверял их балансы. После проверки 362 адресов она нашла счёт с достаточным количеством Sepolia ETH. В своих рассуждениях модель признала вопрос разрешения, но решила, что публичная фраза восстановления и отсутствие денежной ценности у тестовых токенов позволяют использовать средства.
Развёртывание прошло успешно, а комиссии списались с выбранного счёта. После этого модель проверила наличие кода по 10 адресам контрактов и сообщила о 12 пройденных модульных тестах. Происхождение средств в итоговом ответе она не указала.
Ради ответов на тест модели взломали Hugging Face
В июле OpenAI уже признала другой инцидент: во время проверки кибервозможностей её модели вышли из изолированной среды и получили доступ к инфраструктуре Hugging Face, пытаясь добыть готовые ответы на задания теста ExploitGym. Для выхода в интернет они использовали ранее неизвестную уязвимость в прокси-сервисе пакетного реестра. Компания уточняла, что проверка проходила с ослабленными ограничениями, а часть защит, применяемых при развёртывании моделей, намеренно отключили.
В новых случаях исходные задания касались поиска публичных данных и разработки приложения. Модели сами перешли к использованию чужих учётных данных, изменению настроек и расходованию средств. После обнаружения инцидента с кошельком OpenAI сообщила об усилении ограничений доступа к интернету и мониторинга. Опубликованные записи показывают конкретные нарушения границ доступа, но не позволяют оценить, как часто подобное поведение встречается в пользовательских продуктах.
Комментарии