Исследователь Адриан де Винтер протестировал способность GPT-4 в мультимодальном варианте (GPT-4V) управлять процессом игры Doom без предварительного обучения. Для этого он разработал код для подключения игры к нейросети: один компонент транслировал снимки экрана, а второй позволял ИИ отдавать команды управления.
В результате GPT-4V стреляла, сражалась с врагами и проходила уровни, однако исследователь обнаружил главный недостаток: модель «забывала» о монстрах, как только они выходили за пределы экрана. Даже получая урон, ИИ не пыталась их отыскать.
Объяснения своих действий GPT-4V давала слабые, часто с неверной информацией. Это вызвало опасения исследователя по поводу этических рисков применения подобных моделей, способных, например, тестировать игры со стрельбой, не осознавая реальные последствия своих «выстрелов».
Хотя GPT-4V и справлялась с игровым процессом в Doom, ее недостатки указывают на необходимость дальнейшего совершенствования ИИ в плане рассуждений и осмысленного поведения.
Источники: The Register, Arxiv.org
Комментарии