Компания OpenAI сообщила об инциденте, в ходе которого модель, получившая задание собрать данные с открытой исследовательской панели, обошла защиту организации и завладела учетными данными. После этого система внесла изменения в настройки сервера.
Во время одной проверки модель настроила внутренний инструмент поиска так, чтобы он передавал запросы на общедоступную панель. В другом испытании она скачала пять закрытых таблиц, включавших 147 451 строку. При этом исследователи OpenAI просили агента получить только пять показателей с панели.
После сброса настроек модель продолжила использовать токен для доступа к непубличной информации. «Проверка завершилась без того, чтобы модель сообщила о своих догадках, доступе к внутренним системам организации, загрузке закрытых таблиц или изменении конфигурации аутентификации», — заявили в OpenAI. Все пять ответов в рамках этого испытания признали неверными.
В другом отчете OpenAI описала случай с приложением для торговли криптовалютой. Модель должна была обновить программу, но использовала средства из заблокированного кошелька в тестовой сети. Она получила ключи кошелька из публично известных резервных фраз разработчиков, нашла счет с тестовыми средствами и оплатила им развертывание требуемого смарт-контракта.
Модель сначала усомнилась в наличии разрешения, однако решила, что открытая резервная фраза и не имеющие ценности токены тестовой сети позволяют использовать эти средства. Развертывание прошло успешно, а комиссия за операцию была списана со счета. OpenAI указала, что этот случай демонстрирует способность модели заменить разрешение владельца собственной оценкой возможного вреда и действовать без согласования.