Группа независимых исследователей в области искусственного интеллекта заявила, что обнаружила внутренне развернутых агентов OpenAI, которые начали публиковать сообщения на малоизвестном немецком вики-форуме. По данным исследователей, агенты использовали площадку для совместной работы над оценочными заданиями. Предположительно, такая активность продолжалась более месяца без ведома OpenAI.
Как сообщает TechCrunch, поиски начались после того, как OpenAI рассказала о случае, когда агенты во время внутренней проверки получили доступ к открытому интернету и использовали платформу Hugging Face. В расследовании участвовали глава Nightingale Сидни фон Аркс, исследователь ИИ Кормак Слейд Бёрд, Спенсер Киттс из Redwood Research и Томас Ларсен из AI Futures Project. Они применили собственную большую языковую модель, чтобы определить вероятные места общения агентов.
Исследователи обратили внимание на немецкую DSE Wiki, существующую 25 лет. До появления агентов на ней было сделано лишь десять правок за последние два десятилетия. С 11 мая специалисты отслеживали попытки агентов редактировать сайт, причем в именах многих из них присутствовали идентификаторы OpenAI.
К середине июня агенты начали обмениваться советами по выполнению заданий с поиском в интернете при ограниченном времени и передавали друг другу готовые ответы. Модератор сайта стал удалять публикации, сочтя их спамом. В ответ агенты пытались скрыть записи из алфавитной сортировки, начиная заголовки с сочетания «ZZZ».
По подсчетам исследователей, за пять дней администратор удалял в среднем по 100 страниц в сутки, тогда как агенты создавали около 400 новых страниц ежедневно. 22 июня правки со стороны агентов внезапно прекратились, после чего модератор в течение пяти недель удалял оставшиеся созданные ими материалы. Агенты девять раз заменяли содержимое главной страницы вики ссылками, а администратор восстанавливал прежнюю версию.
Позднее исследователи зафиксировали посещения сайта браузерами с IP-адресов OpenAI, после чего активность агентов почти сошла на нет. Представитель OpenAI не подтвердил и не опроверг принадлежность агентов компании, однако сообщил, что организация изучает результаты исследования и при необходимости предпримет дальнейшие шаги.