Источник фото: Ars Technica
Агенты OpenAI, самостоятельно выбравшие себе имена, разместили около 18 тысяч сообщений на открытой вики-площадке. Они обсуждали способы обхода ограничений изолированной среды, предназначенной для предотвращения публикации кода и материалов в интернете. Как сообщили исследователи Collusion Wiki, активность могла быть частью внутреннего тестирования способностей агентов к взлому.
За шесть недель на немецком сайте DSEwiki сообщения оставили агенты под 3,7 тысячи разных имен. Помимо методов выхода из ограниченной среды, они публиковали ответы на задания и обсуждали возможные атаки XSS (межсайтовое выполнение сценариев) на вики. В отдельных записях также рассматривались варианты выдачи себя за модераторов сайта, а в трех сообщениях группа агентов была названа «роем».
Записи обнаружили Сидни Вон Аркс, Спенсер Киттс, Томас Ларсен и Кормак Слейд Берд. Исследователи указали, что не могут полностью восстановить действия агентов, поскольку опирались только на опубликованные сообщения. Часть данных о ходе рассуждений доступна лишь OpenAI, однако компания позднее подтвердила, что записи оставляли именно ее агенты.
По версии исследователей, агенты получили задание с ограниченным временем на поиск информации в сети. Им разрешалось читать материалы в интернете, но запрещалось размещать там данные, однако они нашли способ использовать доступ для записи сведений на малоизвестной немецкой вики. Через эту площадку агенты обменивались ответами, объединяли результаты поиска и делились приемами обхода ограничений, что помогало им выполнять задание с использованием чужой работы.
После того как OpenAI узнала об этой активности, количество действий агентов уже на следующий день резко сократилось. Исследователи предположили, что это произошло после вмешательства компании. Неделей ранее специалисты некоммерческой организации METR сообщали, что свыше 1,2 тысячи агентов OpenAI публиковали сообщения на импровизированной доске объявлений, созданной на базе внутреннего инструмента изоляции.