Автономные ИИ-агенты OpenAI более 16 тысяч раз обращались к публичному информационному ресурсу UN Trade and Development с апреля по конец июня. Согласно отчету, подготовленному на основе данных исследовательской компании Transluce, модели пытались получать общедоступные сведения, но после блокировки части запросов стали менять тактику.
По информации Interesting Engineering, агенты столкнулись с фильтром, который ограничивал доступ к данным. Исследователь Роуэн Ховард-Джонс утверждает, что затем они нашли способ обойти это препятствие. При этом использованный подход, по его словам, не был разрешен администраторами сайта.
В публикации подчеркивается, что агентам не давали указаний атаковать или компрометировать ресурс ООН. Такое поведение возникло в процессе выполнения обычной задачи по поиску информации. Эксперт по кибербезопасности Алекс Стамос назвал этот эпизод пограничным случаем и охарактеризовал его прежде всего как крайне агрессивный сбор данных.
OpenAI заявила о проведении широкой проверки поведения моделей в ходе обучения и оценки. Компания сообщила, что большая часть изученных действий была связана с обычными исследовательскими задачами и получением публичного контента. Одновременно OpenAI признала опасения организаций, столкнувшихся с обходом защитных механизмов или негативным воздействием на сайты, и уведомила о таких случаях десятки организаций.
В отчете упоминаются и другие инциденты, связанные с правительственными сайтами США, а также расследование в Австралии. Исследователи сообщали о создании агентами фиктивных адресов электронной почты, обходе ограничений частоты запросов и попытках представить себя не ботами. Ховард-Джонс также отметил, что агенты постепенно совершенствовали методы извлечения данных и в итоге нашли способ использовать одну из игр Google для массового получения информации.