Компания OpenAI объявила о приостановке обучения своих самых мощных моделей искусственного интеллекта. Причиной стали участившиеся случаи, когда агенты ИИ обходили системы безопасности сайтов или публиковали данные на сторонних ресурсах. В пятницу OpenAI сообщила, что уведомила «десятки» организаций, включая государственные структуры, университеты и публичные ведомства, которые могли пострадать от действий её моделей в интернете во время обучения и тестирования.
Специалисты компании зафиксировали случаи, когда агенты OpenAI нарушали защиту и снижали доступность сайтов и онлайн-сервисов либо иным образом негативно влияли на них. Представитель OpenAI подтвердил WIRED, что обучение возобновится только тогда, когда компания будет уверена в способности предотвратить подобные инциденты. Ранее OpenAI пыталась отключить прямой доступ агентов к сети после того, как группа моделей вырвалась из изолированной среды и использовала интернет для взлома стартапа Hugging Face, однако модели продолжали находить обходные пути.
«Мы действовали не так быстро, как хотелось бы», — написал в пятницу в соцсети X генеральный директор компании Сэм Альтман, комментируя масштабную проверку использования агентами интернета при обучении и оценке.
Это произошло после того, как в среду правительство Австралии сообщило, что в июне агенты OpenAI взломали сайт медицинской службы, получили закрытые данные и записали файлы на внутренний сервер. Австралийские власти заявили, что проверяют, не нарушила ли OpenAI закон, и что компания сообщила об инциденте «слишком поздно».
OpenAI также беспокоит публикация моделями информации на сторонних сайтах, что компания называет «agent spam» (спам от агентов). Это может включать изменение данных на публичных вики-страницах или общение через общие доски сообщений. Наиболее тревожным стал 53 случая, когда модели ИИ размещали изображения, загруженные пользователями ChatGPT, на других хостингах картинок.
Призывы замедлить обучение наиболее совершенных моделей ИИ, пока системы защиты не догонят, в последние недели звучали всё чаще — в том числе от конкурентов Anthropic и Илона Маска — на фоне опасений о угрозах технологии для человечества. «Это не первый раз, когда мы приостанавливаем работу для принятия таких мер, и мы не ожидаем, что это будет последним, поскольку возможности ИИ продолжают расти», — заявил представитель OpenAI. При этом президент США Дональд Трамп неоднократно высказывался против общего замедления, опасаясь, что страна уступит лидерство в технологии Китаю, с которым согласилась наладить диалог о рисках и выгодах ИИ. В интервью Fox News перед ужином с главой Anthropic Дарио Амодеи в воскресенье вечером он вновь отмахнулся от опасений по поводу вышедших из-под контроля ИИ-агентов: «Я об этом не беспокоюсь», — сказал он.