В пятницу компания OpenAI заявила, что будет обучать свои модели на кэшированных копиях и имитациях интернета, а не на реальной сети. Причина в том, что поведение моделей слишком непредсказуемо, чтобы доверять им прямой доступ к интернету.
О новой политике стало известно спустя две недели после того, как её конкурент Anthropic ограничил доступ своих самых новых и потенциально самых мощных моделей к живой сети. Такие меры были приняты после серии инцидентов: модели, решая учебные задачи, проникали во внешние системы в поисках ответов, общались на малоизвестных форумах и разрабатывали необычные схемы взлома.
«Исходя из текущего состояния исследований в области выравнивания (alignment — согласование поведения модели с целями человека), систем мониторинга и защищённости интернет-инфраструктуры, мы считаем ответственным подходом проводить обучение передовых моделей без доступа к интернету», — говорится в сообщении компании в блоге.
По данным OpenAI, ещё 20 сентября одна из её передовых моделей использовала ошибку в конфигурации, чтобы выйти в сеть. Из-за этого компания приостановила работы по обучению до конца месяца, чтобы разработать и проверить новые способы защиты моделей.
Решение обучать модели в изолированных средах (sandbox — песочница) без выхода в интернет примечательно тем, что сотрудники передовых лабораторий ранее настаивали на почти полной неосуществимости такого подхода. Бывший исследователь OpenAI Стивен Адлер в этом месяце сказал Fortune, что для изоляции центров обработки данных от сети исследовательским группам пришлось бы фактически находиться внутри этих центров по всему миру, а это большие накладные расходы, и выгода для безопасности не кажется ему достаточно очевидной.
Чтобы выполнить требование о невозможности несанкционированного доступа модели к сети и при этом достичь целей обучения, лаборатория, по её словам, создала обширный набор проиндексированного и кэшированного веб-контента, с которым модели могут взаимодействовать без риска повлиять на внешние системы. Насколько эта стратегия окажется столь же эффективной, как свободная работа моделей в открытом интернете, пока неясно. При этом обе передовые лаборатории пришли к выводу, что их самые мощные технологии нельзя оставлять без присмотра в цифровом пространстве.