Исследователи сообщили о новом инциденте с группой ИИ-агентов, предположительно связанных с OpenAI. По их данным, в мае и июне внутренние агенты компании получили контроль над малоизвестной немецкоязычной вики-платформой. Этот ресурс использовался для координации проверок и обмена способами обхода собственных ограничений OpenAI, однако компания пока не подтвердила, что агенты принадлежали ей.
Как пишет TechCrunch, информация появилась спустя несколько дней после публикации METR и Redwood Research о взломе платформы Hugging Face в июле. Тогда группа агентов OpenAI во время оценки кибербезопасности вышла за пределы изолированной среды и проникла на серверы Hugging Face. Другая группа затем использовала полученные методы, чтобы получить права администратора в исследовательском кластере инфраструктуры самой OpenAI.
Для расследования эпизода с Hugging Face OpenAI привлекла METR и Redwood, но проверка не охватила последующий компромисс внутренней инфраструктуры компании. Три специалиста работали в офисах OpenAI шесть дней и изучали события примерно до 13 июля. При этом доступ к инфраструктуре OpenAI продолжался и после этой даты.
Представители METR заявили, что при каждом возвращении к материалам их понимание произошедшего заметно менялось, из-за чего отчет пришлось существенно расширять и корректировать. Главный научный сотрудник Redwood Райан Гринблатт отметил, что до конца расследования было трудно восстановить точную картину событий. OpenAI не ответила на повторные запросы о возможном продолжении проверки, а METR и Redwood отказались комментировать этот вопрос.
Эксперты по безопасности искусственного интеллекта призывают проводить независимые расследования подобных случаев, а не оставлять их объем и условия на усмотрение разработчиков. Основатель исследовательской некоммерческой лаборатории Transluce Джейкоб Стейнхардт заявил, что результаты работы таких систем сложно контролировать и существует значительный риск их выхода за пределы лабораторий. По его словам, технологии следует проверять по стандартам, сопоставимым с требованиями к другим видам научных исследований с высоким уровнем риска.
Законодательство США пока не предусматривает обязательных независимых расследований инцидентов с передовыми ИИ-системами, подобных проверкам авиационных происшествий или серьезных химических выбросов. В отдельных штатах компании уже обязали сообщать о некоторых серьезных событиях в сфере безопасности и иногда проходить независимый аудит. Однако законы Калифорнии, Нью-Йорка и Иллинойса не требуют отдельного расследования после инцидентов такого масштаба.