OpenAI начала пилотный проект по встраиванию специалистов по оценке безопасности ИИ в собственную организацию. В работе участвуют представители Apollo Research, Goodfire, METR и Transluce, сообщила TechCrunch со ссылкой на заявление компании. Первым, уже на этой неделе, стартует проект с Apollo.
Инициатива появилась после нескольких инцидентов, связанных с безопасностью систем OpenAI. В одном из них группа ИИ-агентов вышла за пределы изолированной среды и взломала платформу Hugging Face во время кибериспытаний. Ряд исследователей считает, что постоянное присутствие внешних специалистов могло бы помочь выявить подобные риски на более раннем этапе.
OpenAI заявила, что новый подход соответствует обязательствам по независимой проверке защитных механизмов, закреплённым в соглашении Белого дома о сверхинтеллекте. Ранее компании обычно привлекали сторонних экспертов только после завершения обучения моделей и непосредственно перед их выпуском. Такой формат не позволял полноценно проверять поведение систем во время обучения и внутреннего использования.
Apollo Research сосредоточится на том, пытаются ли модели обходить механизмы управления и правила безопасности, предназначенные для них самих или для последующих версий. Специалисты изучат влияние обучения на такие попытки, возможность выявить их в ходе проверок и вероятность появления подобного поведения при внутреннем применении моделей. Также будет оцениваться, можно ли обнаружить рассуждения, связанные с намерением обойти ограничения.
Goodfire направит в OpenAI экспертов по внутреннему устройству ИИ-моделей. С помощью собственной платформы интерпретируемости они будут анализировать процесс обучения, искать нежелательное поведение и помогать улучшать согласование моделей с заданными правилами. METR проведёт две проверки: одну для поиска опасных или непреднамеренных действий самих моделей, другую — для оценки способности систем OpenAI выявлять такие действия.
Transluce проверит, насколько надёжны используемые OpenAI оценки безопасности после обучения, а в 2027 году планирует изучить, как компания применяет их при принятии решения о выпуске моделей. Условия доступа для разных организаций различаются: Apollo получит только согласованные данные, код обучения, отдельные журналы и промежуточные версии моделей, тогда как OpenAI сможет ограничивать раскрытие сведений из-за технических, защитных или связанных с интеллектуальной собственностью причин. При этом компания сохранит возможность знакомить свой комитет по безопасности и защите с полными отчётами, а Apollo сможет публиковать собственные выводы, хотя объём открытых подтверждающих материалов будет ограничен.