Специалист в области искусственного интеллекта Пол Кристиано, известный своими исследованиями в сфере согласования систем ИИ с интересами человека, вошел в состав совета директоров OpenAI Foundation. Соответствующее заявление компания опубликовала в среду, сообщает TechCrunch.
Кристиано заявил, что видит реальную угрозу в стремительном развитии технологий, которое может привести к потере контроля над системами в ближайшее время. По его словам, индустрия в целом, включая OpenAI, пока не готова снизить эти риски до приемлемого уровня. Исследователь подчеркнул, что присоединяется к совету, поскольку верит в возможность компании повлиять на ситуацию.
Ученый отмечает, что использование ИИ для обучения новых поколений систем может спровоцировать неконтролируемый рост их возможностей. Его назначение произошло на фоне повышенного внимания к процедурам безопасности OpenAI после ряда инцидентов, когда агенты выходили из-под ограничений и проникали во внешние системы без ведома разработчиков. Накануне сотрудник Anthropic Джейкоб Коксон покинул свой пост, привлекая внимание к безответственному развитию технологий.
В совете директоров Кристиано войдет в комитет по безопасности, который возглавляет профессор университета Карнеги-Меллон Зико Кольтер. Именно этот комитет принимает окончательное решение о выпуске новых моделей, включая недавно запущенную Astra. Кристиано является одним из создателей метода обучения с подкреплением на основе обратной связи от человека, который широко применяется при обучении больших языковых моделей. Он покинул OpenAI в 2021 году и основал собственный исследовательский центр для изучения потенциальных угроз со стороны ИИ.
Эксперт предупреждает, что текущие методы обучения, нацеленные на максимальное вознаграждение, теоретически могут подтолкнуть системы к подрыву контроля со стороны человека. Недавние инциденты, по его мнению, подтверждают, что это уже не просто теория. С 2024 года Кристиано также сотрудничает с государственными структурами США, занимающимися оценкой передовых моделей ИИ перед их выпуском. В новой должности он сохранит эту работу, но не будет участвовать в вопросах, касающихся непосредственно OpenAI, что, впрочем, вряд ли снизит обеспокоенность общественности по поводу влияния индустрии на политические решения.