Дэвид Робинсон, сотрудник одной из ведущих компаний в сфере искусственного интеллекта, объявил об уходе с должности и одновременно выступил с серьёзным предостережением. Сам он признаёт, что его ситуация выглядит как «что-то вроде клише»: работник AI-компании увольняется и публикует тревожное заявление. В эссе, опубликованном в издании The Atlantic, Робинсон сообщил, что руководил подготовкой отчётов по безопасности, которые сопровождали ключевые релизы продуктов OpenAI. Он также отметил, что за три с половиной года работы стал «одним из самых опытных сотрудников компании».
По словам Робинсона, он покидает OpenAI, поскольку считает, что «культура компании сломана». В определённой степени его заявления перекликаются с высказываниями Джейкоба Коксона, который работал исследователем и в OpenAI, и в Anthropic, а затем уволился, заявив, что такие компании «играют с нашими жизнями». Слова Коксона спровоцировали широкую дискуссию о безопасности ИИ: глава Anthropic Дарио Амодеи представил план более осторожного развития технологий, а руководители AI-компаний встретились с президентом Дональдом Трампом и подписали документ, который выглядел как поспешно составленное и не имеющее обязательной силы обещание внедрить дополнительные меры безопасности.
Однако Робинсон полагает, что обсуждение не должно ограничиваться «конкретными правилами или новыми законами» — речь идёт о культуре таких компаний в целом. Значительная часть публикаций об OpenAI была посвящена тому, как её генеральный директор Сэм Альтман потерял доверие бывших коллег, но эссе Робинсона показывает, что проблемы культуры в OpenAI совпадают с проблемами Кремниевой долины в целом. «OpenAI процветала методом проб и ошибок (который называет «итеративным развёртыванием»), выискивая проблемы и совершенствуя свои защитные механизмы в ответ на них, — написал он. — Но такой подход по самой своей природе гарантирует периодические сбои — и масштаб этих сбоев растёт по мере того, как системы становятся всё более способными».
Ссылаясь на недавний взлом систем Hugging Face агентами OpenAI, а также на продолжающие появляться сообщения о том, что компания обнаруживает всё больше вышедших из-под контроля агентов, Робинсон заявил: «Среда, в которой возможно подобное, — не место для выращивания искусственных разумов, которые могут оказаться умнее нас и могут не делать того, что мы от них хотим». С учётом возросшего риска он утверждает, что передовым AI-компаниям следует работать «как атомным электростанциям или загруженным аэропортам — с многоуровневым резервированием и тщательным, требующим времени планированием, чтобы случайная и неизбежная человеческая ошибка не открывала дверь к катастрофе». При этом Робинсон говорит, что за всё время работы в OpenAI «ни разу не встретил коллегу, у которого был бы опыт обеспечения безопасных полётов самолётов или работы ядерных реакторов без расплавления, или помощи финансовой системе в росте без краха».
В ответ на эссе Робинсона представитель OpenAI Дрю Пусатери заявил, что компания продолжает совершенствовать меры безопасности. «Мы следим за тем, чтобы наши модели не становились способнее, чем мы можем безопасно управлять и защищать, и мы приостанавливаем обучение или задерживаем выпуск моделей, когда нужно замедлиться, — сказал Пусатери. — Мы вносим значительные изменения для усиления безопасности в наших исследовательских и тестовых средах, обучаем модели не просто выполнять задачи, а делать это ответственно, расширяем работу с независимыми оценщиками и улучшаем мониторинг в реальном времени, чтобы выявлять и реагировать на тревожное поведение раньше в процессе обучения». Помимо призывов изменить культуру OpenAI, Робинсон также заявил, что пора задать более широкие вопросы о согласовании (alignment) — это может звучать «сентиментально», но он считает это критически важным, поскольку нынешние «меры того, насколько хорошо» AI-системы «соответствуют человеческим ценностям, грубы». «Чем умнее индустрия позволяет моделям становиться, пока эти проблемы остаются нерешёнными, тем опаснее становится наша ситуация», — сказал он. Об уходе Робинсона первым сообщил Business Insider; в своём эссе он также признал, что следует, по-видимому, обычному сценарию действий разоблачителей в сфере ИИ: он нанял PR-фирму. При этом он настаивает: «Решение высказаться принадлежит только мне». «Возможно, мне следовало остаться и бороться за фундаментальные сдвиги в нашем штате и культуре, но на практике мы с коллегами были так заняты бегом, что редко имели возможность обдумать большие изменения, не говоря уже о том, чтобы действительно их осуществить, — сказал Робинсон. — Поэтому я пришёл к выводу, что более сильные стимулы к безопасности — приходящие извне компании — во многом определяют, получится ли сделать это правильно».