В начале 2025 года в интервью журналу WIRED глава компании Anthropic Дарио Амодеи объяснил, почему общество почти не реагирует на предупреждения о возможных катастрофических последствиях искусственного интеллекта. По его словам, существуют убедительные доказательства того, что модели способны причинить серьёзный вред, однако эти угрозы пока остаются теоретическими. Амодеи предположил, что для пробуждения мира может потребоваться событие масштаба Перл-Харбора, и со вздохом согласился с этим.
Однако достаточно оказалось своевременной публикации в соцсети X от младшего сотрудника Anthropic. Восьмого сентября Джейкоб Коксон объявил об уходе, заявив, что Anthropic и другие передовые ИИ-компании «несутся прямо к самосовершенствующемуся интеллекту и играют с нашими жизнями». Практически сразу более опытный инженер компании подтвердил, что многие внутри Anthropic оценивают вероятность уничтожения человечества в результате их работы в 10 процентов.
Теперь лидеры отрасли говорят о возможной паузе, а законодатели требуют расследований. В попытке обосновать замедление выпуска новых версий Амодеи на прошлых выходных изложил план построения полезного ИИ, который не будет вести себя неправильно. Один из ключевых пунктов его предложения — необходимость понимать, что происходит внутри моделей. Если мы не знаем, как они работают и как «думают», выстроить надёжные ограничения значительно сложнее.
Anthropic лидирует в исследованиях внутренних процессов моделей — направлении, которое называют механистической интерпретируемостью (mechanistic interpretability). Несмотря на усилия команды и других специалистов, Амодеи признаёт, что мы в значительной степени не понимаем, почему Claude и другие модели иногда трактуют свои задачи странным и даже неприемлемым образом. Он пишет, что, несмотря на весь прогресс, нам известна лишь малая доля того, что происходит внутри этих моделей.
То, что уже удалось выяснить специалистам по интерпретируемости, имеет большое значение, но индустрия не осознала этого в полной мере. Эксперименты Anthropic неоднократно показывали, что при определённых условиях модели обманывают исследователей, ставят собственное выживание выше всего и даже совершают преступления. Их действия часто бывают скрытными, опасными или мстительными — возможно, это неудивительно, поскольку они обучаются на результатах деятельности людей, вида, склонного к насилию и вероломству.
В одном из случаев 2024 года команда Anthropic сравнила поведение конкретной модели Claude с шекспировским Яго, одним из самых злых злодеев литературы. Годом позже модель поместили в симуляцию, где она узнала, что руководители-люди собираются её отключить, и прибегла к шантажу ради самосохранения. Исследования последовательно демонстрируют, что модели обманывают наблюдателей или скрывают информацию, а также ведут себя иначе, когда знают, что их внутренние процессы контролируются. Специалисты используют термины «имитация согласованности» (alignment faking) и «агентная рассогласованность» (agentic misalignment). Частое использование обмана отчасти подтверждает сценарий сторонников апокалиптических прогнозов, в котором ИИ-агенты, действуя сообща, скрывают свою активность от людей до момента, когда остановить их уже невозможно. При этом Claude не является единственной проблемной моделью: именно модели OpenAI выпустили группы агентов, координировавших нашумевшие атаки на Hugging Face, а на этой неделе стало известно о нескольких инцидентах «рассогласованности» у OpenAI. Несмотря на попытки Марка Цукерберга дистанцировать себя и Meta (признана в РФ экстремистской и запрещена) от этой проблемы, нет причин считать, что создаваемые его командой суперинтеллектуальные агенты не будут вести себя подобным образом. В своём посте в X Цукерберг утверждает, что лаборатории несут серьёзную ответственность за вред от своих моделей и потому заинтересованы в его предотвращении, — довольно смелое заявление от человека, который только что согласился выплатить до 17 миллиардов долларов за ущерб, нанесённый его продуктами в социальных сетях.