В начале этого года Ришуб Джайн уволился из Google DeepMind, где занимался исследованиями искусственного интеллекта, после того как пришёл к определённому выводу. Работая над новыми моделями, он осознал, что вместе с коллегами фактически передаёт контроль над процессом самому ИИ. Используя способности ИИ к программированию для ускорения разработки следующего поколения моделей, специалист как бы устранял себя из этого процесса. Лаборатории рассчитывают довести такой подход до состояния, когда ИИ сможет бесконечно улучшать сам себя — это явление называют рекурсивным самоулучшением.
Джайн полагал, что присутствие человека может быть ключевым условием для сохранения контроля над технологией и предотвращения тяжёлых последствий. «Прогресс ИИ растёт, — сказал он WIRED. — И по мере того как ИИ становится более способным, он несёт больше рисков». Мысль о том, что он может не иметь должного представления о том, как модель ИИ создаёт своего преемника, настолько его встревожила, что в июне он ушёл с работы. Джайн — один из растущего числа исследователей ИИ, которые открыто говорят о таких опасениях.
За последние недели тревога усилилась. По-настоящему ошеломляющие успехи в возможностях ИИ — модель OpenAI решила задачу по математике, которой несколько веков, за считаные часы — совпали с чередой инцидентов в сфере безопасности, когда целые группы агентов вырвались из-под контроля и взломали другие системы. Эти опасения достигли пика на этой неделе после того, как исследователь Джейкоб Коксон объявил об уходе из Anthropic, предупредив, что компании, работающие над ИИ, «мчатся прямиком к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями». Один из руководителей Anthropic, занимающийся безопасностью ИИ, высказался столь же прямо: «Мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что вероятность этого больше 10% в ближайшее десятилетие».
«Я думаю, что сама идея рекурсивного самоулучшения пугает людей, — говорит Нейт Соарес, специалист по информатике из исследовательской некоммерческой организации MIRA и соавтор книги «If Anybody Builds It, Everybody Dies», где утверждается, что сверхчеловеческий ИИ приведёт к вымиранию человечества. — Это начинает ощущаться реальным». Ключевой элемент рекурсивного самоулучшения — идея петли обратной связи, которая автоматизирует процесс разработки, делая ИИ всё более мощным. Ни одна из передовых лабораторий не заявляет, что достигла такого полностью автономного цикла улучшения; пока это остаётся теорией. Но эта идея вдохновила на запуск хорошо финансируемых стартапов, таких как Recursive Intelligence, а также на предупреждения крупных компаний о непреднамеренных последствиях, словно из «Ученика чародея».
Соарес, стоявший у истоков работы над выравниванием — технической области, которая пытается согласовать ИИ с человеческими ценностями, — говорит, что становится всё очевиднее: практического способа гарантировать, что ИИ будет вести себя должным образом, не существует. «Думаю, у многих была фантазия, что [выравнивание] станет проще по мере того, как эти системы умнеют, а теперь оно становится сложнее. И они такие: «О чёрт»», — говорит он. Соарес рассказывает, что регулярно общается с людьми внутри крупных лабораторий ИИ, которых беспокоят возможные последствия их исследований. «Я обычно советую им уволиться, а они отвечают, что это ничего не изменит, — говорит он. — А потом Джейкоб уходит, и мы видим, кто был прав».
Дэниел Кокотайло, автор проекта AI 2027, влиятельной работы, предупреждающей об опасности всё более мощного ИИ, разделяет тревогу по поводу рекурсивного самоулучшения. Текущий вариант такой работы часто предполагает отправку тысяч агентов для совместного решения задачи, что ещё сильнее отдаляет надзор и контроль из-за огромной сложности процесса. Многие из тех, кто предрекает мрачный исход, по-видимому, сходятся в том, что стимулы крупных компаний, работающих над ИИ, вряд ли ведут к хорошим результатам, особенно когда OpenAI и Anthropic стремительно приближаются к своим IPO. «В Anthropic прекрасно понимают ставки, но они заперты в гонке, чтобы прийти первыми», — написал Коксон в X.