В среду исследователи Google и Google DeepMind объявили о создании Института DeepMind, который займётся продвижением дискуссии об искусственном общем интеллекте (AGI). В число директоров института вошли соучредитель DeepMind Шейн Легг, топ-менеджер Google Джеймс Маньика и председатель Google DeepMind Демис Хассабис. Легг также займёт должность управляющего редактора.
Новая структура призвана выявлять и сопоставлять различные точки зрения Google, Google DeepMind и мирового исследовательского сообщества на тему AGI. «Они не всегда будут соглашаться друг с другом и, вероятно, будут менять своё мнение по мере появления новых данных и информации на этом быстро развивающемся направлении», — говорится в сообщении института.
Первый сборник включает четыре эссе, посвящённые разным темам: экономической политике для смягчения возможных последствий появления AGI, сохранению понятной человеку логики рассуждений моделей, принципам благополучия человека и системе оценки передовых ИИ-моделей.
В одном из эссе исследователи безопасности DeepMind Рохин Шах и Анка Драган утверждают, что сужение окна прозрачности ИИ — возможности видеть и проверять пошаговые рассуждения модели — не является неизбежным. Поскольку новые архитектуры делают самые мощные модели всё труднее поддающимися контролю, авторы призывают разработчиков и регуляторов напрямую учитывать связанные с этим компромиссы в области безопасности. Речь может идти об ограничении «непрозрачной последовательной глубины» — объёма последовательных вычислений, которые модель выполняет без создания читаемого следа рассуждений, — либо о требовании к разработчикам доказывать, что менее прозрачные системы остаются столь же контролируемыми.
В другом эссе Хассабис предлагает создать под руководством США орган по стандартам для передового ИИ, который оценивал бы самые совершенные модели. Согласно его концепции, разработчики на первом этапе будут добровольно направлять модели на проверку не позднее чем за 30 дней до выпуска. После того как система оценки докажет свою эффективность, успешное прохождение её тестов может стать обязательным условием для развёртывания передовых моделей в США.
Изначально орган будет разрабатывать оценки в консультациях с ИИ-компаниями, но со временем создаст независимые и нераскрываемые тесты — так называемые «отложенные» проверки, — чтобы лаборатории не могли подстраивать свои модели под известные оценки. Хассабис отметил, что эту систему можно «усилить, если серьёзность ситуации того потребует», вплоть до скоординированного замедления темпов разработки передового ИИ. Эссе появились на фоне смещения отраслевой дискуссии о безопасности от общих заявлений к конкретным предложениям по раскрытию информации, внешнему контролю и, если защитные меры будут отставать, скоординированному замедлению. Этот сдвиг ускорился на этой неделе, когда лидеры отрасли поддержали отдельные положения призыва главы Anthropic Дарио Амодеи «задать темп» развитию передового ИИ.