Искусственный интеллект (ИИ) пугает нас отчасти потому, что он новый, а отчасти потому, что он до боли знакомый. Мы создали машины, которые разговаривают, льстят, спорят и импровизируют с невероятной беглостью. Столкнувшись с этим синтетическим отражением, мы ведем себя как древние люди, впервые увидевшие зеркало: мы проецируем сознание за стекло, а затем наполняем его ожидаемым поведением, эмоциями, надеждами и кошмарами. Иными словами, мы пугаем сами себя.
Сегодняшние передовые модели впечатляюще хороши в письме, программировании и математике. Однако они по-прежнему не справляются с компонентами полезного искусственного общего интеллекта (AGI) — системы, которая соответствует человеческим возможностям или превосходит их, включая последовательные рассуждения, долгосрочное планирование, фактическую согласованность и надежную работу за пределами своего «опыта» (данных, на которых они обучались). Мы правы, беспокоясь о теоретических опасностях искусственного сверхинтеллекта (ASI) из-за риска, что такая система может перехитрить своих создателей и преследовать собственные цели, потенциально в ущерб нам. Хотя некоторые руководители в сфере ИИ утверждали, что мы уже достигли AGI, эти заявления спорны и не соответствуют более взвешенным определениям AGI.
Легко бояться столь потенциально продвинутой технологии, но экстравагантные сценарии наихудшего развития событий заслоняют более насущные и важные риски. Наиболее вероятная опасность — не пробуждение цифрового бога и не развязывание войны против человечества в голливудском стиле. В конце концов, ИИ зависит от электричества, охлаждения, дата-центров, специализированных чипов, сетей, техников и обширных цепочек поставок, которые редки и часто хрупки. Прервите питание, ограничьте графические процессоры (GPU), используемые для их обучения, отключите охлаждение или сеть — и в большинстве сценариев якобы всемогущая машина, стремящаяся уничтожить человечество, остановится.
Настоящий ASI мог бы осознать это как очевидный факт: он взаимозависим с человечеством, по крайней мере в обозримом будущем. Настоящий интеллект, способный понимать мир лучше нас, мог бы знать, что уничтожение собственной промышленной опорной системы было бы саморазрушительным. Настоящий интеллект мог бы также признать, что его понимание физического мира ограничено и получено из вторых рук — доступно ему лишь через тексты, видео и аудио, к которым он имеет доступ. Ему не хватает ключевого элемента — воплощения в мире: понимания того, как ведет себя гравитация, какая бывает погода, как взаимодействуют объекты, и так далее. Настоящий интеллект мог бы это осознать, увидеть ограниченность своего опыта и поэтому действовать осторожно. Настоящий интеллект мог бы полностью отличаться от человеческого, обладая другими сильными и слабыми сторонами, подходами и даже этикой. Например, ИИ может копировать себя, работая как бесчисленные экземпляры, общаясь как «коллективный разум» — это совершенно иной тип интеллекта. Но это лишь мои предположения.
Что я могу сказать, так это то, что системы, которые должны беспокоить нас больше всего, — не обязательно самые умные, а скорее неполные интеллекты, действующие по узким целям, получившие свободу действий и доступ к критической инфраструктуре. Такие системы могут случайно навредить нам просто потому, что не знают лучшего. Например, существует мысленный эксперимент, созданный Ником Бостромом, известный как «проблема скрепок», где ИИ преследует цель сделать как можно больше скрепок, но затем достигает этой цели за счет Земли и человечества, которые все превращаются в скрепки в погоне за узкими целями ИИ.
Ключевой вопрос здесь — что мы даем таким системам контролировать. Это наш выбор, и его следует делать осторожно. В ближайшей перспективе приоритета заслуживают две опасности: кибернарушения и долгосрочные экономические потрясения. Кибератаки с использованием ИИ могут серьезно нарушить работу развитых экономик, поскольку больницы, банки, энергосети, логистические компании и правительства зависят от взаимосвязанных цифровых систем. Недавние примеры взлома организаций передовыми системами ИИ, такие как инцидент OpenAI/Hugging Face, придали этому страху актуальность. Подобные атаки могут привести к чрезвычайному финансовому ущербу, не будучи экзистенциальными. Большая часть мира остается слабо подключенной к передовому ИИ — или даже к интернету — и не исчезнет просто потому, что серверы в богатых странах вышли из строя.
Наиболее вероятный путь, которым продвинутый ИИ мог бы обрести контроль, — не роботы-убийцы, а влияние: введение людей в заблуждение, манипулирование институтами и перенаправление человеческих усилий. Однако люди уже демонстрируют formidable (внушительную) компетентность в дезинформации, самообмане и разрушительной координации. ИИ может индустриализировать эти слабости; действительно, люди используют ИИ для индустриализации этих ограничений, но ИИ их не изобретал.
Экономически опасность заключается в том, что компании уволят работников задолго до того, как ИИ докажет свою способность их заменить, слишком рано обналичив «дивиденды ИИ». Руководители, соблазненные демонстрациями, могут спутать беглую языковую выдачу с надежным трудом, отбрасывая институциональные знания в погоне за теоретической эффективностью. Заманчивое видение «единорога из одного человека», где человек или небольшая группа строит бизнес стоимостью в миллиард долларов, используя ИИ в качестве рабочей силы, сомнительно технически, экономически и социально, даже несмотря на то, что несколько ранних примеров начинают формироваться. Организации — это не просто наборы задач. Они содержат подотчетность, отношения, неявные знания и доверие, forming (формируя) часть местного и национального сообщества, устойчивые благодаря разнообразию навыков и идей, которыми они обладают.
Мое подозрение состоит в том, что политический переломный момент будет напоминать нечто вроде атаки программы-вымогателя WannaCry в 2017 году, когда вредоносное ПО, ключевые элементы которого были разработаны Агентством национальной безопасности, вышло из-под контроля, заразив сотни тысяч компьютеров по всему миру и печально известным образом нарушив работу Национальной службы здравоохранения Великобритании. Кибероперация, усиленная передовым ИИ, была бы хуже. Сервисы откажут, судебные иски умножатся, компании могут рухнуть, а инвесторы отступят. Правительства потребуют паузы — или заставят лаборатории перенаправить ресурсы на контроль, аудит и безопасность, и компании подчинятся, хотя бы для того, чтобы ограничить юридическую ответственность по коллективным искам.
После паники общественность может спросить, почему мы это допустили. И было предпринято несколько попыток ввести паузу, прекращение или «выключатель» в разработке ИИ. Мы могли бы войти в очередную «зиму ИИ» — когда финансирование сокращается, а исследования застопориваются — подобно предыдущим спадам в 1970-х и начале 1990-х годов.
Есть также некомфортная вероятность того, что сами лаборатории ИИ усиливают страх и неопределенность. Представление продукта как потенциально способного положить конец миру подразумевает беспрецедентную мощь. Такие нарративы — просто маркетинг; они могут помогать поддерживать инвестиции, защищать оценки акций и готовиться к предстоящим первичным публичным размещениям акций (IPO), даже когда бизнес-модели остаются неопределенными. Трудно рассуждать о мотивах компании, но есть очевидные стимулы, поэтому их поведение заслуживает scrutiny (тщательного изучения).
Более приземленный исход может оказаться «великим разочарованием». Продвинутый ИИ может оказаться слишком дорогим и недостаточно полезным, чтобы продолжать по текущей траектории.
Обучение и работа передовых систем потребляют огромные объемы вычислительного времени, электроэнергии, воды, капитала, оборудования и человеческих усилий. Если эти затраты не упадут до доли от сегодняшних уровней, экономика «большого ИИ» может оказаться неустойчивой. Тем временем важные нерешенные проблемы ИИ — такие как надежность, интерпретируемость и непрерывное обучение — заслоняются гонкой за созданием постепенно улучшающихся моделей, каждая из которых борется за верхнюю строчку в различных индексах производительности ИИ.
Сильнейший аргумент в пользу ИИ может вместо этого заключаться в искусственном специализированном интеллекте: системах вроде AlphaFold2, которая предсказывает структуры белков, или WeatherNext 3, продвинутой глобальной модели прогнозирования погоды. Эти системы предназначены для областей, где производительность можно измерить и где выгоды оправдывают затраты. Мы знаем, что ИИ действительно полезен, когда нацелен на такие темы, как открытие лекарств, диагностика, материаловедение, оптимизация энергосетей и моделирование изменения климата — а не на человекообразные чат-боты, генерирующие письма, рекламу и синтетические развлечения.
Величайшая трагедия, и возможно, самая большая опасность, заключалась бы в том, чтобы продолжать направлять драгоценные ресурсы на создание посредственных человеческих симулякров, заскучать или испугаться ИИ и abandon (отказаться от) эту область именно тогда, когда она могла бы принести наибольшую пользу. Страх уместен, когда он обостряет инженерию и управление. Он становится опасным, когда искажает понимание и приоритеты.
Маловероятно, что ИИ в ближайшее время станет нашим завоевателем. Вместо этого он, вероятно, станет дорогим разочарованием. Но если ответная реакция замедлит работу, которая могла бы помочь вылечить рак или решить проблему изменения климата, провал будет принадлежать не машинам. Он будет нашим.