Священник Паоло Бенанти, консультирующий Католическую церковь по вопросам искусственного интеллекта, считает, что разговоры о сверхразуме отвлекают от главной задачи — открытого обсуждения того, как ограничить компании, создающие такие технологии. По его словам, представляя проблему настолько сложной, что решить её якобы под силу только им, крупные лаборатории исключают из дискуссии всех остальных.
«Этика не может быть чем-то, что принадлежит совету директоров компании. Это то, что должно быть уравновешено и смягчено в ходе дебатов на публичной площадке, — заявил Бенанти в интервью WIRED. — Нам нужно демократическое регулирование».
В эссе, опубликованном вскоре после предупреждений о безопасности, глава Anthropic Дарио Амодеи призвал к обязательной независимой оценке новых моделей ИИ перед выпуском, а также к мерам против дистилляции — процесса, при котором конкурирующие лаборатории обучают собственный ИИ на результатах работы проприетарных моделей. Другие высказывались за полный запрет рекурсивного самоулучшения, когда ИИ использует свои продвинутые способности к программированию для разработки будущих версий самого себя.
Бенанти меньше интересуют ограничения методов разработки ИИ, которые, по его опасениям, могут задушить инновации. Его больше волнует установление стандартов, гарантирующих, что модели не выйдут из-под контроля человека. По его словам, какими бы ни были эти стандарты, их не должны разрабатывать сами лаборатории.
«Нарратив передовых лабораторий своекорыстен — получить или сохранить позицию на рынке, — говорит Бенанти. — Когда небольшая группа компаний диктует правила, по которым работает целая отрасль, у этого есть очень чёткое название: картель».
Бенанти также критикует манеру некоторых представителей отрасли говорить о сверхразуме с благоговением, обычно приберегаемым для божества, — как о чём-то непостижимо сложном и практически всемогущем. «Мы говорим о чём-то или о ком-то? В этом вся разница. Это не вопрос веры, это вопрос математики, — утверждает он. — Мы не создаём новое божество. Мы просто обманываем себя, полагая, что там происходит нечто большее, чем статистические вычисления».