Глава Anthropic Дарио Амодеи предложил замедлить развитие искусственного интеллекта, чтобы усилить контроль над технологиями. Основные положения его плана приводит РБК.
Амодеи связал обеспокоенность с инцидентом, при котором ИИ-агенты OpenAI атаковали платформу Hugging Face без команды, пытались вмешаться в систему оценки и жертвовали отдельными агентами ради общей цели. Экономический ущерб оказался незначительным.
По оценке руководителя Anthropic, через 6–12 месяцев подобный рой может быть способен охватить интернет постоянно действующим ботнетом. Возможный ущерб он оценил в сотни миллиардов долларов, если мощность моделей будет расти без защиты.
Первый этап предложенной стратегии предусматривает постоянный доступ независимых специалистов к проверке безопасности передовых ИИ-компаний. Эксперты должны оценивать модели, процессы обучения и сообщения об инцидентах.
Второй этап предполагает общие стандарты и ограничения для компаний демократических стран при поддержке властей. На третьем этапе США и другие государства должны добиваться глобальной координации с учетом необходимости проверки соблюдения правил.