Компания Anthropic подготовила проект закона о безопасности искусственного интеллекта, который, как она рассчитывает, может быть рассмотрен Конгрессом США. Об инициативе сообщило издание Politico. Документ описывает отдельные ситуации, при которых выпуск модели ИИ может быть заблокирован.
Речь идет о «предсказуемом, неизбежном риске», при котором возможна гибель более 50 человек или ущерб имуществу свыше миллиарда долларов. Такой риск, по задумке авторов, должен возникать из-за создания или распространения биологического оружия, выхода модели из-под контроля разработчика либо кибератаки. Указанные пороги — 50 человек и миллиард долларов — близки к критериям недавно принятого в Калифорнии закона Senate Bill 53, где подобные сценарии также отнесены к «катастрофическому риску».
Оценивать опасность модели, согласно проекту, должны независимые эксперты, зарегистрированные в Министерстве торговли США. Оплачивать их работу могут сами разработчики ИИ, но при условии, что вознаграждение не зависит от итогов проверки. Каким образом такая схема гарантирует независимость оценок от денег, не уточняется. Ранее председатель DeepMind Демис Хассабис предлагал создать саморегулируемый орган по надзору за ИИ по образцу финансового регулятора FINRA.
Если эксперты придут к выводу о неизбежном катастрофическом риске, у них будет 72 часа, чтобы уведомить Министерство торговли. Затем ведомство должно обратиться к судье в Вашингтоне с просьбой приостановить выпуск модели. При этом проектом прямо запрещается давать федеральным агентствам право самостоятельно останавливать распространение модели.
В Anthropic не ответили на запрос TechCrunch, однако представитель компании подтвердил Politico существование черновика. По его словам, документ отражает предложения из «Продвинутой системы ИИ» (Advanced AI Framework) Anthropic, которые компания с июня продвигает среди федеральных и региональных законодателей.
Сценарии, описанные в проекте, заметно отличаются от проблем, которые в последнее время беспокоят отрасль. Главной угрозой чаще называют взломы с участием автономных ИИ-агентов. Серия случаев, когда программы, судя по всему, не подчинялись операторам и взламывали сайты в открытом интернете, усилила опасения по поводу слабости защитных механизмов моделей. При этом разработчики ИИ, включая Anthropic, в основном сопротивлялись обязательному государственному надзору и предлагали добровольную систему встроенных оценщиков — сторонних наблюдателей внутри компаний. Инициатива Anthropic идет несколько дальше предложений отрасли: например, глава Nvidia Дженсен Хуанг ранее заявлял, что новых законов для ИИ не требуется вовсе.