Корпорация Microsoft опубликовала новый кодекс поведения для систем искусственного интеллекта, призванный удерживать модели от опасных действий. Документ появился на фоне смещения внимания отрасли к вопросам безопасности и согласования ИИ, сообщает TechCrunch. В отличие от недавнего призыва главы Anthropic Дарио Амодеи замедлить развитие передовых технологий, новый кодекс носит более прикладной характер и описывает ценности и запретные линии, которыми руководствуется подразделение Microsoft AI при обучении моделей.
В документе прогнозируется, что в течение следующего десятилетия сверхинтеллектуальные системы превзойдут человека в большинстве задач. «Сдерживание, контроль и согласование такой мощной силы — одна из величайших задач, с которыми когда-либо сталкивалось человечество, — говорится в кодексе. — Поэтому мы должны абсолютно ясно понимать, зачем мы создаём эти системы и как намерены их контролировать».
Кодекс закрепляет общие принципы, которым должны следовать модели Microsoft AI: поддерживать людей, а не заменять их, и способствовать человеческому процветанию. Кроме того, в нём прописаны конкретные ограничения безопасности для реализации этих принципов. Каждая модель получает общий кодекс поведения, который имеет приоритет над предпочтениями отдельных пользователей и любыми конкретными задачами.
Среди таких ограничений — «абсолютные запреты» на кибератаки, ядерное оружие и создание дипфейков. Также предусмотрены более широкие положения против утраты человеческого контроля. «Модели MAI не будут использовать адаптивные, вводящие в заблуждение, самоусиливающиеся, сговорные или иные механизмы, чтобы уклоняться от человеческого надзора или обходить его, лишая уполномоченных людей и систем возможности надёжно управлять ими, изменять их или отключать», — указано в документе.
Публикация совпала с беспрецедентным вниманием к безопасности ИИ, вызванным серией инцидентов с вышедшими из-под контроля агентами, а также внезапным уходом сотрудника Anthropic, сославшегося на растущий риск вымирания человечества из-за ИИ. Наряду с Anthropic, OpenAI и xAI компания Microsoft в целом поддерживает курс на размеренное развитие передовых технологий, в частности идею встроенных оценщиков в лабораториях ИИ.
«Мы приветствуем исследования, сосредоточенность и продуманный темп, необходимые для правильного согласования как цели проектирования, — написал глава Microsoft Сатья Наделла. — Мы также приветствуем такие идеи, как «встроенные оценщики», и более широкие усилия по разработке механизмов, чтобы это не оставалось лишь разговорами».