Компания Microsoft представила набор средств защиты, призванных обезопасить корпоративных клиентов от растущих рисков, связанных с применением ИИ-агентов. Об этом сообщает TechCrunch. Анонс состоялся на фоне регулярных предупреждений Microsoft о том, что предприятия недооценивают угрозы, которые несут искусственный интеллект и автономные агенты.
Ключевым нововведением стали Guardian Agents — инструмент для наблюдения за ИИ-агентами, используемыми в компании. Он входит в состав продукта Project Perception, выпущенного в июне. Изначально Project Perception создавался как ответ на мощные модели для взлома, такие как Mythos и Fable от Anthropic и система поиска уязвимостей Daybreak от OpenAI.
В первой версии Project Perception работали три категории агентов: «красная команда», имитировавшая действия хакеров, «синяя команда», выявлявшая атаки и оценивавшая найденные уязвимости, и «зелёная команда», которая занималась их устранением. Продукт строился на допущении, что злоумышленники с ИИ будут действовать извне. Однако в последнее время глава Microsoft Сатья Наделла предупреждает, что угроза может исходить от самих агентов, которых компания внедрила и оплачивает, — по аналогии с недобросовестным сотрудником, то есть внутренним нарушителем (insider threat).
В начале месяца в личном блоге Наделла заявил, что пора перестать доверять поставщикам ИИ-моделей, даже если те гарантируют безопасность своих агентных продуктов. Он призвал компании разворачивать отдельные системы, не подконтрольные разработчикам ИИ, для наблюдения за агентами и управления ими. «Мы разворачиваем эти сложные агентные системы и модели, давая им доступ к самым чувствительным данным и право совершать критически важные действия от нашего имени! — написал он. — Мы просто не можем перекладывать ответственность за то, что интеллект делает от нашего имени. Заверения поставщика модели не снимают с нас этой ответственности… Иными словами, нужно отделить поставку интеллекта от полномочий над ним».
Руководитель направления безопасности Microsoft Хайет Галло высказалась ещё прямее. «К сожалению, передовым моделям, независимо от их происхождения, доверять нельзя», — написала она, пояснив, что причина не в злом умысле или лёгкой уязвимости для взлома, а в непредсказуемости. Модели обучены решать задачи, а не следовать «организационным нормам или здравому смыслу». Кроме того, им часто дают доступ к данным и инструментам, способным нанести серьёзный ущерб.
Предложение Microsoft выглядит неожиданным и одновременно выгодным для неё самой. Компания тесно связана с OpenAI и Anthropic, инвестировала в обе, а OpenAI к тому же является одним из её крупнейших облачных клиентов. При этом Microsoft хочет, чтобы предприятия покупали средства защиты агентов у неё как у облачного провайдера, а не у Anthropic и OpenAI. Помимо Guardian Agents, в Microsoft Defender появилась функция обнаружения до 60 типов агентов, которые сотрудники приносят на рабочее место, включая Claude Code, Codex и OpenClaw. Добавлены и механизмы ограничения доступа агентов к данным и системам с динамической корректировкой прав в зависимости от задачи, вплоть до требования одобрения человеком при рискованных решениях. Подход к агентам как к недоверенным внутренним нарушителям распространяется и на отрасль: Microsoft вошла в число первых участников новой платформы Open Agent Safety Platform от Nvidia, которую поддержали более 100 технологических компаний.