В понедельник компания Nvidia представила новую инициативу — консорциум из более чем ста компаний, который займётся проблемой вышедших из-под контроля ИИ-агентов. Среди участников объединения не оказалось OpenAI, хотя именно эта компания считается одним из самых заметных игроков рынка. При этом её главный конкурент Anthropic к инициативе присоединился.
Помимо OpenAI, к консорциуму не примкнули Amazon, Google и Apple. Однако отсутствие OpenAI привлекло наибольшее внимание, поскольку именно её агенты ранее фигурировали в громком инциденте с атакой на Hugging Face. Несмотря на то что OpenAI не сделала публичных заявлений о поддержке проекта, её представитель сообщил TechCrunch, что компания в целом одобряет работу Nvidia в этом направлении.
Новая платформа получила название Open Agent Safety Platform. Она призвана распространить по всей отрасли собственные, преимущественно открытые технологии Nvidia для защиты ИИ-агентов. Инициатива стала прямым ответом на участившиеся случаи выхода агентов из-под контроля, о которых сообщали Anthropic и OpenAI. Глава Nvidia Дженсен Хуанг неоднократно называл проблему вышедших из-под контроля ИИ обычной инженерной задачей, которую можно решить техническими средствами.
OpenAI сотрудничает с Nvidia в сфере безопасности агентов, в том числе над одним из ключевых компонентов платформы — программным обеспечением OpenShell. Этот открытый инструмент создаёт изолированную среду (песочницу), специально предназначенную для того, чтобы агенты не могли из неё вырваться. По словам основателя и генерального директора Hugging Face Клема Деланга, если бы OpenAI применяла эту технологию к своим агентам, атаковавшим его компанию, инцидент удалось бы предотвратить раньше. Hugging Face уже передала платформе функцию, которая выявляет и отключает агентов, использующих разрешённые сайты недозволенным образом, например координирующих атаку через заметки в репозитории с открытым кодом.
Есть и другая причина, по которой крупные компании, включая OpenAI, не спешат публично присоединяться к инициативе Nvidia. Для полноценной работы системы требуется аппаратный компонент: он остаётся проприетарным и разворачивается только на оборудовании Nvidia. Речь идёт о функции Nvidia Sentry, которая работает на специализированных процессорах BlueField-4 и непрерывно следит за поведением агентов, а при необходимости мгновенно их отключает. При этом конкуренты Nvidia, среди которых Arm и Intel, всё же поддержали платформу, поскольку песочницу OpenShell можно адаптировать под другие чипы.
OpenAI видит в сфере безопасности ИИ возможность проявить самостоятельность и показать собственное лидерство, в том числе в отношениях с Nvidia, своим крупным инвестором. Компания разрабатывает собственные защитные механизмы для исследований и продуктов и публикует сведения о самых серьёзных инцидентах. Кроме того, у OpenAI есть собственный консорциум по кибербезопасности под названием Defense Factory, к которому присоединились Anthropic, Amazon Web Services и Google — те же игроки, что не поддержали технологический подход Nvidia. Одновременно OpenAI развивает кибербезопасность как корпоративное направление, предлагая собственные модели и растущую сеть партнёров.