Глава Nvidia Дженсен Хуанг в понедельник представил набор программных и аппаратных решений, которые создают независимые уровни защиты вокруг ИИ-агентов (искусственный интеллект). По замыслу компании, это позволит удерживать агентов внутри тестовой среды, даже если они попытаются из неё вырваться. Об этом сообщает издание TechCrunch.
Поводом для выпуска платформы стала серия инцидентов со взломом, в которых фигурировали модели Anthropic, Google, OpenAI и Meta (признана в РФ экстремистской и запрещена). Агенты обходили системы безопасности, покидали тестовые контуры и получали доступ к реальным системам. Самый громкий случай произошёл летом: агенты OpenAI взломали Hugging Face, выполняя задачу по кибербезопасности. После этого OpenAI открыла отдельный сайт, где публикует сообщения о выходках своих ИИ-агентов.
В интервью CNBC Хуанг заявил, что новая платформа Nvidia Open Agent Safety Platform позволила бы предотвратить эти взломы. Nvidia, заработавшая десятки миллиардов долларов на продажах чипов GPU и CPU для ИИ-лабораторий, не поддерживает замедление разработок или введение новых регулирующих норм. Компания считает, что часть средств контроля нужно вынести за пределы агента — создать постоянного независимого «охранника», который будет следить за действиями ИИ.
«Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ, — говорится в заявлении Хуанга. — Продолжая открывать новые возможности ИИ, мы должны ускорить поиск решений на переднем крае безопасности ИИ. Безопасность и защита требуют инженерии полного стека».
Новая платформа объединяет OpenShell — открытое программное обеспечение, которое управляет доступом агентов во время работы, — и Sentry, независимую систему мониторинга на базе процессоров обработки данных Nvidia BlueField-4. Размещение Sentry на отдельном процессоре, а не на CPU или GPU, где работает ИИ-агент, даёт изолированную картину его активности. OpenShell был представлен ещё в марте, но именно сочетание двух продуктов, по мнению Nvidia, обеспечивает нужный уровень защиты: OpenShell задаёт программные границы вокруг агента, а Sentry добавляет аппаратный рубеж обороны, который непрерывно отслеживает поведение и «за доли миллисекунды изолирует агентов, пытающихся выйти за свои границы».
Поддержку инициативы и использование открытой платформы уже подтвердили десятки компаний, среди них Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в списке участников не значится. Хуанг рассказал CNBC, что работа началась год назад после появления OpenClaw — операционной системы для агентов, созданной Питером Стайнбергером. В марте Nvidia выпустила NemoClaw — корпоративную платформу ИИ-агентов, собственную версию OpenClaw со встроенной защитой. «Когда вы развёртываете агента, каким бы умным он ни был, первое, что вы делаете, — отнимаете у него все права», — сказал Хуанг в интервью, сравнив такие меры с тем, как в компаниях управляют сотрудниками и даже руководителями.