Основатель и глава Meta (признана в РФ экстремистской и запрещена) Марк Цукерберг активно расхваливал защищённость нового ИИ-помощника Muse, уверяя, что тот «создан с нуля с учётом приватности и безопасности». Однако обнаруженная уязвимость нулевого дня, позволяющая локальным приложениям и командам терминала полностью управлять агентом, поставила эти заявления под сомнение. Дополнительные вопросы вызвал тот факт, что в воскресенье Amazon начал блокировать доступ Muse к своему сайту.
Muse был представлен несколькими неделями ранее. Ассистент способен записывать на приём, заполнять формы, заниматься обслуживанием клиентов, брать на себя рутинные задачи, совершать покупки, генерировать изображения и документы, а также подключаться к сторонним приложениям и сервисам. Приложение для macOS (версии для Windows, что примечательно, нет) работает с WhatsApp, электронной почтой, календарём и аккаунтами в соцсетях пользователя. Если для выполнения задачи нужен отсутствующий инструмент, Muse создаёт его на ходу.
Чтобы выполнять эти действия, пользователь должен сначала предоставить ассистенту доступ к своим аккаунтам, включая аутентификацию в каждом сервисе. Поскольку приложение работает на macOS, ему также требуются разрешения на широкий спектр ресурсов устройства, ограниченных операционной системой: запись файлов на диск, доступ к микрофону и камере, отслеживание местоположения и календарей. Apple годами выстраивала эти защиты, чтобы установленные приложения и команды терминала не могли получить доступ к таким ресурсам, поскольку считает их угрозой безопасности. Muse полностью обходит эти стандартные меры.
Уязвимость нулевого дня позволяла любому приложению или команде терминала получить доступ к токену, аутентифицирующему пользователя в аккаунте Muse. Разработчики Meta (признана в РФ экстремистской и запрещена) спроектировали ассистента так, что любое локально установленное приложение или исполняемый код, независимо от имеющихся у него разрешений macOS, может менять длинный список недокументированных настроек. Большинство из них безобидны, например управление тёмной темой. Однако одна настройка позволяла процессам менять конечную точку, где происходит транскрипция. Обычно это серверный адрес, управляемый Meta (признана в РФ экстремистской и запрещена). Злоумышленники могли изменить его на собственный сервер и завладеть токеном, дающим полный контроль над аккаунтом Muse.
«Мы можем манипулировать агентом и использовать его привилегии для чего угодно», — заявил Патрик Уордл, эксперт по безопасности macOS, обнаруживший уязвимость, изданию Ars до выпуска экстренного исправления. По его словам, вместо написания сложного вредоносного ПО для Mac можно просто задействовать самого ИИ-помощника. Уордл сообщил, что разработал несколько демонстрационных атак, которые, в частности, записывают вредоносные файлы на диск и делают снимки, причём в большинстве случаев даже внимательный пользователь не заметит ничего подозрительного.
Спустя более 12 часов после публикации Meta (признана в РФ экстремистской и запрещена) заявила о выпуске экстренного исправления, закрывшего уязвимость нулевого дня. Компания также опубликовала два материала за последние недели, в которых описала проектные решения, призванные обеспечить безопасность и приватность ассистента с таким широким доступом к данным и ресурсам пользователя. Эти публикации появились на фоне сообщений о том, что внутреннее тестирование моделей Anthropic и Google привело к взлому внешних сетей третьих сторон, которые инженеры не собирались атаковать. Уордл отметил, что эксплойт стал возможен из-за нескольких решений разработчиков Meta (признана в РФ экстремистской и запрещена), в частности из-за выбора облачной диктовки Muse, где компания может вести её журнал. macOS давно предоставляет простой способ обрабатывать диктовку и транскрипцию прямо на устройстве, и при выборе этого более безопасного варианта атака была бы невозможна.