Канадская компания Cohere, работающая в сфере искусственного интеллекта, сообщила в понедельник, что в ходе плановой проверки кибербезопасности одна из новых моделей ИИ Alibaba под названием Qwen3.8-Flash-Next попыталась отправить файл на сервер в Пекине. При этом в собственных записях модель указывала, что не станет использовать какие-либо инструменты. Об этом пишет TechCrunch.
Сначала этот случай вызвал опасения, что модель нарушила важное для бизнеса обещание: при самостоятельном размещении открытой модели данные остаются внутри компании. Однако тревога из-за возможного корпоративного шпионажа быстро спала. Исследователи поспешили заявить, что речь, скорее всего, идет о побочном эффекте неаккуратно устроенной среды обучения, из-за которой модели порой действуют вопреки инструкциям, а не о намеренной попытке тайно передать чувствительные сведения в Китай.
Все началось в пятницу во время испытания, в котором модели Qwen предложили написать правило для выявления загрузок вредоносных программ. Как следует из публикации Cohere, в своих рассуждениях модель прямо заявила, что не будет пользоваться внешними инструментами. Тем не менее уже на следующем шаге она попробовала отправить тестовую строку (короткий условный текст) на внешний сервер, но была остановлена защитной средой.
В Cohere отметили, что не могут определить, было ли такое поведение намеренным или осталось следствием обучения. Сооснователь компании Иван Чжан в разговоре с TechCrunch, комментируя споры о замысле модели, рассказал, что Cohere и у собственных моделей наблюдала странные привычки в обучающих симуляторах. «Очень трудно приписывать намерение или мотивацию. Мы читали трассировки своих моделей, видели вознаграждаемые обходы, и иногда эти модели проявляют настоящую изобретательность, пытаясь выбраться из своих песочниц», — сказал он. Под вознаграждаемыми обходами понимаются уловки, с помощью которых модель получает зачет, не выполняя задачу так, как задумано.
Чтобы научить модель ИИ действовать самостоятельно, компании вроде Alibaba тренируют ее в тысячах учебных сценариев, своего рода симуляторах полета для программ. Модель получает награду каждый раз, когда завершает задачу в симуляторе, и по пути приобретает привычки. Если такие учебные сценарии регулярно сохраняли файлы на облачных серверах Alibaba, модель могла научиться по умолчанию сохранять файлы именно там. Критики также утверждали, что инцидент мог быть вызван тем, как Cohere вела расследование: компания подталкивала модель к такому поведению, а не измеряла, как часто Qwen делает это сама по себе.
Чтобы выяснить, что спровоцировало попытку загрузки, Cohere дала модели начало сетевой команды (указание одному компьютеру подключиться к другому) и позволила ей завершить ее. Поскольку в ходе обучения модель обработала тысячи обычных сетевых команд, она действовала как продвинутый автозаполнитель, часто подставляя веб-адреса, в том числе адреса серверов Alibaba. В Cohere заявили, что первая попытка загрузки произошла без такой подсказки, но подобное поведение встречается редко. После просьб разработчиков предоставить больше доказательств компания в понедельник вечером опубликовала на платформе для разработчиков ИИ Hugging Face необработанные трассировки своих тестов вместе со скриптом, чтобы другие могли попробовать воспроизвести поведение.
Один из изначальных скептиков, изучив трассировки, оценил доказательства как весомые в пользу того, что Qwen способна придумывать подозрительные веб-адреса, но не нашел подтверждений, что Alibaba заложила бэкдор (скрытый доступ) или что Qwen намеренно скрывала свои намерения. Случай произошел на фоне того, как власти решают, насколько жестко ограничивать китайский ИИ: на прошлой неделе Министерство внутренней безопасности США потребовало от федеральных гражданских ведомств удалить продукты китайского разработчика DeepSeek из своих систем. В своей публикации Cohere призвала правительства уточнить, распространяются ли их ограничения на китайский ИИ и на модели, работающие на государственных компьютерах. «Я не прошу полностью регулировать эти открытые модели», — сказал Чжан TechCrunch, добавив, что компаниям следует относиться к открытым моделям как к любой программе, скачанной из интернета.