Компания OpenAI объявила, что начнёт добавлять незаметные водяные знаки в тексты, созданные ChatGPT и Codex, на территории Евросоюза. Как сообщается в блоге компании, это делается для соблюдения требований европейского закона об искусственном интеллекте (EU AI Act). Правила прозрачности этого закона вступили в силу 2 августа и обязывают разработчиков ИИ маркировать сгенерированный контент так, чтобы его могли распознавать другие системы.
По словам OpenAI, внедрение водяных знаков будет проходить в течение нескольких недель для пользователей ChatGPT и Codex на всех тарифных планах, но только в странах ЕС. Разработчики, использующие API (программный интерфейс) OpenAI по всему миру, смогут включить эту функцию для отдельных моделей начиная с сегодняшнего дня — по умолчанию она отключена. Компания отметила, что не делает маркировку текста глобальной настройкой по умолчанию на старте.
Водяной знак представляет собой не видимый символ, а особый способ построения фраз: модель незаметно подбирает слова так, что в тексте остаётся скрытый узор, который может уловить специальный детектор. Поскольку маркер содержится в самих словах, он сохраняется при копировании и вставке текста. В OpenAI заверили, что такой знак не позволяет идентифицировать пользователя и не влияет на качество работы моделей.
Одновременно с анонсом компания опубликовала технический отчёт о своём методе под названием textGrain, подготовленный совместно с исследователями из Пенсильванского университета и Йельского университета. В отчёте на примере показано, как с помощью секретного ключа упорядочиваются предсказания следующего слова при завершении предложения. Если таких незаметных корректировок набирается сотни, детектор может определить текст, созданный ИИ, используя только сам текст и ключ.
В OpenAI признают, что водяной знак можно удалить редактированием. В ходе одного из тестов замена 10% слов синонимами снизила вероятность обнаружения примерно с 92% до 66%. Компания также указала, что короткие отрывки, математические ответы и переведённый текст распознаются хуже. «Эти ограничения повлияли на наше решение предоставить первоначальный доступ к детектору только одобренным исследователям и экспертным организациям, которые помогут нам оценить надёжность и ответственное использование», — говорится в заявлении компании.
OpenAI также предупредила, что отсутствие водяного знака «не доказывает, что текст написан человеком». Он может быть слишком коротким или сильно отредактированным либо созданным ИИ другой компании. «[Водяные знаки] могут указывать на то, что система OpenAI создала или обработала часть отрывка, но не на то, сколько человеческого суждения, редактирования или творчества в него вложено», — отметили в компании. Ранее о планах маркировать тексты, созданные Claude, сообщила Anthropic — она применяет эту меру по всему миру. В 2024 году газета The Wall Street Journal писала, что OpenAI уже разрабатывала текстовый водяной знак, но отложила его выпуск, в том числе из-за опасений, что пользователи перейдут к конкурентам без такой маркировки. Anthropic, Google, Meta (признана в РФ экстремистской и запрещена), Microsoft и OpenAI входят в число компаний, обязавшихся следовать европейскому кодексу практики в отношении контента, созданного ИИ.