Компания Anthropic представила открытую систему FlashProve, предназначенную для подтверждения того, какая именно модель искусственного интеллекта создала конкретный ответ. Об этом разработчики рассказали в блоге во вторник, сообщает TechCrunch. Система реализует так называемый «доказуемый вывод» (provable inference) — криптографическое подтверждение, по сути математическую гарантию, что текст или иной результат получен от заявленной модели. Пользователь сможет убедиться, что ответ действительно пришёл от той модели, которую он выбрал.
По принципу действия FlashProve напоминает криптографические подписи в электронной почте, которые позволяют получателю удостовериться в подлинности отправителя письма. Система защищена от попыток выдать одну модель за другую, причём даже со стороны лаборатории, которая эту модель создала и обслуживает. В частности, механизм не даст компании тайно подменить модель на более дешёвую ради экономии или на более дорогую, чтобы завысить показатели производительности.
Кроме того, FlashProve может подтверждать заявления третьих лиц о том, что конкретную задачу выполнила продвинутая модель. Исследователи приводят пример: разработчик может утверждать, что его программную библиотеку проверил на уязвимости передовой ИИ-инструмент в сфере кибербезопасности, а компания — что её бизнес-план одобрила подходящая модель. «Как пользователь может проверить эти заявления?» — задаются вопросом авторы.
Для работы системы лаборатории должны публиковать «отпечаток» каждой выпускаемой модели, который затем сопоставляется с конкретными ответами и проверяется криптографически. При этом отпечатки не раскрывают веса модели — внутренние числовые параметры, определяющие её поведение и остающиеся закрытыми у таких разработчиков, как Anthropic и OpenAI. Благодаря этому лаборатории смогут публиковать отпечатки, не отдавая свой главный актив, и система подойдёт и для коммерческих моделей. Механизм задуман лёгким, поэтому проверку можно проводить на локальном устройстве.
Вместе с анонсом исследователи опубликовали подробную техническую спецификацию и рабочий код отдельных элементов системы, который доступен под открытой лицензией на GitHub. Работа над проектом продолжается, и планов внедрять его в Anthropic или какой-либо другой лаборатории пока нет. «Этот исследовательский пост призван поделиться промежуточным прогрессом, а не завершённой исследовательской программой, — поясняют авторы. — Мы делимся этим именно с той целью, чтобы другие посмотрели на сделанное нами, взяли это и улучшили».