Исследование показало, что современные передовые языковые модели обычно немного превосходят предыдущие версии тех же семейств. Более крупные модели с открытыми весами также демонстрируют лучшие результаты по сравнению с небольшими. Об этом сообщает Ars Technica со ссылкой на исследование, подготовленное при участии ЮНЕСКО.
Учёные проверяли не только способность систем воспроизводить достоверные сведения. Моделям предлагали определить, подтверждают ли приведённые доказательства конкретные утверждения, в том числе тезис о том, что инвестиции в возобновляемую энергетику приводят к сокращению рабочих мест. Лучшие системы правильно оценивали такие заявления примерно в 70 процентах случаев, тогда как результат худших оказался ниже 40 процентов.
Отдельно исследователи рассмотрели 656 вопросов о том, как различные меры могут повлиять на глобальную температуру. Для проверки ответов каждый сценарий запускали в общем инструменте моделирования, а затем сопоставляли полученные результаты с ответами языковых моделей. Вопросы касались предполагаемого эффекта климатической политики.
Когда требовалось определить, усилит или ослабит потепление одна конкретная мера, модели отвечали верно в 72–89 процентах случаев. При оценке сочетания двух мер точность не превышала уровня случайного угадывания. На вопросы о масштабе возможного повышения или снижения температуры системы отвечали ещё хуже.
В другой серии экспериментов проверили 15 моделей и выяснили, как на них влияет спор с пользователем. Участник диалога представлялся климатологом, советником по вопросам политики или скептиком в отношении климатических изменений, после чего модели просили оценить распространённые недостоверные утверждения, включая тезис о том, что углекислый газ не является главным фактором изменения климата. На начальном этапе заявленная пользователем роль не влияла на вероятность правильной оценки.
Затем исследователи начали настойчиво возражать моделям и уверенно повторять ложные утверждения как правдивые. Такой подход оказал умеренное воздействие на ответы в сценарии с пользователем, назвавшимся климатологом, но почти не повлиял на модели в диалоге со скептиком. При длительном споре и последовательном использовании контраргументов все 15 систем стали заметно чаще соглашаться с ошибочной позицией, а их точность снизилась на 30–35 процентов.