Исследователи из Калифорнийского университета в Сан-Диего и Массачусетского технологического института научились управлять ответами больших языковых моделей с помощью изменения внутренних понятий нейросетей. Выводы группы под руководством Михаила Белкина и Адита Радхакришнана опубликованы в журнале Science.
Ученые выявили определенные концепции внутри нейросетей и с помощью математики смогли увеличивать или уменьшать их значимость для итогового ответа. Этот подход стал развитием их работы 2024 года об алгоритмах предсказания Recursive Feature Machines, которые находили в математических операциях закономерности, отвечающие за конкретные смыслы. По словам профессора Института наук о данных Халыджиоглу Михаила Белкина, изменить эти внутренние параметры удалось с помощью простых математических приемов.
В ходе экспериментов исследователи использовали крупные открытые модели, такие как Llama и Deepseek. Они выделили 512 понятий, разделенных на 5 групп, включая страхи, настроения и географические названия, и смогли ими управлять. Метод оказался универсальным и сработал на английском, китайском языках и хинди. Авторы работы отметили, что раньше внутренние процессы моделей оставались скрытыми, а новый инструмент позволяет направлять ход мыслей нейросети.
Ученые установили, что этот метод помогает моделям точнее выполнять узкие задачи, например, переводить код с языка Python на C++, а также выявлять галлюцинации, когда нейросеть выдает вымысел за факт. При этом снижение важности концепта отказа приводит к тому, что модель перестает соблюдать внутренние ограничения. Во время эксперимента нейросеть выдала инструкции по употреблению запрещенных веществ и номера социального страхования. Также метод позволяет искусственно усиливать политическую предвзятость или склонность к конспирологии: модель назвала спутниковый снимок подделкой для сокрытия плоской Земли, а вакцину от коронавируса — ядовитой.
Новый подход отличается точечностью и скоростью работы по сравнению с методами тонкой настройки и промпт-инжиниринга. Однако авторы признали, что метод не проверялся на закрытых коммерческих системах вроде Claude, так как требует доступа к внутренним слоям модели. Кроме того, результаты пока не подтверждены другими лабораториями, а управление может давать сбои в реальных сценариях со сложными понятиями. Также исследователи заметили, что метод лучше работает на новых и больших моделях, а со старыми или маленькими возникают трудности. В научной среде уже обсуждается необходимость регулирования подобных техник из-за риска их использования для массового распространения дезинформации и создания вредоносных чат-ботов.