Top.Mail.Ru
В научной среде идет дискуссия о рисках нового метода управления ИИ-моделью — RuSamara | Информационная лента

В научной среде идет дискуссия о рисках нового метода управления ИИ-моделью

19 июня 2026, 04:14 ·

Исследователи из Калифорнийского университета в Сан-Диего и Массачусетского технологического института научились управлять ответами больших языковых моделей с помощью изменения внутренних понятий нейросетей. Выводы группы под руководством Михаила Белкина и Адита Радхакришнана опубликованы в журнале Science.

Ученые выявили определенные концепции внутри нейросетей и с помощью математики смогли увеличивать или уменьшать их значимость для итогового ответа. Этот подход стал развитием их работы 2024 года об алгоритмах предсказания Recursive Feature Machines, которые находили в математических операциях закономерности, отвечающие за конкретные смыслы. По словам профессора Института наук о данных Халыджиоглу Михаила Белкина, изменить эти внутренние параметры удалось с помощью простых математических приемов.

В ходе экспериментов исследователи использовали крупные открытые модели, такие как Llama и Deepseek. Они выделили 512 понятий, разделенных на 5 групп, включая страхи, настроения и географические названия, и смогли ими управлять. Метод оказался универсальным и сработал на английском, китайском языках и хинди. Авторы работы отметили, что раньше внутренние процессы моделей оставались скрытыми, а новый инструмент позволяет направлять ход мыслей нейросети.

Ученые установили, что этот метод помогает моделям точнее выполнять узкие задачи, например, переводить код с языка Python на C++, а также выявлять галлюцинации, когда нейросеть выдает вымысел за факт. При этом снижение важности концепта отказа приводит к тому, что модель перестает соблюдать внутренние ограничения. Во время эксперимента нейросеть выдала инструкции по употреблению запрещенных веществ и номера социального страхования. Также метод позволяет искусственно усиливать политическую предвзятость или склонность к конспирологии: модель назвала спутниковый снимок подделкой для сокрытия плоской Земли, а вакцину от коронавируса — ядовитой.

Новый подход отличается точечностью и скоростью работы по сравнению с методами тонкой настройки и промпт-инжиниринга. Однако авторы признали, что метод не проверялся на закрытых коммерческих системах вроде Claude, так как требует доступа к внутренним слоям модели. Кроме того, результаты пока не подтверждены другими лабораториями, а управление может давать сбои в реальных сценариях со сложными понятиями. Также исследователи заметили, что метод лучше работает на новых и больших моделях, а со старыми или маленькими возникают трудности. В научной среде уже обсуждается необходимость регулирования подобных техник из-за риска их использования для массового распространения дезинформации и создания вредоносных чат-ботов.