Исследователи создали систему Brain-IT, способную по данным сканирования мозга восстановить изображение, которое видел человек. По данным Live Science, алгоритм использует искусственный интеллект и с высокой точностью воссоздаёт основные особенности зрительных сцен. Разработка была представлена на конференции ICLR 2026 по машинному обучению, прошедшей 23–25 апреля, а затем о ней сообщили авторы исследования.
Brain-IT анализирует функциональную магнитно-резонансную томографию (фМРТ), которая показывает активность зрительной коры мозга. Сначала компьютерная модель определяет общую композицию изображения и сведения о его содержании. Затем эти данные передаются генератору изображений, который формирует итоговую реконструкцию.
В основе системы лежит подход Universal Brain Encoder — универсальный кодировщик мозга. Он разделяет показатели активности отдельных вокселей, то есть небольших объёмных участков мозговой ткани, на 128 групп по типу передаваемой визуальной информации. Одни группы помогают определить контуры, цвета и расположение объектов, а другие — понять, что именно изображено, например лицо, человек, животное или пейзаж.
Разработчики сравнили созданные Brain-IT изображения с оригиналами, которые показывали участникам эксперимента. Система превзошла ранее применявшиеся методы по стандартным показателям точности, а одного часа данных фМРТ от нового участника оказалось достаточно для результата, сопоставимого с подходами, обученными на 40 часах записей. При этом полученная картинка не является точной копией увиденного человеком.
На заключительном этапе Brain-IT использует готовый диффузионный генератор, обученный на большом количестве изображений. Он может сглаживать текстуры, уточнять черты лиц и добавлять недостающие детали, поэтому часть реалистичных элементов не обязательно берётся непосредственно из мозгового сигнала. Технология работает только с воспринимаемыми изображениями и не позволяет восстановить воспоминания или мысленные сцены.
Надёжная работа системы пока требует фМРТ, а такое сканирование является сложным и дорогостоящим. Учёные предварительно изучают возможность применять электроэнцефалографию (ЭЭГ) — регистрацию активности мозга с помощью электродов на голове, однако эти исследования находятся на ранней стадии. В дальнейшем подобные методы могут помочь изучать обработку зрительной информации и выявлять признаки неврологических, нейроразвивающих и психических расстройств.