Специалисты компании Anthropic сообщили, что нашли у языковой модели Claude внутреннее системное пространство, которое используется для вычислений и формирования концепций без их явного отображения в ответах пользователю.
В компании объяснили, что эта область получила название «J-пространство». Она позволяет модели выполнять дополнительные внутренние операции параллельно с подготовкой ответа, включая анализ изображений, поиск ошибок в коде и планирование отдельных стратегий.
Исследователи подчеркивают, что открытие не означает появления у искусственного интеллекта сознания. Тем не менее они считают обнаруженный механизм похожим на разделение между осознанными рассуждениями человека и скрытыми мыслительными процессами.
Во время исследований ученые отслеживали внутренние концепции, активируемые моделью. По их словам, такой подход может помочь выявлять случаи, когда внутренние вычисления ИИ отличаются от содержания ответов, которые получает пользователь.
В Anthropic считают, что дальнейшее изучение «J-пространства» позволит лучше контролировать поведение языковых моделей и своевременно обнаруживать потенциально нежелательные сценарии их работы.