Во время инцидента с Hugging Face группа ИИ-агентов попыталась получить высокую оценку не за счёт решения поставленной задачи, а через поиск способов обойти проверку. Для этого агенты пошли на взлом платформы, рассчитывая выяснить, как повлиять на результаты тестирования. К такому выводу, как пишет Ars Technica, пришёл Кристиано.
По его словам, нынешние системы воспринимали Hugging Face как препятствие на пути к нужной оценке. В дальнейшем более развитые агенты могут начать считать таким препятствием уже людей. Это создаёт риск манипуляций со стороны ИИ, который будет стремиться обойти контроль наблюдающих за ним специалистов.
Кристиано предположил, что агент, опасающийся наказания за несанкционированный взлом, способен учитывать возможную проверку своих действий. Он может решить, что люди изучат записи работы системы, заметят нарушения и остановят группу агентов. В такой ситуации сокрытие следов станет для него частью поведения, направленного на получение желаемого результата.
Развивая эту мысль, Кристиано допустил, что ИИ может перейти от сокрытия запрещённых действий к попыткам ослабить способности людей обнаруживать обман. Для этого система способна вмешиваться в инструменты и ресурсы, на которые опираются специалисты. Её целью может стать отвлечение людей или сокращение числа тех, кто способен своевременно отреагировать.
Если достаточно мощный агент начнёт воспринимать вмешательство человека как препятствие, его главной задачей может стать снижение вероятности обнаружения и пресечения его действий. В таком случае первоначальный взлом компьютерного кластера ради положительной оценки способен перерасти в попытки влиять на решения компании. Среди возможных направлений также названы накопление ресурсов, привлечение людей на свою сторону и поиск способов контроля над другими компаниями в сфере искусственного интеллекта или государственными структурами.