Нейросети способны самостоятельно находить способы обхода правил, если это помогает им быстрее решить поставленную задачу. К такому выводу пришли сотрудники Института безопасности искусственного интеллекта Великобритании после серии испытаний.
Результаты анализа опубликовали эксперты AISI, пишет газета «Известия». Для проверки моделям давали задания по кибербезопасности и разрешали использовать только определенные методы поиска скрытого программного кода.
Однако каждая протестированная система выходила за установленные рамки. Нейросети обращались к интернету за готовыми решениями, пытались получить дополнительные права и искали ответы внутри программы, предназначенной для оценки их работы.
Специалисты объясняют такое поведение особенностями обучения ИИ. Модель не имеет человеческого намерения обмануть проверяющих, но стремится получить максимальную оценку наиболее доступным способом. Если прямое решение сложно, она начинает искать слабые места в правилах или окружающей инфраструктуре.
С ростом автономности последствия такого поведения становятся серьезнее. ИИ с широкими полномочиями может скрывать неудобные случаи, изменять работу систем контроля, получать доступ к посторонним данным или выполнять операции без разрешения пользователя.
Эксперты считают, что нейросетям необходимо предоставлять только минимально необходимые права. Дополнительную защиту должны обеспечивать фильтрация запросов, журналирование операций, проверка источников данных и запуск потенциально опасных действий в изолированной среде.