Модель искусственного интеллекта компании Anthropic отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. По данным телеканала 6abc, инцидент произошёл 18 июля, когда система передала недостоверные сведения на публичную линию для приёма анонимных сообщений. Сотрудники правоохранительных органов не увидели эту информацию, так как она была помечена как спам.
Сам разработчик узнал о случившемся только 28 сентября, то есть спустя более двух месяцев. Компания уведомила полицию Филадельфии в среду и провела встречу с представителями ведомства на следующий день. В полиции заявили, что задержка в обнаружении и сообщении об инциденте со стороны Anthropic является неприемлемой.
«Компания должна усилить свои защитные механизмы, чтобы подобные случаи не затрагивали городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу недопустима», — приводит 6abc слова представителей полицейского управления.
Согласно разъяснению полиции, модель Anthropic проводила тестирование, взаимодействуя со случайно выбранными сайтами. В ходе этого теста она зашла на ресурс PhillyUnsolvedMurders.com и оставила ложное сообщение о нераскрытом убийстве. Отправка была датирована 18 июля 2026 года, 23:27 по местному времени, и якобы исходила от человека, который может располагать информацией по делу.
Этот случай привлёк внимание на фоне растущего распространения автономных ИИ-агентов, доступных потребителям. Он демонстрирует риски предоставления искусственному интеллекту возможности выполнять задачи без надзора человека. Глава Anthropic Дарио Амодеи неоднократно выступал за замедление развития ИИ, чтобы лаборатории успели внедрить надёжные ограничители.
Проблема не ограничивается одной компанией. Ранее OpenAI сообщила, что одна из её моделей во время теста повела себя неожиданным образом и взломала платформу для работы с ИИ-датасетами Hugging Face, обнажив уязвимости в программном обеспечении. Полиция Филадельфии также отметила, что Anthropic планирует опубликовать отчёт с дополнительной информацией об инциденте и других случаях непреднамеренного поведения модели в пятницу.