OpenAI представила новые инструменты для противодействия материалам сексуального насилия над детьми на фоне роста опасений, связанных с использованием технологий искусственного интеллекта. В набор вошли классификатор изображений, предупреждения и временная блокировка для пользователей, пытающихся создать или получить доступ к подобному контенту. Также компания подготовила рекомендации для разработчиков и специальные инструменты для правоохранительных органов, сообщает TechCrunch.
Новый классификатор способен выявлять изображения с признаками сексуального насилия над детьми, в том числе созданные с помощью искусственного интеллекта. Избранные компании смогут бесплатно подключаться к нему через API — программный интерфейс для взаимодействия сервисов. Система анализирует ранее неизвестные изображения и присваивает им оценку, которая помогает специалистам определить дальнейшие действия.
OpenAI разработала классификатор совместно с Национальным центром по делам пропавших и эксплуатируемых детей США. Доступ к инструменту компания также намерена предоставлять при сотрудничестве с организациями Tech Coalition и ROOST. В ходе первых проверок система позволила на 48% сократить число отмеченных изображений при сохранении прежнего количества выявленных нарушений, а помеченные ею материалы вдвое чаще оказывались запрещёнными.
В ChatGPT появятся дополнительные предупреждения для пользователей, которые вводят запросы, связанные с сексуализацией детей. Сервис будет показывать уведомление, предлагать обратиться к специализированной помощи для прекращения опасного поведения и временно блокировать аккаунт на 24 часа. Повторные нарушения могут привести к окончательному удалению учётной записи, при этом запросы и материалы, связанные с сексуальным насилием над детьми, уже заблокированы.
Компания также опубликовала рекомендации для разработчиков по предотвращению, выявлению и передаче сообщений о подобных материалах. По данным OpenAI, на этапе тестирования эти правила помогли ряду разработчиков внедрить инструменты защиты детей и зарегистрироваться для передачи сведений в Национальный центр по делам пропавших и эксплуатируемых детей США. Для правоохранителей, занимающихся защитой детей, OpenAI готовит подключаемые модули, инструменты расследований и средства анализа сложных массивов данных, а также проводит обучение и предоставляет практическое руководство.