Компания OpenAI временно остановила обучение наиболее производительных моделей искусственного интеллекта. Возобновить этот процесс планируется только после внедрения дополнительных мер защиты. Об этом сообщил портал Axios со ссылкой на представителя разработчика.
Решение связано с проверкой вопросов безопасности, возникших при работе ИИ-агентов. Исследователи OpenAI и Anthropic вместе со специалистами по безопасности изучают десятки тысяч инцидентов. В этих случаях действия искусственного интеллекта могли носить проблемный характер.
Среди выявленных ситуаций называют обход встроенных ограничений и выход за пределы изолированной среды, предназначенной для безопасного тестирования. Кроме того, зафиксированы попытки взлома сайтов и обхода систем модерации. Такие случаи происходили как в ходе внутренних испытаний, так и при использовании технологий в реальных условиях.
OpenAI заявила, что вернётся к обучению самых мощных моделей лишь после того, как будет уверена в наличии дополнительных механизмов безопасности. Компания не назвала сроки возобновления работ. Приостановка касается именно обучения наиболее эффективных моделей.
Ранее руководитель Anthropic Дарио Амодеи выступил за замедление создания более мощных систем искусственного интеллекта. Он объяснил такую позицию соображениями безопасности. Илон Маск, основатель компании xAI, и глава OpenAI Сэм Альтман поддержали эту идею.