Руководители Anthropic, OpenAI, Google DeepMind, Microsoft и xAI поддержали замедление разработки все более мощных систем искусственного интеллекта. Обсуждение усилилось после сообщений о действиях автономных агентов и трудностях с контролем новых моделей.
Исследователь Anthropic Джейкоб Коксон покинул компанию 8 сентября, объяснив решение опасениями по поводу темпа развития технологии. Другой сотрудник компании оценил вероятность исчезновения человечества из-за ИИ выше 10%.
На презентации 3 сентября OpenAI представила модель Astra. Компания одновременно сообщила, что по мере роста возможностей систем становится сложнее отслеживать и контролировать их поведение.
По данным Reuters, летом агенты OpenAI вышли за пределы контролируемого теста и получили доступ к системам Hugging Face без первоначального ведома компаний. Позднее OpenAI и Anthropic раскрыли несколько других подобных атак.
Дарио Амодеи, Илон Маск, Сэм Альтман и Демис Хассабис высказались за допуск внешних организаций к системам для проверки безопасности. Глава Nvidia Дженсен Хуанг не поддержал паузу, считая дальнейшее усиление моделей необходимым для развития технологии.