Главный научный сотрудник OpenAI Якуб Пачоцкий в новой записи в блоге рассмотрел возможные ограничения для дальнейшего развития искусственного интеллекта. Основное внимание он уделил perplexity (перплексии) — показателю, который отражает, насколько хорошо модель предсказывает следующий элемент текста. По данным TechCrunch, этот параметр может использоваться для оценки темпов прогресса ИИ.
Дискуссия о необходимости замедлить развитие технологий усилилась после предупреждений бывшего исследователя OpenAI и Anthropic. Он заявил, что компании подвергают общество чрезмерным рискам. В документах к первичному размещению акций Anthropic также допускалось, что ИИ способен создать катастрофические или экзистенциальные угрозы для общества.
Глава Anthropic Дарио Амодеи предложил план регулирования темпов развития передовых систем. Он призвал компании договориться об общих требованиях безопасности и ограничениях на неконтролируемое ускорение прогресса ИИ. По словам Пачоцкого, для введения такого ограничения сначала необходимо определить единый способ измерения скорости развития технологий.
Исследователь отметил, что тесты, оценивающие практические возможности моделей, быстро устаревают по мере совершенствования ИИ. Перплексия, напротив, сохраняет информативность: чем ниже её значение, тем точнее система предсказывает следующий элемент. В блоге также приведён график снижения этого показателя у моделей OpenAI начиная с GPT-3.5.
Согласно приведённым данным, у GPT-4 значение перплексии составляло около 0,91, что соответствовало эффективному применению пошагового рассуждения. После снижения показателя ниже 0,8 стали проявляться новые возможности систем в таких областях, как кибербезопасность и математика. Пачоцкий связал это с переходом к современным моделям, ориентированным на рассуждение.
По замыслу исследователя, перплексия может стать общей шкалой для оценки универсального искусственного интеллекта. На её основе компании могли бы согласовать единые ограничения и не переходить установленный порог, пока не появятся конкретные методы понимания и контроля поведения ИИ. Глава OpenAI Сэм Альтман назвал публикацию Пачоцкого одной из наиболее значимых работ компании за последнее время.