Разработчик Claude, компания Anthropic, включил в документацию для инвесторов предупреждение о возможном резком ускорении развития искусственного интеллекта. По информации iXBT.com, в материалах, связанных с подготовкой размещения акций, подробно рассматривается сценарий, когда нейросети начинают помогать создавать более мощные версии ИИ.
Такой механизм называют рекурсивным самоулучшением, или RSI (Recursive Self-Improvement). Его суть заключается в применении возможностей действующих моделей при разработке последующих. Это может повысить производительность исследований и ускорить технологический прогресс, но одновременно усложнить контроль над новыми системами.
Anthropic уже задействует искусственный интеллект в собственных исследовательских и инженерных процессах. В компании допускают, что темпы улучшения моделей способны превысить скорость, с которой специалисты проверяют их поведение, надежность и безопасность. В результате существенные изменения возможностей ИИ могут обнаруживаться не сразу.
Разработчик сообщил, что подобные задержки с выявлением крупных скачков характеристик встречались и прежде. По внутренним прогнозам Anthropic, приближение к установленному компанией критерию резко ускоренного прогресса может произойти в ближайшее время. При этом ни одна из существующих систем еще не получила оценку, подтверждающую достижение указанного порога.
Компания отдельно пояснила, что пока не собирается полностью доверять Claude разработку новых поколений передовых моделей без контроля людей. Таким образом, описанные риски относятся к возможному развитию технологии, а не к появлению уже действующей полностью автономной системы.