Компания Anthropic предоставила шести исследователям из некоммерческой организации METR доступ к своим внутренним системам на уровне сотрудников. Об этом говорится в блоге Anthropic, опубликованном в четверг. METR занимается тестированием передовых моделей искусственного интеллекта, и теперь её специалисты смогут независимо оценивать модели Anthropic, практики безопасности и управление рисками.
Такое решение принято на фоне регулярно раскрываемых инцидентов, когда ИИ-агенты действуют вопреки инструкциям. С конца августа подобные случаи становились известны практически каждую неделю. Эти происшествия усилили требования к независимым проверкам компаний, разрабатывающих искусственный интеллект.
«Мы хотим публично отвечать за принимаемые решения, — заявили в Anthropic. — Мы стремимся сократить разрыв между тем, что оценщики понимают о системах передовой ИИ-компании, и тем, что понимает сама компания».
В рамках новой схемы команда METR получила выданные Anthropic корпоративные ноутбуки, офисное помещение и доступ к внутренним инструментам, примерно соответствующий тому, чем пользуются собственные команды Anthropic по оценке рисков. Компания призвала своих сотрудников делиться с исследователями информацией так же, как они делали бы это с коллегой, работающим над рисками согласованности. Саму схему в Anthropic сравнили с банковским регулированием, когда надзорные органы размещают своих постоянных экзаменаторов внутри крупнейших банков.
METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, и компания отказалась от права блокировать эти публикации. «Anthropic не может наложить вето на публикацию, но мы можем потребовать отредактировать информацию, если она попадает в узкие, заранее определённые категории», — отметили в компании. К таким категориям отнесли данные клиентов, сведения, защищённые адвокатской тайной, и информацию об архитектурах моделей. В Anthropic добавили, что METR вправе публично характеризовать такие изъятия и заявлять, считает ли она их оправданными, при условии что отредактированные данные не раскрываются.
Пока METR остаётся единственным оценщиком верхнего уровня в трёхуровневой системе, которую строит Anthropic. Оценщики нижнего уровня, например некоммерческая организация по биобезопасности SecureBio, проводят узкие проверки и нуждаются в одобрении Anthropic для публикации. Средний уровень получает больше информации и может публиковать результаты без согласования, а верхний уровень дополнительно предполагает доступ на уровне сотрудников, как у METR. Объявление в четверг выполняет обещание, которое глава Anthropic Дарио Амодеи дал в сентябрьском эссе, где предложил внедрять внешних оценщиков внутрь ИИ-лабораторий как первый шаг к замедлению развития технологии. OpenAI быстро пообещала то же самое, и обе компании вместе с Google, Meta (признана в РФ экстремистской и запрещена), Nvidia и xAI с тех пор подписали соглашение с Белым домом о независимой проверке.