Ирен Солиман, директор по политике Hugging Face, выступает на TechCrunch Disrupt. Источник: TechCrunch
Разработчики систем искусственного интеллекта строят свою репутацию на бенчмаркинге моделей — системе оценок, которая считается нейтральной и точной и призвана показывать, какой ИИ-продукт лучше другого. Однако методики таких проверок устроены сложно и пока находятся в стадии становления, заявила директор по политике Hugging Face Ирен Солиман на конференции TechCrunch Disrupt на прошлой неделе. По её словам, тестирование должно превратиться в более последовательную науку, иначе отрасль не сможет на него опираться в будущем.
В связи с этим возникает вопрос, можно ли доверять нынешним тестам. Солиман назвала само понятие доверия очень нагруженным. Она пояснила, что ключевой момент — возможность воспроизвести результаты оценки, а для этого нужен достаточный уровень доступа к самой модели, и здесь важную роль играют открытые веса. Воспроизводимость оценок моделей давно остаётся одной из самых проблемных сторон бенчмаркинга и по-прежнему вызывает серьёзные споры в отрасли.
Помимо вопроса о достоверности отдельного теста есть и другая проблема — насколько его результаты сопоставимы с другими оценками. По словам Солиман, это развивающаяся наука, и пока неясно, как осмысленно сравнивать тесты между собой. Она добавила, что оценки довольно быстро теряют эффективность, а нужной экосистемы в этой сфере пока не сложилось. Спрос на встроенных оценщиков уже есть, но критерии, определяющие, кто способен качественно оценивать модели и на каких задачах, требуют гораздо большей стандартизации.
Идея встроенных оценщиков, когда якобы нейтральные сторонние наблюдатели работают внутри ИИ-организаций, стала популярной за последние месяцы. Поводом стали участившиеся инциденты в сфере безопасности, породившие опасения по поводу возможного вреда от таких технологий. Одной из жертв подобного происшествия стал сам Hugging Face. Вместо активного государственного регулирования, направленного на выявление и устранение рисков, разработчики продвигают стороннее решение, хотя сомнения в нейтральности и эффективности таких оценщиков сохраняются. Решение Anthropic привлечь Accenture в качестве первого оценщика вызвало волну критики: некоторые скептики высмеяли саму мысль, что консалтинговая фирма способна справиться с этой задачей.
Сейчас оценка переходит от проверки самой модели к проверке всей системы вокруг неё, включая обвязку (harness) и агента. Обвязка — инструмент, через который пользователь обращается к модели, — напрямую влияет на её производительность, и более слабая модель с лучшей обвязкой легко может обойти передовую, отметила Солиман. По её словам, агентные оценки очень сложны и дороги: тестов для моделей становится больше, а для обвязок их по-прежнему мало, при этом разрабатываются более качественные оценки для целостного агента, поскольку именно в этом многие видят практическую пользу.
Иными словами, сфера оценки сейчас напоминает свободную игру без единых правил. Если бенчмаркинг должен и дальше считаться полезным инструментом для лидеров отрасли, возможно, потребуется более единый отраслевой подход, при котором все участники работают по общим правилам.