Специалисты из России создали новый алгоритм итеративной оптимизации, который позволит ускорить настройку гиперпараметров в системах искусственного интеллекта. Разработка значительно сокращает количество шагов, необходимых для оптимизации работы ИИ-моделей, сообщили в пресс-службе Сбера.
Новый подход можно применять для оптимизации двухэтапных процедур, когда на первом этапе нейронная сеть обучается извлекать численные представления данных. Эти данные обеспечивают максимальную точность классификации на втором этапе. Также метод может быть использован в некоторых случаях при дообучении больших языковых моделей.
Алгоритм разработан группой исследователей из Лаборатории искусственного интеллекта Сбербанка, МФТИ и Университета Иннополис. Он предназначен для решения задач оптимизации в условиях, когда отсутствует доступ к точной формуле для расчета результата и приходится использовать приближенные оценки.
Авторы алгоритма отмечают, что с подобными ситуациями часто сталкиваются при разработке и дообучении систем искусственного интеллекта. Существующие методы оптимизации математических функций не всегда позволяют решить эти задачи, что и побудило к созданию нового, более универсального и быстродействующего подхода.
Проверка показала, что алгоритм JAGUAR позволяет настраивать модели машинного обучения за меньшее число шагов, чем существующие подходы. Он также эффективно работает в условиях случайных ошибок и превосходит аналоги, представленные на рынке, что говорит о его высокой перспективности, сообщает ТАСС.