Ученые ИТМО создали цифровой полигон «Полиокс» для тестирования систем искусственного интеллекта в экстренных условиях. Разработка позволяет значительно ускорить процесс оценки эффективности ИИ-систем - с нескольких дней или недель до нескольких минут. Программное обеспечение дает возможность оценивать работу систем по множеству параметров одновременно и сравнивать их с аналогичными решениями.
Принцип работы «Полиокса» заключается в последовательном тестировании. Сначала собираются сценарии испытаний с учетом конкретных задач и условий эксплуатации. Затем специальный алгоритм генерирует синтетические данные для проверки моделей. После автоматического проведения испытаний система анализирует полученные результаты с помощью моделей машинного обучения и методов статистики.
Важной особенностью разработки является оценка предельных возможностей тестируемых систем. Программа постепенно изменяет объем или качество входных данных до тех пор, пока система не перестанет показывать приемлемые результаты. Это позволяет автоматически определить границы применимости моделей и спрогнозировать стоимость их дообучения.
В отличие от классического тестирования, которое обычно включает лишь 2-3 метрики точности, «Полиокс» формирует детализированный отчет с десятками показателей, рассчитанных в различных условиях. Отчет содержит схемы, графики и другие визуальные данные, помогающие оценить качество системы ИИ. При этом программа настолько проста в использовании, что даже неподготовленный пользователь может самостоятельно запустить ее и проанализировать результаты.
В будущем разработчики планируют дополнить цифровой полигон методиками оценки качества языковых моделей, которые сейчас являются основным двигателем развития ИИ-систем, сообщает Газета.ru.