Российские исследователи представили инновационный инструмент тестирования, который способен моделировать полноценную медицинскую консультацию. Система анализирует жалобы, диагностические снимки и даже психотип условного пациента, чтобы оценить эффективность работы искусственного интеллекта в решении врачебных задач. По данным создателей, использование этой методики позволяет повысить точность работы профильных нейросетей на величину от 6,5 до 20 процентов.
Компании, занимающиеся разработкой медицинских систем и телемедицинских платформ, получили возможность бесплатно применять этот алгоритм для проверки своих продуктов в реалистичных условиях. Интеграция разнородных данных и совершенствование диалоговых стратегий призваны существенно улучшить качество удаленных консультаций и автоматизированной диагностики.
Над проектом работали специалисты из Центра практического искусственного интеллекта Сбера в сотрудничестве с учеными из НИУ ВШЭ и Института системного программирования РАН. Для создания правдоподобной симуляции используются цифровые агенты, исполняющие роли врачей и пациентов. Управление этими виртуальными участниками процесса осуществляется посредством больших языковых и мультимодальных моделей.
Основой для функционирования тестовой среды стали почти три тысячи клинических случаев, охватывающих 34 различных диагноза, которые базируются на реальных медицинских текстах и изображениях. Опираясь на этот массив данных, исследователи сравнили несколько популярных стратегий постановки диагноза, применяемых в открытых и закрытых системах, способных воспринимать как текстовую, так и визуальную информацию.
Проведенные проверки показали, что наличие у нейросети способности поддерживать диалог повышает качество диагностики на 6,5 процента. При этом умение системы классифицировать медицинские показатели в ряде случаев улучшает результаты на 20 процентов по сравнению с аналогами. Ученые рассчитывают, что данный тест станет важным инструментом для развития языковых моделей в отечественном и мировом здравоохранении.