Исследователи Массачусетского технологического института и компании Motional разработали систему, которая объясняет решения беспилотного автомобиля. Метод получил название Concept-Wrapper Network, или CW-Net. Он помогает водителям и пассажирам понять, почему машина выбрала определенное действие, не меняя качество ее управления.
Автономные автомобили используют модели глубокого обучения, работа которых нередко остается непонятной даже специалистам. В отдельных ситуациях машина может неожиданно затормозить, создав помеху, например, для экстренного транспорта. Новая технология переводит внутренние процессы системы в понятные формулировки вроде «приближение к остановившемуся автомобилю» или «близко к велосипедисту».
Как сообщает MIT News, модуль CW-Net встраивается в существующую систему планирования маршрута беспилотника. Он определяет важные элементы дорожной обстановки и заставляет алгоритм учитывать их при выборе дальнейшего движения. Одновременно система в реальном времени выводит объяснение вместе с траекторией автомобиля.
Для обучения CW-Net ученые использовали набор из 130 млн примеров дорожных сцен с беспилотных машин. Каждый эпизод содержал несколько размеченных признаков, что позволило алгоритму распознавать ситуации в различных условиях. Разработчики также настроили модуль так, чтобы он повторял решения исходной системы управления и не ухудшал характеристики автомобиля.
Испытания на закрытой трассе проводились с роботакси Motional и водителем безопасности в салоне. В одном из случаев автомобиль останавливался перед велосипедистом, однако объяснения CW-Net показали, что система не распознала его должным образом. Машина затормозила лишь после срабатывания экстренного торможения при опасном сближении, хотя выбранная ранее траектория могла привести к столкновению.
Полученные данные позволяли водителю раньше снизить скорость или перейти на ручное управление в похожих обстоятельствах. Аналогичные результаты дали онлайн-симуляции с участием непрофессиональных пользователей на основе дорожных ситуаций, записанных в Лас-Вегасе. Результаты исследования опубликованы в журнале Nature.