В ходе нового исследования ученые из Массачусетского технологического института, Гарварда и Корнелла обнаружили, что большие языковые модели искусственного интеллекта не имеют целостного понимания реального мира и его правил.
Исследователи провели эксперимент, в ходе которого языковые модели, такие как GPT-4 и Claude 3 Opus, должны были предоставить пошаговые указания для навигации по Нью-Йорку. Хотя первоначально точность маршрутов составляла почти 100%, при извлечении базовых карт, использованных моделями, выяснилось, что они содержали несуществующие улицы и маршруты.
Когда в задание вносились неожиданные изменения, например, объезды или перекрытые улицы, точность указаний резко падала. При закрытии всего 1% возможных улиц точность снижалась с почти 100% до 67%. Это вызывает серьезные опасения относительно использования подобных систем в реальных условиях.
Суть работы генеративного искусственного интеллекта основана на способности больших языковых моделей обучаться на основе огромных объемов данных и параметров. Для этого они используют трансформерные модели - набор нейронных сетей, которые обрабатывают данные и обеспечивают самообучение.
Ученые пришли к выводу, что необходимы новые подходы к использованию больших языковых моделей для создания точных моделей мира. Однако пока неясно, какими именно должны быть эти подходы. Исследование показало, что даже самые продвинутые системы искусственного интеллекта могут давать сбои при столкновении с динамичной средой или нестандартными задачами.