Стремительное развитие искусственного интеллекта затрагивает самые разные отрасли и сферу национальной безопасности, поэтому понимание возможностей современного оборудования становится ключевым условием для сохранения технологического преимущества. На протяжении почти десяти лет одним из главных направлений разработок остаются ускорители для задач ИИ — специализированные системы, ускоряющие работу нейросетей, глубокого обучения и машинного обучения. С 2018 года коллектив Суперкомпьютерного центра Линкольновской лаборатории (LLSC) ведёт обзор вычислительных решений для ИИ под названием Lincoln AI Computing Survey (LAICS). За это время вышло шесть научных работ, в которых специалисты продолжают описывать представленные на рынке ускорители и сопоставлять их пиковую производительность и пиковую мощность.
«Примерно восемь лет назад мы увидели резкий рост числа исследовательских ускорителей ИИ, описанных в научных статьях, и коммерческих ускорителей, о которых объявляли компании, и к нам начали поступать вопросы о них от государственных заказчиков лаборатории. Этого было достаточно, чтобы начать обзор», — приводит слова сотрудника LLSC Альберта Ройтера сайт MIT News. Центр отвечает за работу и оптимизацию высокопроизводительных вычислительных систем, которыми пользуются тысячи сотрудников лаборатории.
Ускорители ИИ часто применяют для машинного обучения, однако они способны поддерживать и другие параллельные вычисления, например моделирование поведения молекул или ускорение расчётов гидродинамики, которые требуют больших вычислительных ресурсов. Такие устройства выпускают в нескольких видах: центральные процессоры (CPU), графические процессоры (GPU), интегральные схемы для конкретных задач (ASIC), программируемые пользователем вентильные матрицы (FPGA) и потоковые ускорители. Возможности у каждого типа различаются: CPU подходят для вычислений общего назначения, ASIC выполняют лишь узкий круг задач, а потоковые ускорители, FPGA и GPU более гибкие и настраиваются под разные нагрузки. Эффективность и производительность зависят от конструкции устройства, и цель LAICS — изучить существующие на рынке технологии и выбрать лучшие решения под конкретные задачи.
Руководит проектом Альберт Ройтер, в команду входят сотрудники LLSC Майкл Джонс, Питер Микалеас, Джереми Кепнер и Виджай Гадепалли. Специалисты также взаимодействуют с исследователями из разных подразделений Линкольновской лаборатории, включая отдел передовых технологий и отдел разведки, наблюдения, рекогносцировки и тактических систем, чтобы понять, как ускорители поддерживают их научные и прикладные задачи. Первая работа серии охватывала 57 ускорителей, а последняя — более 120. Основные показатели для сравнения — пиковая производительность и мощность, после чего устройства распределяют по категориям: на кристалле, на плате или в виде системы. Все данные берут из открытых источников, что бывает непросто, поскольку часть компаний предпочитает не раскрывать сведения о производительности и энергопотреблении. Чтобы отслеживать новинки, Ройтер ежедневно просматривает новости и научные публикации, отчёты компаний и отраслевые презентации.
«Меня до сих пор удивляет, что каждый год появляется ещё пять-десять стартапов, которые получают финансирование, заявляют о себе и выпускают новые ускорители ИИ. Можно подумать, что рынок уже насыщен, но затем появляется очередная партия инновационных ускорителей», — говорит Ройтер. Помимо сопоставления производительности и мощности, каждая работа рассматривает новый аспект отрасли. Например, статья 2022 года изучала источники роста производительности и показала, что они связаны с уменьшением и уплотнением транзисторов и снижением числовой точности вычислений. В последней работе анализировались архитектурные решения и то, как добавление отдельных компонентов, например большего числа ядер на процессор или параллельной производительности, меняет систему. Ройтер намерен продолжать обзор и в дальнейшем, отмечая, что только за последние месяцы шесть новых стартапов представили свои первые ускорители ИИ.
«ИИ и оборудование, на котором он работает, — очень горячие темы, и Линкольновской лаборатории важно быть беспристрастным техническим советником при выборе и развитии нужных технологий. Наши обзоры ускорителей ИИ помогли многим заказчикам и коллегам из госструктур лучше понять этот рынок и принимать более взвешенные решения о исследованиях и закупках. Обзор также оказался очень полезен при определении того, какие GPU стоит рассматривать для будущих закупок систем LLSC, так что он приносит пользу не только заказчикам и целевым программам, но и всем пользователям центра», — сказал Ройтер. Полный набор статей и accompanying datasets (сопутствующие наборы данных) доступен на платформе GitHub.