Инженеры Huawei разработали вычислительную архитектуру Peerium, которая, по заявлению компании, в перспективе позволит объединить до миллиона чипов искусственного интеллекта в единую систему. Для сравнения, кластер Colossus компании SpaceXAI, который считается крупнейшей системой обучения ИИ (искусственного интеллекта) у этой компании, включает около 200 тысяч связанных между собой чипов. О новой разработке Huawei объявила 17 сентября на ежегодной конференции CONNECT, сообщила Live Science.
В традиционных системах чипы для обучения базовых моделей размещаются в отдельных серверах и обмениваются данными через сеть. Peerium использует высокоскоростную систему соединений, рассчитанную на эффективную связь между чипами в разных стойках. В Huawei заявили, что такая архитектура должна сохранять производительность даже при увеличении числа процессоров до сотен тысяч.
Представители компании сообщили, что компьютеры на базе Peerium смогут обучать модели, содержащие до 40 триллионов параметров. Для сравнения, ускорители NVIDIA GB200 NVL72 и система CS-3 компании Cerebras рассчитаны на работу с моделями триллионного масштаба. В основе Peerium лежат три принципа: вложенный параллелизм, единая адресация памяти и прямое соединение устройств между собой.
Вложенный параллелизм распределяет вычисления между иерархическими группами чипов, единая адресация дает процессорам доступ к памяти других серверов, а соединения «устройство — устройство» сокращают зависимость от промежуточных узлов. По данным Huawei, существующие технологии не обеспечивают нужную пропускную способность для объединения миллиона процессоров. Разработанная компанией система UnifiedBus (единая шина) должна поддерживать обмен между стойками со скоростью до 800 ГБ в секунду, тогда как используемая в сопоставимых решениях связка NVLink и InfiniBand обеспечивает около 200 ГБ в секунду между стойками.
Одновременно Huawei представила Atlas 950 SuperPoD — вычислительную систему на базе Peerium, оснащенную более чем 8 тысячами ускорителей Ascend 950DT. Компания проводит на этих комплексах испытания обучения ИИ и сообщила, что они эффективнее используют доступные вычислительные ресурсы, чем кластеры без Peerium и UnifiedBus. Поставки SuperPoD планируется начать не позднее начала следующего года, а одна система SuperCluster (суперкластер), объединяющая 256 тысяч вычислительных карт, уже проходит развертывание и тестирование.