Представители компании Astera Labs объявили сегодня о ключевых достижениях в устранении узких мест в производительности корпоративных центров обработки данных, вызванных огромными потребностями в данных приложений ИИ и МЛ.

Сообщение приурочено к Supercomputing21, конференции по высокопроизводительным вычислениям, которая состоится на этой неделе; компания запускает, как утверждают разработчики, первую в отрасли платформу ускорителя памяти, основанную на стандарте Compute Express Link (CXL) для подключения процессоров общего назначения и различных других устройств центров обработки данных.

Эта новость важна, потому что устранение узких мест в центрах обработки данных стало «святым граалем» для основных поставщиков процессоров. Их клиенты сталкиваются с проблемами производительности, пропускной способности и задержками, поскольку они объединяют различные типы процессоров, таких как процессоры, графические процессоры и ускорители искусственного интеллекта, которые необходимы для управления мощными приложениями, такими как искусственный интеллект.

Объединив свой существующий продукт Aries (для ретрансляторов PCIe) с недавно анонсированными Taurus (для интеллектуальных кабелей) и Leo SoC (для ускорителей памяти CXL), Astera Labs заявляет, что может стать ведущим поставщиком облачных подключений и более чем удвоить свой годовой доход, чтобы использовать возможности конвейера стоимостью 1 миллиард долларов, с общей оценкой общего адресного рынка в 8 миллиардов долларов к 2025 году, который подпитывается ростом ИИ.

Цель состоит в том, чтобы создать более быструю магистраль подключения, которая обеспечивает соединения с низкой задержкой, совместное использование ресурсов и сохраняет эффективность с помощью сложных технологий, таких как кэш. Кроме того, Astera Labs заявляет, что ее полностью облачный подход обеспечивает значительные преимущества в производительности проектирования и обеспечении качества.

Передача данных в ускорители

Одной из постоянных сложностей в работе с вычислительной техникой является обеспечение того, чтобы процессоры и другие ускорители могли получать данные. Это стало серьезной проблемой, учитывая взрывной рост ИИ, когда размеры моделей удваивались всего за три с половиной месяца. В последние годы масштабирование DRAM не соответствует закону Мура — это означает, что память становится более ограничивающим и дорогостоящим фактором, чем вычислительные ресурсы. Протокол CXL, основанный на стандартной инфраструктуре PCIe, служит альтернативой стандартному слоту DIMM для DRAM. Его также можно использовать для подключения ускорителей к процессору.

Intel предложила стандарт CXL в 2019 году, и его внедрение в отрасли должно совпасть с PCIe 5.0 в 2022 году. По сравнению с PCIe 5.0, CXL добавляет множество функций, таких как согласованность кэша между процессорами и ускорителями, а также имеет гораздо меньшую задержку. В будущем CXL 2.0 добавит объединение памяти на уровне стойки, что позволит создавать центры обработки данных с разбивкой.

У Astera Labs уже есть некоторые продукты, используемые поставщиками облачных услуг, такие как ретеймеры PCIe и CXL, но она стремится расширить этот портфель с помощью этих новых разработок.

Ускоритель памяти для CXL 2.0

Leo, которую глава Astera называет первой в отрасли платформой ускорителя памяти для CXL 2.0, предназначена для того, чтобы CXL 2.0 мог объединять и совместно использовать ресурсы (память и хранилище) на нескольких микросхемах в системе, включая процессор, графический процессор, FPGA и SmartNIC, и сделать возможными серверы с разбивкой. Leo также предлагает встроенные возможности управления парком и диагностики для крупномасштабных развертываний серверов, таких как в облаке или на предприятиях.

“CXL меняет правила игры для гипермасштабируемых центров обработки данных, позволяя расширять память и объединять возможности для поддержки новой эры ориентированной на данные и составной вычислительной инфраструктуры, — сообщил генеральный директор Astera Labs Джитендра Мохан. — Мы разработали платформу Leo SoC [система на чипе] в сотрудничестве с ведущими производителями процессоров, системными производителями и стратегическими облачными клиентами, чтобы выпустить следующее поколение решений для подключения памяти”.

CXL состоит из трех протоколов: CXL.io, CXL.кэш и CXL.память. Однако только реализация CXL.io является обязательной. В случае использования искусственного интеллекта для связного с кэшем соединения между памятью, процессором и ускорителями, такими как графические процессоры и процессоры (нейронные процессоры), протокол CXL.memory имеет значение. Хотя задержка CXL выше, чем у стандартного слота DIMM, она аналогична текущим (запатентованным) протоколам между процессорами, таким как Intel Ultra Path Interconnect (UPI). Поскольку одна из целей CXL 2.0 заключается в обеспечении объединения ресурсов в масштабе стойки, задержка будет аналогична сегодняшним решениям для межузловых соединений. CXL.память также поддерживает как обычную память DRAM, так и постоянную память, в частности, Optane от Intel.

Платформа ускорителя памяти Leo SoC позволяет Astera играть решающую роль в поддержке отрасли в принятии решений на основе CXL для искусственного интеллекта и ML. Поскольку CXL основан на PCIe 5.0, Leo поддерживает пропускную способность 32 ГТ/с на полосу, максимум 16 полос. Максимальная емкость составляет 2 ТБ.

“Платформа ускорителя памяти Leo CXL от Astera Labs является важным инструментом для экосистемы Intel для реализации общего пространства памяти между хостами и подключенными устройствами», — сказал Джим Паппас, директор по технологическим инициативам Intel.

“Такие решения, как платформа ускорителя памяти Leo от Astera Labs, являются ключевыми для обеспечения более тесной связи и согласованности между процессорами и ускорителями, особенно для расширения памяти и возможностей объединения”, — согласился Майкл Холл, директор по совместимости с клиентами AMD.

Внутри CXL

Если копнуть немного глубже в CXL, предложенный Intel стандарт был последним, о котором было объявлено о согласованном с кэшем соединении. Например, Arm уже продвигала свой стандарт CCIX, а различные другие поставщики работали над аналогичным решением в консорциуме Gen-Z. Однако из-за отсутствия Intel — по-прежнему доминирующего поставщика в центре обработки данных — в этих инициативах, они получили мало поддержки. Поэтому, как только Intel предложила CXL в качестве стандарта открытого межсоединения на основе инфраструктуры PCIe 5.0, отрасль быстро поддержала инициативу CXL, поскольку Intel пообещала поддержку в своей предстоящей презентации Масштабируемых процессоров Sapphire Rapids Xeon.

В течение шести месяцев после анонса CXL Arm объявила, что она тоже откажется от своего собственного CCIX в пользу CXL. Ранее в этом месяце представитель консорциума Gen-Z объявил, что подписал письмо о намерениях (в соответствии с предыдущим меморандумом о взаимопонимании) передать спецификации и активы Gen-Z Консорциуму CXL, сделав CXL “единственным отраслевым стандартом” в будущем.

Другие поставщики уже объявили о поддержке. В 2021 году Samsung и Micron заявили, что выведут на рынок DRAM на основе межсоединения CXL. В ноябре AMD объявила, что начнет поддерживать CXL 1.1 в 2022 году со своими процессорами Epyc Genoa.

За пределами CXL

Astera также анонсировала Taurus SCM, который относится к модулям интеллектуальных кабелей (SCM) для Ethernet. Эти “умные кабели” служат для поддержания целостности сигнала, поскольку пропускная способность удваивается в сетях Ethernet 200G, 400G и 800G (которые начинают заменять 100GbE) в медных кабелях 3 м или более, и они поддерживают задержки до 6 раз ниже, чем указано в спецификации. Другие интеллектуальные функции включают в себя безопасность, мониторинг износа кабелей и самопроверку. Кабели поддерживают сериализатор-десериализатор (SerDes) до 100 г на полосу движения.

Astera Labs — портфельная компания Intel Capital. Стартап сотрудничает с поставщиками микросхем, такими как AMD, Arm, Nvidia и лаборатории Intel Habana Labs, которые также поддерживают стандарт CXL. В сентябре компания объявила об инвестициях серии C в размере 50 миллионов долларов при оценке в 950 миллионов долларов.

Источник: https://venturebeat.com/2021/11/15/astera-labs-announces-memory-acceleration-to-clear-datacenter-ai-ml-bottlenecks/