Декабрьская сделка на сумму $20 млрд, которая дала Nvidia доступ к разработкам стартапа Groq, имела не совсем обычную структуру, но позволила первой из компаний на этой неделе заявить, что ускорители Groq 3 LPX уже выпускаются серийно и появятся на рынке до конца текущего года. Данные чипы специализируются на ускорении инференса в инфраструктуре ИИ.

Ускорители Groq 3 LPX войдут в состав платформы Vera Rubin, они будут использоваться в агентских задачах. Первым клиентом Nvidia, который подписал контракт на получение ускорителей Groq, стала компания Nebius Аркадия Воложа, являющегося основателем Яндекс. В одной серверной стойке могут быть объединены до 256 ускорителей LP30, которые позволяют снизить задержки при обработке запросов в агентских задачах ИИ. Продемонстрированные Artificial Analysis результаты тестирования Groq 3 LPX в открытой модели Gemma 4 31B позволяют говорить, что ускоритель обеспечивает рекордную пропускную способность в 3400 токенов за секунду при размере контекстного окна в 100 000 токенов. По словам Nvidia, это повышает отзывчивость системы в четыре раза по сравнению с конкурирующими решениями, значительно сокращая время выполнения работы ИИ-агентами. Во многом этому способствует наличие на чипе Groq 3 LPX скоростной памяти SRAM объёмом 500 Мбайт.

Одновременно на конференции Hot Chips компания Nvidia заявила, что ей удалось заключить контракт со SpaceX на поставку компонентов платформы Vera Rubin. Как минимум, компания Илона Маска (Elon Musk) будет использовать центральные процессоры Vera для слаживания работы наземных и космических ЦОД. Чипы Groq 3 LPX для Nvidia выпускаются компанией Samsung Electronics, поскольку исходный стартап сотрудничал с этим контрактным производителем. Для остальной части продукции Nvidia более характерно использование услуг тайваньской TSMC. Основатель Nvidia Дженсен Хуанг (Jensen Huang) весной этого года заявил, что ускорители типа Groq займут до четверти рынка ЦОД в сегменте, ориентированном на разработку программного обеспечения с помощью ИИ.

Источники:

Материалы по теме

Материалы по теме