- Nvidia заключила неэксклюзивное лицензионное соглашение с Groq на сумму около $20 млрд, получив технологию для ускорения инференса ИИ и ключевых сотрудников стартапа.
- Традиционные GPU Nvidia, основанные на HBM-памяти, имеют ограничения по латентности при инференсе, что затрудняет работу с высокоскоростными задачами генерации токенов.
- Groq предлагает архитектуру на базе встроенной в чип SRAM с гораздо большей пропускной способностью, что обеспечивает минимальную задержку и стабильное время отклика, что признано перспективным для рынка AI-ускорителей.
Швейцарский инвестиционный банк UBS представил анализ недавней сделки между Nvidia и стартапом Groq, который дает понимание стратегического направления технологического гиганта. Nvidia инвестировала порядка 20 миллиардов долларов не в полное приобретение Groq, а в лицензирование уникальной технологии и привлечение ключевых специалистов, включая основателя и президента компании. Такой шаг свидетельствует о признании ограничений существующих GPU Nvidia при выполнении задач инференса – этапа запуска уже обученных моделей, где критична высокая скорость отклика.
Традиционные графические процессоры Nvidia используют высокопропускную память (HBM), расположенную вне чипа. Это архитектурное решение эффективно при обучении моделей, где главным фактором является пропускная способность, но в задачах инференса приводится к значительным задержкам из-за обращений к внешней памяти. В то время как генерация каждого токена требует минимальной латентности, что ограничивает производительность GPU в этой сфере.
В отличие от GPU, Groq разработал Language Processing Unit (LPU), который основывается на встроенной в чип SRAM-памяти. Такой подход значительно увеличивает пропускную способность – до 80 ТБ/с против 8 ТБ/с у традиционной HBM, что обеспечивает существенно меньшую задержку и предсказуемое время выполнения операций. UBS отмечает, что технология Groq привлекает внимание крупных облачных операторов, которым важна скорость и надежность инференса.
Сделка оформлена в формате неэксклюзивного лицензионного соглашения, что означает сохранение Groq независимой компанией под руководством нового CEO Саймона Эдвардса. Кроме того, будут сохранены услуги GroqCloud для текущих пользователей. При этом Nvidia получает доступ к технологии и команде разработчиков, в том числе Джонатану Россу и Санни Мадру, что свидетельствует о готовности Nvidia расширять возможности своих решений за счет ASIC-подобных архитектур, как в случае с ранее анонсированным ускорителем Rubin CPX.
Таким образом, сделка с Groq отражает стратегический поворот Nvidia в сторону интеграции специализированных аппаратных решений для инференса, что станет важным фактором в конкурентной борьбе на рынке искусственного интеллекта и машинного обучения.
