OpenAI утверждает, что чип Jalapeno для инференса превосходит Nvidia по скорости и энергоэффективности
Утверждение основывается на проведенных бенчмарках. Чип Jalapeno - собственная разработка OpenAI, выполненная в тесном сотрудничестве с Broadcom.
По данным OpenAI паспортная потребляемая мощность Jalapeno составляет 700Вт по сравнению с 1400Вт у GB300.
Jalapano тестировали с использованием публично доступного бенчмарка InferenceX от SemiAnalysis, который призван проверить сквозное обслуживание запросов, направляемых ИИ. Чип тестировался в работе с тремя разными LLM: GPT-OSS 120B; DeepSeek R1 670B и Kimi K2.5 1T.
По всем трем моделям Jalapeno показал превосходство в 1.5-1.9 раз в терминах "полезная работа ИИ на Вт" при пиковой пропускной способности по сравнению с конкурирующими системами. Вдобавок, задержки оказались ниже в 1.7-3.6 раз.
Для высокоинтерактивных рабочих нагрузок (наиболее характерные - это агентные системы), преимущество было еще больше - в 2.1-4.1 раз.
На самой большой из проверенных моделей - Kimi K2.5 - Jalapeno показал примерно в 1.5 раза лучшую производительность на Вт и в 3.4 раза меньшие задержки, чем конкурентное решение.
Выше говорилось про энергопотребление, стоит дополнить, что использовались паспортные мощности, хотя в тестировании чипа Jalapeno она составляла не паспортные 700 Вт, а 550 Вт и менее.
Особенность Jalapeno, как мы уже не раз обсуждали, в том, что этот чип хранит состояние модели и кэш локально, что снижает задержки межчипового обмена данными.
Интересно, что при проектировании Jalapeno активно применялся ИИ, что позволило ускорить процесс проектирования до 9 месяцев.
OpenAI планирует начать развертывание Jalapeno в своей инфраструктуре, как чипы нового поколения. При этом планируется продолжать закупки микросхем у Nvidia и других поставщиков (лишних чипов ИИ - не бывает!).
Цифры 1.4-1.9х, как выигрыш по производительности на Вт, означают, что можно ощутимо сократить операционные затраты на обслуживание ИИ-инфраструктуры / ИИ-приложений. Еще один тейк - использование ИИ для проектирования чипа ускоряет цикл разработки и создает петлю обратной связи - ИИ создает аппаратное обеспечение для ИИ.
Если говорить о трендах, которым соответствует новость, то это переход от универсальных GPU к специализированным ASIC в задачах инференса. Это обещает снижение затрат на обслуживание и повышение энергоэффективности.
Про тренд на применение ИИ для проектирования, я уже написал выше. Еще один тренд - все более востребованной будет становиться инфраструктура, подходящая для агентных рабочих нагрузок. Интерактивные ИИ-агенты требуют малых задержек и высокой пропускной способности, это диктует новые требования к архитектуре - локальность данных, большой объем памяти на кристалле, эффективное энергопотребление. ||
✓ Подпишитесь на RUSmicro в Telegram | в Max
