OpenAI: чип Jalapeño превзошёл NVIDIA в тестах

OpenAI поделилась новыми данными о своем ИИ-ускорителе Jalapeño, созданном в сотрудничестве с Broadcom. По информации компании, Jalapeño, который предназначен для инференса, показал в тестах более высокие результаты, чем современные ускорители NVIDIA — GB200 и GB300.

В рамках тестирования, проведенного с использованием бенчмарк-пакета SemiAnalysis InferenceX, системы OpenAI, основанные на Jalapeño, продемонстрировали в 1,5–1,9 раза большую производительность при пиковой пропускной способности и в 1,7–3,6 раза меньшую задержку по сравнению с конкурентами, включая GPT-OSS-120B, DeepSeek R1 670B и Kimi K2.5 1T.

В ходе внутренних испытаний Jalapeño также продемонстрировал хорошие результаты при работе с некоторыми крупными и сложными моделями OpenAI, которые ещё не были анонсированы. Это указывает на то, что характеристики чипа становятся более эффективными с увеличением нагрузки и её сложности.

По данным OpenAI, стойка с 128 ускорителями Jalapeño обеспечивает производительность 1,7 Эфлопс при 4-битных вычислениях и содержит 27,5 Тбайт памяти HBM4 с общей пропускной способностью чуть менее 2 Пбайт/с. Чип интегрирует вычислительный кристалл с шестью стеками HBM4, обеспечивая 13,4 Пфлопс в операциях MXFP4 и масштабируемость до 27 Эфлопс с 432 ТиБ памяти в системе из 2048 ASIC.

Jalapeño демонстрирует высокую производительность при низком энергопотреблении в 700 Вт, что может помочь OpenAI снизить затраты на эксплуатацию своих центров обработки данных, где электроэнергия является значительной статьей расходов, отметил вице-президент по аппаратному обеспечению компании Ричард Хо. Хотя новейшие системы AMD и NVIDIA обеспечивают большую вычислительную мощность, они имеют меньшую пропускную способность памяти по сравнению с решениями OpenAI.

Ричард Хо также отметил, что Jalapeño был спроектирован с целью минимизации перемещения данных и задержек в связи. Чип оптимизирован как для трудоемких операций предварительного заполнения, так и для фаз декодирования, требующих высокой пропускной способности памяти. OpenAI успешно использовала ИИ для проектирования архитектуры и оптимизации чипа, что позволило разработать его за девять месяцев.

Хотя Jalapeño демонстрирует значительное преимущество по скорости, OpenAI не планирует отказываться от сотрудничества с другими производителями, включая NVIDIA, поскольку потребность в вычислительных мощностях продолжает расти. Поставка Jalapeño в ограниченных объемах ожидается в конце этого года, с увеличением производства в следующем. Вторая версия чипа находится на завершающей стадии разработки, а концепция третьего поколения уже разрабатывается.