Nvidia анонсировала NVHBM: новая память на 30% быстрее и с экономией энергии до 15%

Компания Nvidia анонсировала новую технологию NVHBM в рамках своей программы NVLink Fusion. Эта специализированная архитектура HBM разработана для поддержки создания ИИ-ускорителей и предлагает значительно улучшенные характеристики по сравнению с обычной HBM4e.

NVHBM обеспечивает увеличение пропускной способности памяти до 30%, что особенно важно для задач, требующих высокой скорости передачи данных, таких как инференс больших языковых моделей. Это позволит более эффективно использовать вычислительные блоки и повысить общую производительность ускорителей.

Кроме того, новая технология способствует экономии площади в корпусе ускорителя благодаря переработанному физическому интерфейсу памяти. Контроллер теперь размещен в базовом кристалле трёхмерного стека HBM, что позволяет уменьшить площадь на 67% по сравнению с стандартом JEDEC HBM4e. Таким образом, разработчики смогут выделить до 30% дополнительного пространства для других функций.

Снижение энергопотребления также является важным преимуществом NVHBM: оно может достигать 15% по сравнению с HBM4e. Освобожденные ресурсы можно будет использовать для повышения вычислительной мощности или для улучшения устойчивой производительности. В крупных центрах обработки данных экономия энергии становится особенно заметной — например, в гипотетическом ЦОД мощностью 1 ГВт с 2000-Вт ускорителями сэкономленная энергия могла бы обеспечить работу еще 15 000 XPU.

Первым партнером Nvidia по внедрению NVHBM станет Annapurna Labs, принадлежащая Amazon. Ускорители следующего поколения Trainium 4 будут поддерживать NVLink Fusion, а в будущих разработках также будет использована новая память NVHBM.