Google DeepMind прогнозирует высокий спрос на память HBF в инференсе

На этой неделе Sandisk и SK hynix анонсировали стандарт памяти HBF, который сочетает в себе высокую пропускную способность и значительный объем хранения данных. Разработка поддержана также компаниями Tenstorrent и Google, представители которой подчеркивают, что HBF найдет свое применение в инференсе.

HBF, по сути, представляет собой модификацию оперативной памяти HBM, позволяющую долговременно хранить информацию, что важно для работы с уже обученными моделями искусственного интеллекта. Исследователь Сяою Ма из Google DeepMind отметил, что необходимость быстрой обработки данных в инференсе сделает HBF важным элементом вычислительной инфраструктуры ИИ. Это также приведет к росту спроса на такие устройства, что является значительным фактором для операторов центров обработки данных.

Тем не менее, эксперты выражают обеспокоенность по поводу высокой нагрузки на HBF, что может привести к быстрому выходу из строя микросхем. Рекомендуется организовать использование HBF в основном для чтения данных, минимизируя записи. Для оптимизации скорости обработки информации HBF можно сочетать с HBM, которая будет использоваться для операций записи.