Rubytech продемонстрировала создание ИИ-инфраструктуры на китайских GPU с российскими LLM
Компания Rubytech успешно протестировала российские большие языковые модели на китайских GPU, что позволяет создать независимую ИИ-инфраструктуру.
Группа компаний Rubytech завершила испытания российских больших языковых моделей (LLM), используя китайские графические процессоры. Результаты тестирования подтвердили работоспособность отечественных нейросетей в рамках программно-аппаратного комплекса «Машина искусственного интеллекта Скала^р», что открывает возможности для создания ИИ-инфраструктуры, не зависящей от западных технологий.
В процессе испытаний была применена модификация ПАК «Машина искусственного интеллекта Скала^р» с восемью китайскими GPU и языковой моделью третьего поколения Cotype 3 от MWS AI. Испытания показали уровень производительности, аналогичный решениям на базе NVIDIA H100: среднее время ожидания первого токена составило около 8000 мс при обработке 27 тыс. токенов, а межтокенная задержка составила от 111 мс. Эти результаты полностью соответствуют требованиям для корпоративных ИИ-систем.
Компания отметила, что возможность использования различных аппаратных платформ снижает зависимость от одного производителя и предоставляет больше возможностей для проектирования ИИ-систем. Кроме того, такая альтернативная аппаратная база помогает решить проблему высокой стоимости вычислений. В некоторых сценариях комбинация китайских GPU, российской платформы и отечественных моделей позволяет сократить совокупные затраты на владение (TCO) при масштабировании сервисов, что делает это решение выгодным для крупных компаний и государственных организаций.
Сейчас спрос на локальную инфраструктуру формируют государственный сектор, компании с государственным участием, а также операторы критической информационной инфраструктуры (КИИ). Для этих организаций критически важно разворачивать модели в рамках собственного контура безопасности. Продукты из линейки «Скала^р» от Rubytech включены в реестры Минпромторга и Минцифры РФ и соответствуют критериям доверия для объектов КИИ. Среди технологических партнеров компании — ведущие банки России, такие как Газпромбанк и ВТБ, а также ФНС и ЦБ РФ.
По материалам: 3dnews.ru
