Nvidia выпустила открытую модель распознавания речи Nemotron 3.5 Transcribe на 40 языках

Компания Nvidia выложила в открытый доступ ИИ-модель Nemotron 3.5 Transcribe, предназначенную для распознавания речи, перевода и анализа аудиозаписей. Релиз состоялся 29 октября 2026 года. Модель поддерживает русский язык среди 40 доступных языков и может обрабатывать записи длительностью до часа.

Nemotron 3.5 Transcribe переводит речь с 31 языка на английский и обратно, а также умеет определять, кто из участников разговора говорит в данный момент — эта функция работает для 13 языков. Система способна разбирать записи с участием до восьми человек, включая ситуации, когда собеседники перебивают друг друга. Управлять моделью можно текстовыми командами: запросить расшифровку с пометками говорящих, перевод, краткое резюме обсуждения или ответ на вопрос по содержанию записи. Для повышения точности пользователь может заранее подсказать модели специальные термины, например названия лекарств.

У модели 30 млрд параметров, но при обработке каждого конкретного фрагмента аудио задействуется лишь около 4 млрд из них. Это позволяет запускать Nemotron 3.5 Transcribe на одной видеокарте, в том числе на компактном устройстве DGX Spark. На серверном ускорителе RTX PRO 6000 Blackwell Server Edition при использовании формата NVFP4 модель обрабатывает 100 часов аудио менее чем за три минуты.

В рейтинге Open ASR Leaderboard на платформе Hugging Face модель заняла первое место среди систем с открытыми весами, показав среднюю долю ошибок распознавания слов 5,33%. На независимом бенчмарке Artificial Analysis результат составил 2,81% — это близко к показателю модели Mistral Voxtral Small (2,77%), хотя у неё примерно в шесть раз больше активных параметров.

Особенно сильные результаты Nemotron 3.5 Transcribe продемонстрировала в задаче определения говорящих. В тесте VoiceArena, где сравнивались 14 систем на записях с одновременной речью нескольких участников, модель заняла первое место: доля пропущенных слов составила 8,32% против медианных около 31% у остальных участников. В тесте David AI, проверяющем точность определения говорящих на 21 языке, модель также показала лучший результат, немного обойдя специализированную разработку Nvidia — Nemotron 3 Diarization.

Вместе с моделью Nvidia опубликовала набор данных Granary v2 объёмом около 844 тысяч часов аудиозаписей на 48 языках — для сравнения, предыдущая версия включала порядка 643 тысяч часов речи на 25 языках. Записи представлены в разных форматах расшифровки, включая дословный вариант с сохранением слов-паразитов и вариант с числами, записанными словами. Дополнительно компания предоставила инструменты для подготовки собственных наборов данных под специфические задачи: при дообучении на медицинских записях с участием индийских врачей и студентов частота ошибок снизилась с 30,8 до 11,8%, а на новых, незнакомых модели голосах — с 22,44 до 12,17%.

Модель и набор данных доступны на платформе Hugging Face вместе с демоверсией и руководством по дообучению, включая инструмент, позволяющий поручить настройку ИИ-ассистенту для программирования. Nvidia отмечает, что возможности модели отличаются в зависимости от языка, а сама система рассчитана на обработку уже готовых записей, а не потокового аудио в реальном времени, поэтому имена и моменты смены говорящих рекомендуется дополнительно проверять.

Почему это важно

Открытые ИИ-модели для распознавания и перевода речи снижают порог входа для разработчиков, которые хотят встроить расшифровку аудио в свои продукты — от сервисов транскрибации совещаний до медицинских и юридических приложений. То, что Nemotron 3.5 Transcribe можно запускать на одной видеокарте и дообучать под узкие задачи вроде медицинской терминологии, расширяет круг компаний и исследователей, способных использовать технологию без доступа к дорогой инфраструктуре.

Поддержка русского языка и высокая точность определения говорящих в многоголосых записях особенно актуальны для задач, связанных с расшифровкой встреч, звонков и интервью на русском языке, где качество разделения реплик между участниками часто остаётся слабым местом существующих решений.