SpaceXAI представила Grok Voice Transcribe 2.0 с удвоенной точностью распознавания речи

SpaceXAI представила обновленную модель Grok Voice Transcribe 2.0, предназначенную для преобразования речи в текст. Разработчики утверждают, что новая версия снижает количество ошибок в сравнении с предыдущей моделью вдвое, при этом стоимость остается прежней. Grok Voice Transcribe 2.0 ориентирована на сложные ситуации, такие как телефонные разговоры с фоновыми шумами, одновременная речь нескольких собеседников, а также распознавание различных акцентов и диалектов.

Модель основана на аудиомодели Grok Voice и ежедневно обрабатывает множество звонков в службы поддержки, расшифровывает видеоматериалы и используется в голосовом ассистенте автомобилей Tesla. Для обучения модели использовались записи на разных языках с шумами, после чего она была дополнительно оптимизирована.

По данным публичного рейтинга Artificial Analysis, Grok Voice Transcribe 2.0 заняла первое место среди 32 потоковых моделей по показателю AA-WER Streaming. Внутренние тесты компании показали, что новая версия превосходит предыдущую в четырех различных категориях, включая телефонные разговоры и распознавание коротких фраз на 19 языках.

Одним из ключевых улучшений является многоязычное распознавание, которое позволяет модели автоматически определять язык и продолжать расшифровку, даже если язык меняется в процессе разговора. В тестах на наборе коротких фраз доля ошибок при распознавании слов снизилась с 20,6% до 6,8%.

Модель доступна через Speech to Text API, который поддерживает как пакетный, так и потоковый режимы. В потоковом режиме используется аудиокодек Opus, что позволяет существенно снизить объем передаваемых данных. Пакетная расшифровка стоит $0,10 за час, а потоковая - $0,20 за час.