Google презентовала ИИ SL2T для перевода языка жестов в текст

Подразделение Google DeepMind представило ИИ-модель SL2T, ориентированную на 70 миллионов человек, использующих язык жестов для общения. Эта новинка предназначена для преобразования жестов в текст и будет доступна на смартфонах Pixel 11 через приложения Gboard и Live Transcribe.

На первом этапе модель SL2T поддерживает только американский язык жестов и его перевод на английский. ИИ значительно улучшил свою способность обрабатывать человеческую речь, позволяя пользователям вводить текст с помощью диктовки на различных устройствах. Однако до запуска этой модели люди, использующие один из более чем 200 языков жестов, не имели аналогичных возможностей.

С помощью модели SL2T пользователи с нарушениями слуха смогут взаимодействовать со своими смартфонами, используя привычный для них язык жестов без необходимости ручного ввода текста. Это позволит выполнять различные задачи, такие как отправка сообщений и составление электронных писем, а также взаимодействие с ИИ-помощником Gemini. Функция перевода языка жестов в реальном времени также доступна в Google Live Transcribe, что позволяет использовать её во время видеозвонков.

Google обучила модель SL2T на более чем 100 тысячах часов данных по 50 жестовым языкам, из которых около 25% составляют примеры американского языка жестов. Хотя на данный момент поддерживается только американский жестовый язык, компания проводила обучение на других языках, чтобы выявить общие закономерности. Для обеспечения конфиденциальности Google использует встроенную модель компьютерного зрения MediaPipe Holistic, которая отслеживает геометрию движений человека, отправляя на сервер лишь координаты, а не видеозаписи.

Модель выполняет преобразование жестов в текст непосредственно, что позволяет более эффективно интерпретировать невербальные выражения и грамматические структуры, характерные для американского языка жестов. Также предусмотрены функции для снижения задержек и поддержки пользователей с различными предпочтениями. В будущем Google планирует расширить поддержку других языков жестов и разработать модели, которые будут генерировать контент на этих языках.