12 августа 2026 года Google DeepMind представила модель SL2T (sign-language-to-text), которая переводит жестовый язык в текст. Это первая система такого рода, встроенная в потребительские продукты: функция sign-to-text уже доступна в Gboard и Live Transcribe на смартфонах Pixel 11. На старте поддерживается перевод с американского жестового языка (ASL) на английский, в дальнейшем обещают добавить другие языки и устройства.
Жестовые языки — это самостоятельные естественные языки со своей грамматикой и лексикой, а не просто «английский на руках». Они используют одновременные движения рук, корпуса, головы и мимику. Поэтому перевод жестового языка в текст — это не последовательное распознавание знаков, а полноценный машинный перевод, требующий сложного компьютерного зрения для отслеживания движений в реальном времени. Именно из-за этих сложностей прогресс в этой области был медленным, а ранние попытки, например перчатки для распознавания жестов, оказались тупиковыми.
| Original English | SL2T's ASL → English output |
|---|---|
| The Cook Islands do not have any cities but are composed of 15 different islands. The main ones are Rarotonga and Aitutaki. | The Cook Islands have no cities and consist of 15 islands. The two main islands are Rarotonga and Aitutaki. |
| The games kicked off at 10:00am with great weather and apart from mid morning drizzle which quickly cleared up, it was a perfect day for 7's rugby. | Games start at 10 a.m. in great weather. There is a light rain in the morning that clears up. It's a perfect day for 7v7 rugby. |
| In some federal countries, such as the United States and Canada, income tax is levied both at the federal level and at the local level, so the rates and brackets can vary from region to region. | In some federal countries, like the US and Canada, income tax is collected at both the federal and local levels. This means that the rates and brackets vary depending on your region. |
| This fully feathered, warm blooded bird of prey was believed to have walked upright on two legs with claws like the Velociraptor. | This creature is warm-blooded, eats grey, and is covered in feathers. It is believed that it walks on two legs like a velociraptor. |
| Maybe one day, your great grandchildren will be standing atop an alien world wondering about their ancient ancestors? | Maybe one day your great-grandchildren will stand on an alien world and reflect on their ancestors. |
SL2T решает обе задачи. Модель обучена на более чем 100 000 часах видеоданных по более чем 50 жестовым языкам, при этом около четверти данных приходится на ASL. Совместное обучение на разных языках и диалектах позволяет модели выявлять общие структуры, что повышает качество по сравнению с одноязычными моделями. Для защиты приватности SL2T не обрабатывает видеопоток целиком: встроенный в устройство модуль MediaPipe Holistic отслеживает координаты ключевых точек тела, и только эти геометрические данные отправляются на сервер для перевода. Исходное видео сразу удаляется.
Модель работает через отслеживание позы, отправляя только координаты, а не видео, что защищает приватность.
Ключевое техническое решение — отказ от промежуточных аннотаций, так называемых глоссов, которые использовались в предыдущих работах. Глоссы не передают нелинейные аспекты жестовых языков, такие как немануальные маркеры и пространственные конструкции. SL2T переводит последовательность координат напрямую в текст, что снимает ограничения на словарь и позволяет качеству расти вместе с объёмом данных. По ключевым бенчмаркам, включая FLEURS-ASL, SL2T показывает лучшие результаты среди существующих моделей перевода жестового языка.
Для пользователей это означает, что глухие и слабослышащие люди могут использовать телефон так же, как слышащие используют голосовой ввод: подписывать запросы в поиске, составлять сообщения или документы, обращаться к ассистенту Gemini. В Live Transcribe можно отвечать жестами в диалоге, не печатая текст. По отзывам тестировщиков, подписывать на ASL быстрее и естественнее, чем печатать на английском. Это первый шаг к тому, чтобы технологии обработки жестовых языков стали массовыми, хотя пока поддерживается только ASL, и для других жестовых языков потребуется время.
