Amazon Prime Video начал использовать ИИ для синхронизации движений губ актёров с дублированной аудиодорожкой. Функция, анонсированная в конце ноября, пока доступна только для английского дубляжа немецкого сериала Maxton Hall, но компания планирует расширить её на другие проекты. Это часть более широкой тенденции в стриминговых сервисах и соцсетях, где ИИ всё активнее применяется для локализации контента.
Технология, по словам Prime Video, сочетает ИИ и визуальные эффекты, чтобы подогнать артикуляцию актёров под переведённую речь. Это позволяет зрителям смотреть контент на родном языке без ощущения, что голос не совпадает с движениями губ. Ранее аналогичные функции запустили Meta и YouTube: их ИИ-автодубляж для создателей контента включает опцию «липсинк», которая делает так, будто автор говорит на языке зрителя.
Для Prime Video это не первый эксперимент с ИИ-дубляжом. В прошлом году стриминг тестировал «ИИ-ассистированный» дубляж на английском и испанском языках на 12 фильмах и шоу, включая анимационный фильм El Cid: La Leyenda, сериал Mi Mamá Lora и драму Long Lost. Новая функция липсинка отличается тем, что она автоматически корректирует изображение, а не только заменяет голосовую дорожку.
Функция доступна для английского дубляжа сериала Maxton Hall, включая сезоны 1 и 2, и появится в третьем сезоне 9 декабря.
Сейчас синхронизация губ доступна для первого и второго сезонов Maxton Hall для подписчиков по всему миру. Третий сезон сериала, который выйдет 9 декабря, также будет включать эту функцию. Maxton Hall — молодёжная драма о студентах элитной школы, ставшая одним из хитов Prime Video в Европе.
Индустрия движется к тому, что ИИ-дубляж станет стандартом для международной дистрибуции. YouTube уже тестирует автоматический дубляж для видео, а Meta внедряет подобные инструменты в свои соцсети. Для стриминговых платформ это способ снизить затраты на традиционный дубляж и ускорить выпуск контента на разных языках. Однако остаются вопросы качества: насколько точно ИИ передаёт эмоции и интонации оригинала, и не потеряет ли зритель часть актёрской игры.
Prime Video не раскрывает технические детали своей технологии, но отмечает, что она работает в сочетании с визуальными эффектами. Это значит, что для каждого кадра может потребоваться сложная обработка, чтобы изменения выглядели естественно. Пока функция доступна только для английского дубляжа, но в будущем, вероятно, появится поддержка других языков.
Для зрителей это означает, что барьеры языка постепенно стираются: можно смотреть сериалы и фильмы на любом языке, не отвлекаясь на несовпадение губ и речи. Для индустрии это вызов традиционным студиям дубляжа, которые могут потерять часть заказов. В то же время, ИИ-дубляж может сделать доступными для международной аудитории те проекты, которые раньше не окупали затраты на локализацию.
