Синтез речи для 29 языков России и СНГ: опубликованы две открытые модели

Пробел в синтезе речи для языков Кавказа и Дагестана закрыт: две открытые модели суммарно охватывают 29 языков России и СНГ. Тюркская модель поддерживает 14 языков и 33 голоса, кавказская — 15 языков и 31 голос. В кавказскую модель вошли абхазо-адыгские и нахско-дагестанские языки: аварский, чеченский, ингушский, лезгинский, даргинский и другие. В тюркскую — татарский, чувашский, якутский, тувинский, крымскотатарский, узбекский и другие. В неё также добавили таджикский (иранская группа) и калмыцкий (монгольская группа), потому что данных для отдельных моделей недостаточно.

Релиз продолжает предыдущую работу тех же авторов: их прошлая модель охватывала 20 популярных языков России и СНГ, но не включала значительную группу языков Кавказа и Дагестана. Новые модели используют общую архитектуру, поддерживают SSML, получили те же оптимизации, что и прошлая публичная модель, плюс дополнительные улучшения качества. Управлять ударением напрямую нельзя: модели расставляют его автоматически. Для тюркских языков это вряд ли критично, для кавказских — пользователям предстоит оценить самостоятельно.

Авторы выбирали языки по двум критериям: наличие данных и фонетическая близость родственных языков, чтобы одна модель обслуживала несколько языков. В качестве алфавита взяли конкатенацию официальных кириллических алфавитов всех языков — приём уже использовался в прошлый раз. Авторы предупреждают, что в текстах на этих языках часто встречаются латинские символы, заменяющие кириллицу, и это мешает работе синтеза. Запуск моделей стандартный: pip-пакет, torch.hub или прямой вызов из репозитория. В опубликованном ноутбуке демку можно запустить прямо в браузере.

Для носителей малых языков такие модели важны практической пользой: их можно встраивать в приложения, голосовых помощников и образовательные проекты, где раньше приходилось обходиться чужими языками.