Яндекс Казахстан открывает доступ к контенту со всего мира — нейросети переведут видео с русского и английского на казахский

Казахстанские интернет-пользователи смогут смотреть видео на казахском языке, даже если изначально ролик был записан на русском или английском. Функция автоперевода видео с помощью нейросетей доступна в Яндекс Браузере для мобильных устройств и компьютеров, а также в приложении Яндекс с Алисой для Android и iOS. Лекции и документальные видео, рецепты и пошаговые инструкции на русском и английском — всё это теперь можно смотреть на казахском языке.

Перевести можно ролики, размещённые на YouTube, VK, Vimeo, Twitch и Coursera. Для этого нужно установить или обновить до последней версии Браузер или приложение Яндекса, открыть в них нужное видео и нажать на кнопку «Перевести видео». Закадровый двухголосый перевод запустится через несколько секунд.

Для создания перевода нейросети анализируют звуковую дорожку ролика, отделяют голоса спикеров от остальных звуков (например, музыки и шума), распознают произнесённые слова и перекладывают их в текст. Затем нейросети расставляют в нём смысловые акценты и переводят всё на казахский с учётом пола спикеров. Это нужно для того, чтобы верно выбрать голос и учесть грамматические особенности.

Далее переведённый текст отправляется на озвучку. Кроме того, его нужно совместить с видеорядом, поскольку длина слов в казахском, английском и русском языках отличается. Нейросети сокращают паузы между словами или ускоряют темп речи там, где это необходимо.