Мы продолжаем убирать языковые барьеры — и запускаем автоматический закадровый перевод видео ещё с трёх языков: немецкого, французского и испанского. Переводить с английского, само собой, по-прежнему можно.
Почему именно эти языки?
Немецкий, французский и испанский довольно востребованы у пользователей. Кроме того, эти языки относятся к той же языковой семье, что и английский. У них практически одинаковые алфавиты и есть сходства в лексике и грамматике, поэтому освоить их можно быстрее, чем, скажем, корейский или японский, которые тоже очень популярны. Впрочем, мы не собираемся останавливаться на достигнутом и будем постепенно расширять список языков.
Чем больше языков поддерживает технология, тем больше контента вам доступно. Например, теперь можно послушать рассказ экскурсовода про Пергамский музей в Берлине, узнать, как готовить роскон — традиционный испанский праздничный пирог, или посмотреть документальный фильм про историю мореплавания, в котором снялись легендарные путешественники Ален Бомбар и Жак-Ив Кусто.
Мы не только добавили новые языки, но и доработали саму технологию. Во-первых, она теперь точнее совмещает фразы на языке оригинала и на языке перевода. За счёт этого перевод получается более естественным, без натянутых пауз или фраз, сказанных на манер скороговорки. Во-вторых, видео теперь переводятся быстрее — и мы вам сразу сообщаем, сколько времени это займёт.
Видео переводятся не моментально, потому что перевод — достаточно трудоёмкий процесс. Он состоит из трёх основных этапов. Сначала технология распознавания речи преобразует сказанное в кадре в текст. Затем технология машинного перевода переводит его на русский язык, а технология синтеза речи озвучивает результат. В основе этих технологий лежат сложные нейросетевые модели. Для их обучения Яндекс использует сверхмощные вычислительные системы — суперкомпьютеры.
Между основными этапами есть промежуточные. Например, текст перед отправкой на перевод нужно разбить на смысловые сегменты, а озвучку надо наложить на видео так, чтобы фразы в оригинале и в переводе совпадали друг с другом по длине.
Какие видео можно переводить?
Переводить можно видео на YouTube, Vimeo, Twitch и других популярных платформах. Продолжительность видео не должна превышать 4 часов. Кроме того, ролик должен быть в общем доступе. Именно по этой причине мы не можем снабжать переводом видео с Coursera, Udemy и других ресурсов, где для просмотра требуется ввести логин и пароль.
Автоматический закадровый перевод работает в Яндекс.Браузере для Windows, macOS, Linux и Android, а также в приложении Яндекс для iOS и Android. Чтобы запустить перевод, нужно нажать на кнопку с логотипом Яндекс.Переводчика. Когда всё будет готово, вам придёт пуш-уведомление. На смартфонах жать кнопку необязательно — достаточно сказать: «Алиса, включи перевод видео».