Новые языки закадрового перевода

Мы продолжаем убирать языковые барьеры — и запускаем автоматический закадровый перевод видео ещё с трёх языков: немецкого, французского и испанского. Переводить с английского, само собой, по-прежнему можно.

Почему именно эти языки?

Немецкий, французский и испанский довольно востребованы у пользователей. Кроме того, эти языки относятся к той же языковой семье, что и английский. У них практически одинаковые алфавиты и есть сходства в лексике и грамматике, поэтому освоить их можно быстрее, чем, скажем, корейский или японский, которые тоже очень популярны. Впрочем, мы не собираемся останавливаться на достигнутом и будем постепенно расширять список языков.

Чем больше языков поддерживает технология, тем больше контента вам доступно. Например, теперь можно послушать рассказ экскурсовода про Пергамский музей в Берлине, узнать, как готовить роскон — традиционный испанский праздничный пирог, или посмотреть документальный фильм про историю мореплавания, в котором снялись легендарные путешественники Ален Бомбар и Жак-Ив Кусто.

Мы не только добавили новые языки, но и доработали саму технологию. Во-первых, она теперь точнее совмещает фразы на языке оригинала и на языке перевода. За счёт этого перевод получается более естественным, без натянутых пауз или фраз, сказанных на манер скороговорки. Во-вторых, видео теперь переводятся быстрее — и мы вам сразу сообщаем, сколько времени это займёт.

Видео переводятся не моментально, потому что перевод — достаточно трудоёмкий процесс. Он состоит из трёх основных этапов. Сначала технология распознавания речи преобразует сказанное в кадре в текст. Затем технология машинного перевода переводит его на русский язык, а технология синтеза речи озвучивает результат. В основе этих технологий лежат сложные нейросетевые модели. Для их обучения Яндекс использует сверхмощные вычислительные системы — суперкомпьютеры.

Между основными этапами есть промежуточные. Например, текст перед отправкой на перевод нужно разбить на смысловые сегменты, а озвучку надо наложить на видео так, чтобы фразы в оригинале и в переводе совпадали друг с другом по длине.

Какие видео можно переводить?

Переводить можно видео на YouTube, Vimeo, Twitch и других популярных платформах. Продолжительность видео не должна превышать 4 часов. Кроме того, ролик должен быть в общем доступе. Именно по этой причине мы не можем снабжать переводом видео с Coursera, Udemy и других ресурсов, где для просмотра требуется ввести логин и пароль. 

Автоматический закадровый перевод работает в Яндекс.Браузере для Windows, macOS, Linux и Android, а также в приложении Яндекс для iOS и Android. Чтобы запустить перевод, нужно нажать на кнопку с логотипом Яндекс.Переводчика. Когда всё будет готово, вам придёт пуш-уведомление. На смартфонах жать кнопку необязательно — достаточно сказать: «Алиса, включи перевод видео».

36 комментариев
Здравствуйте. Хотелось бы точнее понять причину, почему вы не можете переводить видео, для доступа к которому требуется ввод логина и пароля, если пользователь из вводит? При таком подходе доступ появляется и сервиса. Это юридическая проблема? Есть ли понятные перспективы ее решения?  Для меня, как и многих пользователей платформ с обучающим контентом, это важная тема и ваш функционал очень бы упростил процесс.
Это очень круто! Скоро ли ждать десктопное приложение? 
Ну или как вариант, возможность перевода видео загруженного на Яндекс.Диск
WLADIWORLD,
А зачем это Яндексу? Яндекс продвигает свой "Я.Браузер". А если Яндекс и выпустит отдельную программу, то она наверное будет платной. Вот для продвижения "Я.Диска" возможно, но думаю это будет работать для какой-нибудь премиум подписки 🙂
Здравствуйте, может быть тут быстрее ответ будет быстрее  получить. 
Смотрите - почтовый ящик. Туды падает почта. В настройках ящика пересылать на конкретный адрес по смтп. Всё было  клубничный аромат, до вчера. Сервак, на который пересылают, настроен на задержку smtp greeting паузу 25 секунд. До вчера для Яндекса это небыло проблемой. Сегодня понижение до 15 с - это "from 5.45.198.240, client closed connection before SMTP greeting". В ТП мне отказываются дать максимальное время на приветствие.
Евгений Гордеев
30 ноября 2021, 19:04
Это, здорово! Спасибо команде Яндекса, что делаете доступными знания и факты из разных уголков мира!
Обратный перевод русский -> английский планируется?
Почему не работает перевод? https://www.youtube.com/watch?v=6xK8eKkc7q0
Света Чистякова
Сотрудник Яндекса30 ноября 2021, 19:46
У меня сработало. Расскажите, пожалуйста, что именно не так (кнопку не видите, ошибка выдаётся и т.д.) и в чём пытаетесь переводить (Браузер, приложение Яндекс).
Света Чистякова,
Сообщение
Не удалось перевести видео. Возвращайтесь попозже - нейросеть скоро научится
Яндекс браузер  на Mac
Обновлено 30 ноября 2021, 19:55
В приложении Яндекс на iphone вообще не предлагается перевод.
У меня вот с этим то же самое
https://m.youtube.com/watch?v=wXMO0bhPhCw&t=7s
Света Чистякова
Сотрудник Яндекса1 декабря 2021, 14:18
chief.rozonov,
здравствуйте, проверьте, пожалуйста — у вас стоит последняя версия приложения? Если нет, надо обновить.
Обновлено 1 декабря 2021, 14:19
Света Чистякова,
Только что переустановил. Перевод так и не предлагается. Хотя в настройках он включен. ios 12.5.5.
Приложение версии 21.11.4 сборка 591


На какой-то более ранней версии приложения перевод был.
toni_avdyukov@mail.ru
18 июля, 16:03
Света Чистякова,
Здравствуйте, проблема та же самая : Не удалось перевести видео. Возвращайтесь попозже - нейросеть скоро научится.  Такая проблема возникла  при переводе только одного видео на английском. Можно узнать, как быстро исправляются такие проблемы?

Когда перевод станет доступен на планшетах?
Света Чистякова
Сотрудник Яндекса1 декабря 2021, 14:24
quark88,
на планшетах на Android уже работает. На айпадах будет попозже.
Света Чистякова,
Понятно. Спасибо
не работает перевод на долгих роликах. К примеру https://www.youtube.com/watch?v=nCbpc5yCyFg&t=5s
Света Чистякова
Сотрудник Яндекса1 декабря 2021, 17:25
aklemator,
на двухчасовых должен работать. Попробуйте, пожалуйста, ещё раз через какое-то время
Почему не работает перевод на этом видео? При нажатии на перевод, ничего не происходит. Спиннер бесконечно крутится.
https://www.youtube.com/watch?v=_6LttDYRH14
Вроде как под требование < 4 часов подходит.
chief.rozonov,
У меня тоже не переводит в браузере на Андроиде/Десктопе! Хотя хронометраж меньше четырёх часов 🤷‍♂
Обновлено 5 декабря 2021, 02:24
Максим Мельников
5 декабря 2021, 15:44
Так как моё мнение и мнение моей одноклассницы, которая работает в Apple совпадает (по результатам нашего обсуждения новой фичи Яндекс Браузера), то я пишу вам сюда вопрос - ваш браузер готов стать реальной бомбой для пользователей, в случае перевода видео не на русский по умолчанию, а с английского на испанский, с испанского на французский с русского на английский/испанский/французский и т.д.?
Захар Кокорин
22 декабря 2021, 13:59
Планируется ли добавление этой функции на Яндекс.Модуль или Яндекс.Станцию Макс?
Обновлено 22 декабря 2021, 14:00
Сделайте перевод с Японского языка! Постарайтесь! Спасибо за вашу тяжелую работу! :-)
Я очень рада, что появился перевод видео хоть и не со всех языков.Хотелось бы чтобы добавили бразильский, мексиканский, португальский.
Денис Иванов
1 апреля, 15:41
leppi,
со временем имхо добавят. Это все не быстро.
Денис Иванов
1 апреля, 15:40
Женский голос неприятный. Из-за него не хочется включать перевод. Голос раздражает.
Нам, обнаглевшим пользователям, хотелось бы иметь выбор голоса в настройках браузера. 
Японский язык будит полезен анимешникам.Будут смотреть серии в момент выхода, не дожидаясь любительской озвучки.
vlada.trubitsina
3 мая, 22:53
Жду ещё и итальянский ☺️
скажите, пожалуйста, какой максимальной длительности видео ваш сервис переводит?
здраствуйте ,уже неделя не работает эта функция на андроиде 
564529 Торопова
13 августа, 00:25
Здравствуйте! Вот этот ролик не смог перевести, пишет "Не удалось перевести видео. Возвращайтесь попозже - нейросеть скоро научится". Хотя здесь немецкий язык. Ссылка на видео -  https://www.youtube.com/watch?v=-ZnMh4GvZqE
Обновлено 13 августа, 00:26
Было бы здорово иметь возможность перевода видео со своей закрытой области Яндекс Диска.
А португальский когда будет ? интересуют переводы с бразильских ютуб каналов