Будущее близко: стираем языковые границы

С каждым днём в интернете становится всё больше интересного и полезного видео: от развлекательных шоу до образовательных курсов. При этом большая часть материалов выходит на иностранных языках и недоступна пользователям из России из-за языкового барьера. Мы близки к тому, чтобы снять этот барьер, и представляем вам первую версию машинного перевода видео.

Перевод доступен в Яндекс.Браузере. Смотрите сами — вот как выглядят оригинальное и переведённое видео:

Оригинальное видео

Видео, переведённое Яндекс.Браузером. Мы записали скринкаст, чтобы посмотреть можно было в любом браузере

Перевод видео — это большая и сложная задача, для решения которой объединили усилия разные команды. Мы начали с перевода видео на английском языке. Для этого задействовали технологии Яндекс.Переводчика, речевые технологии и биометрию — она помогает определить пол говорящего, что важно и для перевода, и для синтеза речи. Женщин переводит женский голос, мужчин — мужской.

Переведённые реплики нужно наложить на видео. Это тоже не так-то просто — длина одной и той же фразы, произнесённой на разных языках, может отличаться. Например, в русском языке фразы обычно длиннее, чем в английском. Поэтому мы где-то ускоряем, а где-то замедляем речь или делаем паузы. В итоге получается самый настоящий закадровый перевод.

Яндекс.Браузер уже давно умеет переводить тексты. Недавно мы добавили в него перевод картинок, а сегодня — и перевод видео. Это последняя часть мозаики: теперь пользователи Браузера смогут переводить разные типы контента и свободно чувствовать себя на любых сайтах.

Разработка машинного перевода видео ещё продолжается. Каким он будет, во многом зависит от ваших отзывов и предложений. Чтобы вы могли оценить качество перевода, мы отобрали интересные англоязычные ролики и перевели их с помощью нашей технологии. Перевод доступен в Яндекс.Браузере для Windows и macOS. Открывайте Браузер, смотрите видео и делитесь впечатлениями.

77 комментариев
Саша Белоусов
16 июля 2021, 11:22
Версия
21.6.3.30 beta
Кнопки нет. 🤔
Света Чистякова
Сотрудник Яндекса16 июля 2021, 11:59
Здравствуйте. В бете должно работать, попробуйте перезапустить.
Саша Белоусов
16 июля 2021, 12:12
Света Чистякова,
Перезапустил, нет кнопки.
Света Чистякова
Сотрудник Яндекса16 июля 2021, 12:35
Так, тогда проверьте, пожалуйста, настройки Браузера. Найдите там пункт «Показывать на видео кнопку перевода» — стоит галка?
Саша Белоусов
16 июля 2021, 14:02
Света Чистякова,
Галка стоит, кнопки нет. Видео пробую в Ютубе.
Света Чистякова,
В видео из подборки после перезагрузки браузера кнопка появилась. Но другие видео на ютубе пока не предлагает переводить. По каким параметрам идет определение языка в видео? Или просто вы сначала проведете индексацию всех видео и нужно ждать? И будет ли работать перевод в стримах? 
Света Чистякова
Сотрудник Яндекса16 июля 2021, 14:15
SiriusVirt,
мы сделали прототип, чтобы показать, как работает видеоперевод. Пока переводятся только видео из демонстрационной подборки. Над технологией продолжаем работать, так что дальше будет больше. О всех последующих шагах будем рассказывать, обещаем.
Света Чистякова
Сотрудник Яндекса16 июля 2021, 14:16
Саша Белоусов,
вы открываете видео из нашей подборки? Пока кнопка есть только у них.
Саша Белоусов
16 июля 2021, 14:21
Света Чистякова,
Теперь понял, спасибо. Думал везде уже работает.
Обновлено 16 июля 2021, 14:22
Света Чистякова,
а где взять эту бету? ссылки нигде нету, поиском не ищется
Это выглядит слишком круто, что бы быть правдой, я не верю, мне кажется что-то докрутили 
Отличная технология! Качество автоматического перевода отстаёт, к сожалению
Сахнов Игорь
16 июля 2021, 11:44
Спасибо Вам большое за вашу работу!
Антон Романов
16 июля 2021, 11:58
Спасибо за такую крутую технологию. Подскажите, а возможно ли, что ее внедрите и на мобильной версии я.браузера?
Валерий Милкивеев
16 июля 2021, 12:27
фантастика!!! просто фантастика! Ребята вы понимаете что реализуете то что описывалось в фильме Москва-Кассиопея?! )) вы же воссоздали тот приборчик как у героев фильма! )) 
жаль нельзя хотя бы 1 раз попробовать свой ролик подсунуть )) у меня не бета. 
Я думаю, это будет просто фантастическое направление в технологии перевода. Еще ближе станут познавательные ролики которые были ранее не доступны из-за языкового барьера.
Виталий Арцыбашев
16 июля 2021, 13:34
О-фи-геть !!!! 

Теперь  у яндекса появилась действительно крутая убер фича в качестве преимущества перед другими компаниями.
Обновлено 16 июля 2021, 14:07
Леша Возвышаев
16 июля 2021, 14:12
Спасибо огромное! Google годами не может добавить простейшие, казалось бы обязательные функции в свои продукты, пока Яндекс делает такое!
Захар Кокорин
16 июля 2021, 14:29
А когда в Яндекс.Браузере для Google Android на планшетах появится режим Инкогнито? На смартфонах уже 3 года есть, а на планшетах до сих пор нет.
Включите в Linux версии тоже, пожалуйста.
stepan@mmorpg.su
16 июля 2021, 17:20
Пока что это распиаренная фишка и не более того. Я поставил ради этой фишки яндекс.браузер даже. А оказалась что перевод работает только в подборке Яндекса на ютубе. А в других роликах ничего нет. Есть подозрение, что под эту технологию, чтобы "пошуметь", либо отобрали нужные видео, чтобы выглядело красиво, либо просто подкрутили и наложили звук заранее каким-то хитрым образом. Увы, пока что фишка крутая только на бумаге.
Екатерина Пульман
16 июля 2021, 20:51
Да
Можно только гордиться Яндексом!
Очень круто! когда релиз на полный функционал с английским языком? 
Капылов Данил
17 июля 2021, 06:48
Очень круто!!! Первое, что пришло в голову, это возможность уменьшить громкость английской речи с сохранением звуковых эффектов и окружения. Чувствую, что скоро с использованием SpeechKit Brand Voice мы еще и голос автора видео на русском услышим. 
Капылов Данил,
насчет идеи с голосом было бы круто, но думаю ждать такой качественной озвучки мы еще долго будем. Но если они додумаются как это сделать раньше чем весь остальной мир то это будет бомба в плане новых технологий
Вы, как обычно, поражаете!! Спасибо вам за все!! Яндекс форэва!!))
Перевод картинок был удивительным, а главное очень полезным нововведением. Пожалуйста, добавьте как можно скорее этот интерактивный перевод видео (хотя бы возможность включить его и потестировать на произвольных видео, или отправить запрос на перевод отдельных видео, если в реальном времени пока не получается). Есть много уроков на буржуйском языке, которые хотелось бы освоить. ))
Виталий Гришин
17 июля 2021, 20:33
Штош, ждём реализацию под linux
Это очень круто! Спасибо разработчикам за такую технологию!
Хочется пожелать разработчикам всяческих  успехов :)
Кирилл Третьяков
18 июля 2021, 10:09
Выглядит действительно круто. Небольшая идейка вам. Пустить данную технологию в более глубокий оборот, наушники, которые будут переводить прямую речь с человеком из другой культуры. Тогда вы сможете разрушить языковой барьер.
Видеохостинг с этой технологией убьёт YouTube! Но после презентации, кто быстрее, богаче, умнее! Когда нет туч и облаков на небе бьёт молния с неотразимой силой!
А фильмы на английском тоже также будут дублица?
Радует! А как видео переводит в сфере научной-инженерном языке ? Это дала бы скачок науки.
Vochatrak-az-ezm
19 июля 2021, 22:37
Когда для Linux?
Андрей Р.
20 июля 2021, 02:25
Молодцы👏
Сергей Тюленев
21 июля 2021, 11:08
Женщин переводит женский голос, мужчин — мужской. 
Появляется желтая рамка и кнопка Включить. Работает. :)
Почему комменты старые наверху? :) Наоборот же должно быть.
Обновлено 21 июля 2021, 11:16
Технология больше похожа на магию
Это не доступно для всех видео?
Просто у меня работает только видео на которые вы дали ссылку, в других английских видео кнопки нет.
Света Чистякова
Сотрудник Яндекса21 июля 2021, 19:41
Здравствуйте. Пока переводить можно только ролики из этого плейлиста, потому что технология — ещё не финальный продукт, а прототип. Мы сделали прототип, чтобы, во-первых, показать, как всё работает, а во-вторых, собрать отзывы: удобно ли пользоваться, что люди предпочитают переводить в первую очередь и так далее. 
Это очень круто, горжусь яндексом!
Денис Девисилов
23 июля 2021, 16:22
Я не понял, а почему на открытии Олимпиады, раньше все команды шли по латинском алфавиту, а теперь за R например идёт B. У них, что все там под короновирусом?!!! 
Плохо, что Яндекс не указал в первоначальной новости, которая разошлась по СМИ, что пока система тестируется, что пока можно задействовать систему только в подборке из всего 12-ти видео (сделанной администрацией Яндекса!). Просто все мигом ринулись качать Яндекс-браузер и... с удивлением обнаруживать обломчик - что система нихрена не работает)) И только самые настойчивые выяснили, что функция пока что ограничена первыми 12-ю видео, выбранными самим Яндексом)) В связи с этим позволю себе несколько замечаний и сразу же вопросов к команде Яндекса.
1. Не является ли все ЭТО маркетинговым трюком с целью быстро (пусть и с обманом) втюхать паре новых миллионов юзеров Яндекс-браузер, которые ранее просто были не лояльны ему? Есть ли четкое понимание внутри команды, что если вскоре Яндекс не даст обещанный результат в расширении видео, с которым данная функция работает (до тысяч или сотен тысяч единиц, а лучше вообще на любое англоязычное видео, для начала хотя бы на ютубе, как и заявлено), то Яндекс серьезно ударит сам по своей же репутации? И в следующий раз добиваться лояльности вновь прибывших юзеров ему будет уже на порядок сложнее.
2. В связи с этим вопрос: как быстро анонсированная функция распространится на все англоязычные видео хотя бы на ютубе? Через неделю, через месяц, через год или, быть может, работы команде еще лет на 10-20-30? И нам лучше ждать той же функции скорее от Хрома или Оперы, а Яндекс-браузер можно пока снова сносить - чтобы не занимал место?
3. Есть ли у команды Яндекса понимание, что значительную часть видео народ смотрит не только на ютубе и не только через браузер? Очень часто люди покупают (или качают где-то) уроки на английском (и других языках). Или, скажем, смотрят художественное кино. И это все имеется у них в виде простых видео-файлов. Гораздо удобнее (чтобы не заставлять народ танцевать с бубном) было бы, если бы Яндекс сделал какой-то отдельный программный продукт, который будет озвучивать автоматом перевод из любой активной в данный момент программы, где воспроизводится аудио и видео, а не только через Яндекс-браузер. Пусть и данный продукт будет называться Яндекс-переводчик (где уже будет рекламироваться сам браузер). Чтобы можно было пользоваться новой функцией не только на компьютере, но и на мобильных устройствах, на смарт-ТВ. Вот тогда это будет уже совсем интересно, тогда за такой продукт люди во всем мире уже действительно готовы будут даже платить, а если то же самое Яндекс сделает еще и для многих языков (и если это будут еще и разумные цены), то Яндекс заработает десятки и сотни миллиардов. Если за это время то же самое настолько же качественно, как мы это видим на этой презентации, не сделают остальные. А может даже и надолго закрепится в этой нише во всем мире - если не будет допускать бизнес-ляпов. Например, можно было бы сделать этот сервис действительно очень дешевым, чтобы конкурентам было невыгодно в эту нишу даже лезть (а может и вообще бесплатным и зарабатывать на чем-то другом в рамках сервиса, а не на прямой подписке).
Если же этот сервис планируется сделать доступным только через браузер, то, боюсь, это будет крайне проигрышный вариант. За последние несколько лет, как я в последний раз юзал ваш браузер, он, конечно, стал намного лучше. Но все равно, чтобы я на него с концами перешел, должно пройти много времени и на это должно повлиять еще много других факторов. Например, у нас в Украине, где многие сервисы Яндекса не доступны без vpn, хотелось бы, чтобы в вашем браузере уже был встроен какой-то vpn-движок хотя бы для сервисов самого Яндекса(!), как это есть, например, у той же Оперы. Не уверен, в курсе ли в головном офисе Яндекса, что многие сервисы самого Яндекса доступны с территории Украины благодаря встроенному vpn через Оперу, но они же не работают через сам Яндекс-браузер?))) Например, ваш встроенный в броузере переводчик сайта вообще не работает из Украины. Можно ли сделать то же самое в браузере самого Яндекса для той же Украины (как у Оперы), где у вас по-прежнему проживают десятки миллионов(!) вполне лояльных и активных русскоязычных юзеров, но где туземное правительство продолжает дикую политику блокировки ваших сервисов? Трудно ли догадаться об этой проблеме за уже столько лет блокировки ваших сервисов и просто скопировать опыт той же Оперы?
Кстати, а можно ли сделать ваши Яндекс-карты тоже со встроенным vpn хотя бы для Украины? А то через некоторых домашних провайдеров и мобильных операторов карты работают, через некоторых - вообще не работают. Из-за этого десятки миллионов пользователей, которые бы с удовольствием вернулись бы на Яндекс-карты (как я), продолжают использовать убогие гугл-карты. У них по-прежнему намного хуже интерфейс и вообще эко-система, чем у Яндекс-карт, но в компании Яндекс все еще не додумались встроить хотя бы для Украины какой-то vpn внутрь Яндекс-карт, чтобы миллионы юзеров спокойно себе продолжали пользоваться любимым продуктом, пока их власти продолжают политику блокировки.
И еще пару слов по основной теме. Многие просто очень привыкли к Хрому или Опере и для таких нужны более веские причины, чем даже такая супер-фича с звуковым переводом, чтобы бросить все и переходить окончательно на Яндекс-браузер. Возможно, такой вариант: через Яндекс-браузер функция бесплатна, тогда как функция перевода на других приложениях - платно. Тогда да, тогда многие, такие же как я, будут браузер держать и не сносить. И может быть, постепенно переходить и на него. Если же не будет отдельной программы, с которой можно было бы пусть и платно, но работать на других браузерах (и других программах вне браузеров), то мировой рынок скорее всего даже не успеет узнать про новую функцию. А потом весь этот перевод в звуке, скорее всего, реализует какой-то Гугл или Майкрософт (так как ниша будет, по большому счету, пуста, если Яндекс продолжит втюхивать функцию только через свой браузер). Ну или еще кто-то из таких же гигантов.
Сори за много буков. Наболело))
Татьяна Степанова
26 июля 2021, 12:02
Очень крутой проект, спасибо, что работаете над ним, очень впечатляет!
Обновлено 26 июля 2021, 12:03
Андрей Геймсенс
28 июля 2021, 21:54
Когда примерно ожидается?
Начиная с какой версии должно работать?
На маке сейчас последняя 21.6.0.1108 (64-bit) — и там не появляется кнопка (в настройках нет галки «Показывать на видео кнопку перевода»)
21.8.0.652 beta - кнопки нет, в настройках пункта нет
21.8.1.4 beta без изменений
Антон Валерьевич
29 августа 2021, 22:49
Это фантастика!
Антон Валерьевич
29 августа 2021, 23:11
Только в прошлом году спорил с одним отбитым русскоговорящим космополитом, который доказывал мне с пеной у рта, что на планете должны остаться в живых только англоговорящие, потому что другие языки, а особенно русский, таким как он мешают удобно и без ограничений жить. Я говорил, что скоро нейросетевой синхронный перевод достигнет такого совершенства, что по началу будет переводить видео и аудиоматериалы в инетнете с небольшой задержкой, а в итоге научится делать синхронный перевод на лету. Гад, не верил, смеялся, говорил никогда такого не будет! LOL... 😂
Обновлено 29 августа 2021, 23:12
А что писать?
Сейчас эта функция работает и для других видео на YouTube. Я в восторге!
Не работает…
А как же iOS и Android (
Перевод хороший но у меня вопрос к каким сайтам данный перевод доступен?
На iPhone не работает переводчик. Нет такой функции
Фигня какая-то, на значек нажимаешь, видео вылетает.
Это и предполагалось примерно.
Ничего нового.
Обновлено 9 сентября 2021, 18:42
Спасибо за реально очень крутой функционал.
Что выявил - после того, как говорит что переводим, и ждите в течении минуты - уведомления ни куда не приходят ( наловчился перегружать страницу и жать пауза - пока не пропадет надпись). 
Чего не хватает лично мне и еще тысячам пользователей - возможности скачать ролик с наложенным переводом, или возможность загружать в облако ролик и получать перевод там.
Надеюсь у Яндекса появится свой аналог ютуба, куда половина рунета с радостью уйдет!
нет кнопки перевести видео
Is it support other languages like English to Arabic?
Иван Иванов
22 сентября 2021, 16:59
Это просто ТОП! Мне английский трудно изучать, времени нет, да и лентяй я.
Есть необходимость смотреть англоязычные YuoTube каналы и все в этом духе, теперь на много лучше и круче, спасибо!
Ии
Включил BBC.com, не переводит не один ролик.
Михаил,
пока не все порталы в всемирной сети поддерживаются, со временем будет увеличиваться их число...
Сделайте пожалуйста поддержку перевода хардсабов. Сейчас очень много сериалов и видео с вшитыми русскими субтитрами. Пусть программа подстраивает голосовой движок под речь говорящего, не нужно распознавать язык и переводить. Просто озвучивать хардсабы, определяя мужскую и женскую речь в данный момент.
Можно ли будет переводить свои видео выложенные на ютуб или другой сервис? 
Или например выложу видео на Яндекс диск и хочу посмотреть его в переводе, было бы очень круто!
Эта функция работает только на Youtube или на любом сервисе с потоковым вещанием? Например twitch или в плеерах каких-нибудь онлайн школ?
Ребята, Вы очень круты! Спасибо!
Сейчас начнем
litvinuk.pavlo
2 мая, 12:08
Перестало работать несколько дней назад

Данила Самко
13 мая, 21:07
Здравствуйте, есть у данного переводчик API и можно ли его будет интегрировать в другие браузеры, к примеру Google?
Мне нужен перевод не с ютуба, а видео с устройства. Бесполезная лично для меня функция
ANGELDARIOBARCELO ANGELDARIOBARCELO
30 сентября, 19:24
angeldariobarcelo2809@gmail.com