Алиса научилась говорить шёпотом

С голосовым помощником Алисой теперь можно общаться шёпотом, например, чтобы не разбудить близких. Если перейти на шёпот, Алиса тоже понизит голос — точно так же, как это делают люди.

Алиса осваивала шёпот в несколько этапов. Сначала она училась понимать, когда человек шепчет. Для этого нейронную сеть обучили узнавать шёпот по звуковому спектру. Дело в том, что шёпот — это не просто тихий звук. Люди шепчут без использования голосовых связок, поэтому звуковой спектр шёпота и обычной речи различаются. Отдельно Алиса тренировалась отличать шёпот от глухого голоса, например, как при простуде. Оказалось, что они похожи по спектру, и поначалу Алиса их часто путала.

Дальше нужно было научить Алису шептать. Для этого записали несколько часов шёпота в исполнении Татьяны Шитовой — актрисы, которая озвучивала Алису. Но самих по себе этих данных недостаточно для обучения модели, которая синтезирует голос. Поэтому их добавили в уже накопленный обучающий корпус и сообщали нейросети, где шёпот, а где обычная речь. В итоге Алиса научилась между ними переключаться.

Сергей Мельник,
руководитель направления умных устройств

Алису любят во многом за то, что она похожа на человека. С ней можно пошутить и поболтать, у неё есть свой характер и чувство юмора. Шёпот — это ещё одно человеческое проявление, которое теперь свойственно и Алисе. Надо сказать, что она освоила уже несколько вариантов голоса. Например, утреннее шоу Алиса ведёт бодро и весело, а переводит видео более флегматично, чтобы не отвлекать от просмотра.

С момента своего появления Алиса постоянно работает над речью: учится ставить ударения в словах, делать паузы и общаться так, чтобы всё больше походить на человека. О том, как менялась речь Алисы и как будет развиваться дальше, читайте в блоге Яндекса на Хабре.