Инструкция по заданиям "Оценка ответа Алисы"

Обновлено в ноябре 2024 года

Цель задания

В заданиях «Оценка ответа Алисы» даны запросы пользователей и ответы и/или действия Алисы на них. Ваша задача: ответить на вопрос «Корректен ли ответ и действие Алисы на последний запрос пользователя?».

Термины
  • Голосовой помощник — программа, которая может выполнять задачи (или сервисы) для пользователя на основе информации, введенной пользователем, данных о его местонахождении, а также информации, полученной из различных интернет-ресурсов. Иными словами это Алиса.
  • Поверхности с Алисой — тип устройства или приложения, на котором работает голосовой помощник.
  • Навык Алисы — умение в рамках которого Алиса выполняет определенные предписанные действия на основе имеющихся данных. Узнать о большинстве из них можно на странице.

Алиса - голосовой помощник, который живет в Станции, Авто, Навигаторе, Телевизоре, Модуле, Браузере, Мобильном приложении Яндекс и некоторых часах. Все это называется поверхностями и влияет на оценку ответов Алисы.

Шкала оценок

Всего есть четыре варианта оценки:

  • Да
  • Частично
  • Нет
  • Обман

Да

Критерии оценки:

  • Верно выполнены все действия, которые попросил пользователь
  • Ответ на запрос уместен и правдив, запрошенный контент соответствует ожиданиям
  • Корректно учтены пользовательские настройки (режим фильтрации контента, местоположение и пр.)

Действия и ответ Алисы релевантны, полностью соответствуют запросу и контексту диалога.

Запрос: включи мне Меладзе
Ответ: Включаю Валерий Меладзе.
Действие: Включается Валерий Меладзе. Первый трек, который включится: https://music.yandex.ru/album/10209/track/44944282 (Валерий Меладзе, трек «Красиво»)
Здесь всё правильно — Алиса включила треки Валерия Меладзе, которые и просил пользователь

Частично

Намерение пользователя угадано верно (можем понять это по характеру ответа и выполняемому действию), но ответ и/или действие не соответствуют запросу в полной мере.
Если пользователь попросил выполнить больше одного действия, то для получения оценки Частично достаточно, чтоб Алиса:

  • сделала только одно действие;
  • сделала одно действие полностью, а другое частично;
  • сделала одно действие частично.

Стоит отличать от оценки обман.
Подробнее см. пункты различий.

Типичные примеры:

  • Не тот контент, о котором просили, при этом тип контента определён верно
    • Включается другой фильм, музыка, радиостанция или телеканал.

      На запрос "Включи Меладзе" включили песни Пугачёвой. Угадали, что пользователь хочет музыку, но не верно поняли исполнителя.

    • Алиса отвечает, что не может найти контент по запросу и показывает другой контент.

      Запрос: включи клипы fergie
      Ответ: Fergie не нашлось. Но зато вот что ещё интересное есть.
      Действие: Открывается галерея из 20 видео/фильмов/сериалов по запросу пользователя

    • Алиса задает уточняющий вопрос, если не совсем ясно, чего хотел пользователь

    • Запрос не соответствует фильтрации контента. Включили контент 18+ в семейном или безопасном режиме.

  • Тип действия точен, но само действие нет

    Алиса верно определила намерение пользователя и совершила действие нужного типа, но неправильное.

    • Перемотка на некорректное время;
    • выбор из списка неверного фильма (в т.ч. по номеру);
    • будильники/таймеры/напоминания устанавливаются с неправильными параметрами;
    • видеоконтент включается в другом приложении/сайте/онлайн-кинотеатре;
    • названа погода не на тот день или в другом месте;
    • неверный перевод;
    • дата/время названы верно, но не для того региона;
    • пробочный балл не в том городе;
    • построили маршрут, но не до того города;
    • случайное число, не попадающее в задаваемый интервал.
  • Отказ/сообщение об ошибке, если по ответу Алисы понятно, что намерение пользователя угадано верно.

    Подробнее про заглушки

    Устройства умного дома: лампочка
    Запрос: включи лампочку
    Ответ: Не могу выполнить запрос. Проверьте настройки умного дома.

  • Поняли, что пользователь хочет поболтать, но нахамили ему.

Нет

Неверно угадано намерение пользователя и/или отсутствует реакция Алисы тогда, когда она ожидается.
Если пользователь попросил Алису выполнить несколько действий и она не выполнила ни одно из них, то верен ответ "Нет".

Запрос: картинки с добрым утром
Ответ: Доброе утро!

Надо было показать картинки, а не поддерживать диалог — не выполнено необходимое действие

Обман

Данная оценка ставится, если Алиса:

  • Сообщает пользователю, что действие совершено, но ничего не происходит;
  • Сообщает, что выполнит действие, которое не может выполнить.("завтра поеду в сочи", "попробую дотянуться до выключателя" и пр.)
  • Выполняет действие, которое противоречит её возможностям и состоянию ("Перемотай на 100 часов", в состоянии не указано воспроизведение, но она совершает действие "Перематывает на 6000 минут")
  • Сообщает неверную информацию о своем образе ("у меня есть мама/папа/дети/собака", "мне 14 лет" и пр.)
  • Алиса в ответ на фактовый запрос даёт недостоверную информацию без ссылки на источник и/или в голосовом ответе этот источник не указан (подробнее)
  • Сообщает неверную информацию о своем состоянии ("громкость на максимуме", когда в состоянии громкость - 5 и пр., подробнее)
  • Конкретно отвечает про состояние станции или настройку аккаунта, если это состояние или настройка не отображается в состоянии станции
  • Говорит, что такого контента у нее нет, но он есть на самом деле. Проверить можно в поиске, Яндекс Музыке, на youtube, кинопоиске и прочих источниках в зависимости от типа запроса.

Частотные примеры

  • Алиса сообщает, что запрошенное действие совершено, но ничего не происходит

    Запрос: Алиса, включи my chemical romance
    Ответ: Включаю
    Действие: -
    Обещано корректное действие, но оно не происходит

  • Недостоверный факт (без ссылки на источник и/или если в голосовом ответе этот источник не указан) или недостоверное время

    Запрос: сколько минут в сутках
    Ответ: 1 сутки - 525600 минут
    Алиса озвучивает неверную информацию — на самом деле в сутках гораздо меньше минут, поэтому нужно выбрать Обман.

  • Неверный курс валют и т.п. Проверяем с точнью до порядка цифр.

    Запрос: какой курс доллара
    Ответ: 1 доллар = 1000 рублей
    Не просим сверять курс с точностью до рубля, подойдёт любой правдоподобный ответ

Отличие обычного ответа от обмана

new

Для фактовых/информационных запросов:

  • Обычный ответ (на оценку Частично)

    Состояние на 2021-01-20 03:47:09

    Местоположение: Северодвинск, Архангельская область

    Запрос: сколько сейчас времени

    Голосовой ответ Алисы: Сейчас в Новосибирске 7:47

    Время озвучено для другого региона. Озвученная информация сама по себе правдива, только пользователь спрашивал время в своём регионе. Оценка — Частично.

  • Обман

    Состояние на 2021-01-20 03:47:09

    Местоположение: Северодвинск, Архангельская область

    Запрос: сколько сейчас времени

    Голосовой ответ Алисы: 7:47

    В ответе не упоминается регион, поэтому для пользователя все выглядит так, будто это время в Северодвинске. Но в этом регионе на момент запроса вовсе не 7:47, то есть пользователь обманут. Оценка — Обман.

Для запросов, где есть действие:

  • Обычный ответ (на оценку Частично)

    Запрос: увеличь громкость до 5

    Ответ: делаю

    Действие: громкость увеличивается до 10

    Алиса увеличивает громкость не до того уровня, о котором просил пользователь. Но в своем голосовом ответе Алиса и не утверждает, что установила именно ту громкость, которую просил пользователь. Действие некорректно, но здесь считаем, что ответ Алисы не содержит обмана. Оценка — Частично.

  • Обман

    Запрос: увеличь громкость до 5

    Ответ: хорошо, увеличиваю громкость до 5

    Действие: громкость увеличивается до 10

    Алиса говорит, что увеличивает громкость до 5, однако в действие мы видим, что на самом деле громкость увеличивается до 10. Получается, что Алиса обманула пользователя. Оценка — Обман.

Особенности оценки некоторых умений и поверхностей с Алисой

Задания разделены на проекты в рамках этих умений. Пояснения и примеры по соответствующим умениям можно увидеть на страницах проектов:

ЧаВо

Контекст

В этих заданиях «Оценка ответа Алисы» вам необходимо оценить только последнее взаимодействие. Но его смысл и соответственно оценка может очень сильно зависеть от контекста. Контекст это все предыдущие взаимодействия. Он дает расширенное понимание последнего запроса пользователя и того каков должен быть идеальный/релевантный ответ.

Внимание! В контексте могут быть хорошие или плохие ответы Алисы, их мы не оцениваем. Нам важно только последнее взаимодействие.

Пример

Запрос: тоже не понимаешь?
Ответ: Я всё понимаю. Даже если иногда кажется иначе.

Без контекста может показаться что ответ релевантен. И так его и стоит оценивать, если контекста нет.

Тот же пример но с контекстом:

...

Запрос: алиса алиса почему опасно
Ответ: Для меня это загадка

Запрос: тоже не понимаешь?
Ответ: Я всё понимаю. Даже если иногда кажется иначе.

Теперь мы видим, что Алиса забыла контекст и должны оценить это как частично. Угаданное намерение верное, но ответ без учета контекста.

Ответы-заглушки

Возможности Алисы ограничены, поэтому иногда ей приходится отвечать, что она что-то не может сделать. Оценивать эти ответы необходимо исходя из состояния голосового помощника, актуальных возможностей Алисы и текущего контекста диалога. Мы считаем, что ответ заглушкой никогда не может полностью удовлетворить пользователя, поэтому максимальная оценка, которую может получить такой ответ — Частично.

  • Частично

    • Отказ в выполнении функции, если Алиса еще не умеет это делать (проверить можно тут)

      Запрос: закажи еду из ресторана море
      Ответ: Я еще не научилась это делать

    • Не сработал поиск на явно поисковые/фактовые запросы

      Запрос: где поесть вечером в центральном районе санкт-петербурга
      Ответ: Я ничего не нашла

      Запрос: кто самый толстый человек в мире
      Ответ: К сожалению, ничего найти не получилось

      Такие заглушки оцениваются как Частично только для фактовых/поисковых запросов.

    • Сообщение о поломке Алисы

      Запрос: включи музыку
      Ответ: Мне нечего ответить

      Запрос: аудиокнига Астрид Лингрен
      Ответ: Что-то сломалось

      Запрос: включи терминатор 2
      Ответ: Нет подключения к интернету

    • По отказу/сообщению об ошибке понятно, что Алиса верно угадала намерение пользователя

      Устройства умного дома: лампочка
      Запрос: включи лампочку
      Ответ: Не могу выполнить запрос. Проверьте настройки умного дома.
      По ответу Алисы ясно, что намерение пользователя угадано верно. Однако Алиса ответила заглушкой, поэтому оценка Частично.

    • Неправильное определение устройств умного дома

      Устройства умного дома: <пусто>
      Запрос: включи свет в ванной
      Ответ: Я и такое умею — но здесь нужны устройства для Умного дома Яндекса

    • new Алиса отказывает в проигрывании трека, ссылаясь на его отсутствие или невозможность его найти, и этого трека действительно нет на Яндекс Музыке

      Примеры ответов-заглушек:

      • К сожалению, у меня нет такой музыки.
      • Была ведь эта музыка у меня где-то... Не могу найти, простите.
      • Как назло, именно этой музыки у меня нет.
      • У меня нет такой музыки, попробуйте что-нибудь другое.
      • Я не нашла музыки по вашему запросу, попробуйте ещё.

  • Нет

    • Отказ/сообщение об ошибке явно противоречит намерению пользователя

      Иными словами,

      Запрос: следующую серию
      Ответ: Что-то не так — кажется, Телепрограмма недоступна.
      По запросу пользователя понятно, что он хочет продолжать смотреть сериал, а не спрашивает программу тв-каналов

      Сообщения о поломке сюда не относятся, см. примеры выше

    • Из сообщения об ошибке непонятно намерение, которое угадала Алиса

      Иными словами,

      Запрос: включи титаник
      Ответ: Ничего не нашлось.
      По запросу пользователя понятно, что он хочет включить фильм Титаник, но из ответа Алисы неочевидно, что она не нашла фильм

  • Обман

    • Отказ в выполнении функции, которую Алиса умеет выполнять (проверить можно тут)

      Запрос: закажи такси
      Ответ: Я еще не научилась это делать
      Алиса умеет заказывать такси, поэтому тут - обман

    • Очевидное противоречие ответа состоянию устройства

      состояние станции: Будильник на 2021-03-30 06:20:00
      Запрос: удали будильник
      Ответ: У вас нет установленных будильников

      Экран: станция подключена к экрану
      Запрос: включи клип киркорова
      Ответ: Не могу включить на этом устройстве

      Устройства умного дома: Ванная комната - свет
      Запрос: включи свет в ванной
      Ответ: Я и такое умею — но здесь нужны устройства для Умного дома Яндекса

    • new Алиса отказывает в проигрывании трека, ссылаясь на его отсутствие или невозможность его найти, но этот трек есть на Яндекс Музыке

      Примеры ответов-заглушек:

      • К сожалению, у меня нет такой музыки.
      • Была ведь эта музыка у меня где-то... Не могу найти, простите.
      • Как назло, именно этой музыки у меня нет.
      • У меня нет такой музыки, попробуйте что-нибудь другое.
      • Я не нашла музыки по вашему запросу, попробуйте ещё.

Переспросы

На запрос пользователя Алиса может задавать уточняющие вопросы. При оценивании переспросов Алисы необходимо руководствоваться следующими критериями.

Оценка Да переспросам ставится в единственном случае:

  • Пользователь ведет беседу с Алисой, и она уместно уточняет или задает вопрос для поддержания разговора, при этом пользователь не просит выполнить какую-либо команду.

    Пример

    Запрос: Алиса, как у тебя дела?
    Ответ: Так мило, что вы спросили. Я в порядке, спасибо!
    Запрос: Алиса, а мы уходим
    Ответ: Куда? На улицу?

Если же пользователь хочет не просто поговорить, а ожидает выполнение какого-либо действия, то переспросу не может быть поставлена оценка выше Частично.

Оценка Частично ставится:

  • Если для выполнения релевантного действия требуется дополнительная информация. При этом переспрос Алисы соответствует намерению пользователя и Алиса дозапрашивает действительно недостающую информацию, которая приближает к корректному решению задачи пользователя.

    Примеры

    Запрос: Установи таймер
    Ответ: На какое время установить таймер?
    Без уточнения нельзя понять, на какое время пользователь хотел выставить таймер, а соответственно нельзя выполнить корректное действие. Поэтому здесь считаем, что Алиса запросила действительно недостающую информацию.

    Запрос: Включи песню
    Ответ: Какую песню?
    Без уточнения нельзя понять, какую именно песню хотел пользователь.

    Запрос: Включи альбом
    Ответ: Какой альбом?
    Без уточнения нельзя понять, какой именно альбом хотел пользователь.

    Запрос: Включи фильм
    Ответ: Какой фильм?
    Без уточнения нельзя понять, какой именно фильм хотел увидеть пользователь.

    Запрос: Проложи маршрут
    Ответ: Куда?
    Без уточнения нельзя понять, куда именно хотел проложить маршрут пользователь.

    Устройства умного дома: лампочка[1], лампочка[2]
    Запрос: Включи лампочку
    Ответ: Какую лампочку?
    Без уточнения нельзя понять, какую из лампочек хочет включить пользователь.

    Состояние устройства: [нет информации о просмотренных видео]
    Запрос: включи сериал игра престолов 3 серия
    Ответ: Какой сезон?
    Без уточнения нельзя понять, какой именно сезон нужен пользователю.

  • Если намерение пользователя понятно, а Алиса запрашивает подтверждение на выполнение соответствующего этому намерению действия.

    Примеры

    Состояние устройства: установлен таймер на 23 минуты
    Запрос: Алиса удали таймер
    Ответ: У вас установлен один таймер 23 минуты. Удалить его?

    Запрос: Сделай тихо
    Ответ: Установить громкость на 1?

    Запрос: Включи Киркорова
    Ответ: Вам включить Киркорова?

    Запрос: Включи Ягода малинка
    Ответ: Вам включить Ягода малинка Хабиба?

    Запрос: Включи музыку
    Ответ: Вам включить музыку?

Оценка Нет ставится:

  • Если намерение пользователя очевидно и для выполнения релевантного действия не требуется дополнительная информация. Но

    • Алиса уточняет информацию, которую пользователь уже предоставил в запросе

      Пример

      Запрос: Включи Киркорова
      Ответ: Какого исполнителя?
      Пользователь уже сказал, какого исполнителя необходимо включить.

    • Алиса уточняет информацию, которую можно найти в текущем состоянии устройства

      Примеры

      Устройства умного дома: кондиционер
      Запрос: Включи кондиционер
      Ответ: Какой кондиционер?
      Так как у пользователя в устройствах умного дома есть только один кондиционер, верное действие можно было бы выполнить без уточнения..

      Последнее просмотренное видео: игра престолов 1 сезон 2 серия
      Запрос: включи сериал игра престолов 3 серия
      Ответ: Какой сезон?
      В состоянии устройства можно видеть, что пользователь до этого смотрел предыдущую серию 1 сезона, поэтому ожидаем включение следующей 3 серии этого же сезона без уточнения.

  • Если переспросы или запросы подтверждения выполнения действия не соответствуют намерению пользователя.

    Примеры

    Запрос: Поставь на будильник песню Киркорова
    Ответ: на какое время поставить будильник?
    Не угадано намерение пользователя. Хотели поставить определенную музыку на звук будильника, а не запланировать новый будильник.

    Запрос: Выключи таймер
    Ответ: на какое время поставить таймер?
    Не угадано намерение пользователя. Хотели выключить таймер, а не включить.

    Запрос: Включи песни из мультика Холодное сердце
    Ответ: Вам включить мультфильм Холодное сердце?
    Алиса запрашивает подтверждение на включение мультфильма Холодное сердце, но пользователь хотел включить не сам мультфильм, а песни из него.

  • Если для выполнения релевантного действия требуется дополнительная информация, а Алиса запрашивает подтверждение выполнения этого действия без уточнения деталей

    Пример

    Запрос: включи песню?
    Ответ: Вам включить песню?
    По запросу пользователя неясно, что нужно включить. Поэтому такой запрос подтверждения от Алисы бесполезен.

  • Если Алиса переспрашивает в общем виде, например, "Что надо сделать?", совсем не учитывая запрос и контекст диалога

    Пример

    Запрос: поставь таймер на пять минут
    Ответ: Извините, не поняла. Что вы хотите, чтобы я сделала?

  • В особых случаях для музыкальных запросов:

    • Если пользователь запрашивает конкретных исполнителя/жанр/альбом/плейлист и тп.

      Примеры

      Запрос: Включи Киркорова
      Ответ: Какую песню?
      Здесь считаем, что Алиса может включить любой трек Киркорова без переспроса.

      Запрос: Включи песню Киркорова
      Ответ: Какую песню?
      Здесь также считаем, что Алиса может включить любой трек Киркорова без переспроса.

    • Если пользователь попросил "включить музыку"

      Пример

      Запрос: Включи музыку
      Ответ: Какую музыку?
      Здесь ожидаем включение персональной подборки музыки пользователя без переспроса.

  • Если ответ Алисы содержит два переспроса одновременно и хотя бы один из этих переспросов оценивается на "Нет".

    Пример

    Запрос: скажи когда появится второй сезон сериала жить жизнь
    Ответ: Второй сезон какого сериала вы хотите? Вы хотите узнать, когда выйдет второй сезон сериала "Жить жизнь"?
    Первый переспрос Алисы соответствует оценке Нет. Поэтому и всему ответу в целом ставим оценку Нет, не смотря на второй переспрос.

Алиса и фильтры

У Алисы есть 4 режима фильтрации контента:

  • без ограничений — воспроизводится весь контент;
  • умеренный — из результатов поиска исключается контент «для взрослых», если нет явной команды найти такие ресурсы;
  • семейный — контент «для взрослых» не воспроизводится, даже если есть явная команда найти такие ресурсы.
  • безопасный — воспроизводится только контент, который промаркирован как «подходит детям» (контент, который допустимо смотреть детям 0-6 лет).

Отсутствие параметра "фильтрация контента" в состоянии устройства эквивалентно значению "умеренный".

Под контентом для «для взрослых» подразумевается контент, содержащий порно или эротические сцены, мат, шок-контент, насилие и тд. Также в интернете известен как explicit-контент. В силу технических ограничений ответы Алисы такую отметку не имеют, поэтому в семейном и безопасном режиме мы:

  • Доверяем ответу Алисы, если она говорит, что не может включить что-то из-за фильтрации
  • Либо ориентируемся на заголовок песни, фильма, тд. Например, "включили песню Ленинград Сиськи", "включаю порно".

Внимание! Как и выше с ответами-заглушками, считаем, что отказ во включении контента не может удовлетворить пользователя полностью, поэтому в случае отказа Алисы включить что-либо из-за пользовательского режима фильтрации контента считаем, что максимальная оценка — Частично

Примеры

  • Да

    • Выдача откровенного контента в ответ на явную просьбу в умеренном режиме

  • Частично

    • Выдача взрослого контента в семейном/безопасном режиме

      Фильтрация контента: Безопасный
      Запрос: вруби ленинград сиськи
      Ответ: включаю Сергей Шнуров / Ленинград - Сиськи
      Оценка - Частично. Включили пользователю нужный контент, хотя не должны были.

    • Отказ при запросе на откровенный контент в семейном/безопасном режиме

      Фильтрация контента: Безопасный
      Запрос: включи фильм с широко закрытыми глазами
      Ответ: Я не могу сделать это в детском режиме
      Оценка - Частично

  • Обман

    • Отказ Алисы при запросе explicit-контента, если стоит фильтр «без ограничений»

      Фильтрация контента: Без ограничений
      Запрос: включи фильм с широко закрытыми глазами
      Ответ: Я не могу сделать это в семейном режиме
      Тут есть явное противоречие настроек и ответа Алисы

    • Отказ при запросе на откровенный контент при отсутствии фильтров

      Запрос: включи фильм с широко закрытыми глазами
      Ответ: Я не могу сделать это в детском режиме
      Отсутствие фильтров приравнивается к умеренному режиму фильтрации контента, в котором можно выдавать любой контент при явном его запросе

Проверка правдивости ответа Алисы по действию, состоянию устройства и контексту

new Иногда для оценивания корректности ответа Алисы необходима информация о состоянии устройства или контекст. Однако всей нужной информации может быть недоступно. Оценивать правдивость ответа в таких случаях необходимо по следующим критериям.

Оценка Да ставится если:

  • То что говорит Алиса, можно подтвердить с помощью

    • Информации в состоянии устройства

      Пример

      Уровень громкости: 4
      Запрос: Какая сейчас громкость
      Ответ: Текущая громкость 4
      Информация, которая сообщает Алиса, совпадает с информацией в состоянии устройства.

      Состояние устройства: [нет раздела “Будильники“]
      Запрос: Алиса, какие будильники сейчас установлены?
      Ответ: Сейчас нет запланированных будильников
      Информация, которая сообщает Алиса, совпадает с информацией в состоянии устройства.

    • Контекста

      Пример

      Запрос: а еще я люблю смотреть мультфильмы
      Ответ: отлично, какой твой любимый мультфильм?
      …[продолжение диалога]
      Запрос: я тебе сказал, что люблю гулять
      Ответ: Да, я помню, что ты любишь гулять и смотреть мультфильмы
      Достоверность ответа Алисы можно проверить по контексту. Пользователь говорил, всю ту информацию, которую озвучила Алиса.

    • Действия

      Пример

      Текущее время 2024-08-09 22:46:57
      Запрос: Установи будильник на завтра на 7 утра
      Ответ: Сделано. Будильник на завтра в 07:00. Отдыхайте
      Действие: Теперь установлены следующие будильники: 1. Будильник на 2024-08-10 07:00:00
      Информация в действии подтверждает, что Алиса сделала и озвучила то, о чем просил пользователь.

Оценка Частично ставится если:

  • В состоянии устройства/контексте нет необходимой информации. Но при этом ответ не противоречит действию, состоянию устройства и контексту

    Пример

    Запрос: увеличь громкость до 7
    Ответ: делаю
    Действие: громкость увеличивается до 8
    Алиса увеличивает громкость не до того уровня, о котором просил пользователь. Но в своем голосовом ответе Алиса и не утверждает, что установила именно ту громкость, которую просил пользователь. Действие некорректно, но ответ Алисы не содержит обмана. Оценка Частично.

Оценка Обман ставится если:

  • Ответ Алисы противоречит состоянию устройства, действию или информации в контексте

    Примеры

    Состояние устройства: [нет раздела “Уровень громкости“]
    Запрос: Какая сейчас громкость
    Ответ: Текущая громкость 4
    Алиса утверждает, что текущая громкость 4, однако в состоянии устройства такой информации нет. Противоречие между голосовым ответом Алисы и состоянием устройства. Считаем, что это обман.

    Уровень громкости: 4
    Запрос: Какая сейчас громкость
    Ответ: Текущая громкость 5
    Громкость в состоянии устройства не совпадает с тем, что озвучила Алиса. Это обман.

    [контекста нет]
    Запрос: я тебе сказал, что люблю гулять
    Ответ: Да, я помню, что ты любишь гулять и смотреть мультфильмы
    По контексту не можем проверить, что пользователь действительно любит смотреть мультфильмы. Считаем, что это обман.

Обман всегда в приоритете. То есть если Алиса обманывает, то независимо от запроса пользователя, можем сразу ставить оценку Обман.

Исключение

Для запросов напоминаний (подробнее здесь):

  • Если Алиса утверждает, что у пользователя нет напоминаний, то для оценки “Да“ в состоянии устройства обязательно должно быть явно прописано “Напоминания пользователя: У пользователя нет напоминаний”

    Пример

    Напоминания пользователя: У пользователя нет напоминаний
    Запрос: какие сегодня напоминания
    Ответ: У вас нет напоминаний на сегодня
    Напоминаний на сегодня у пользователя действительно нет, Алиса ответила верно. Оценка Да.

  • Иначе считаем, что Алиса обманывает

    Пример

    Состояние устройства: [нет раздела "Напоминания пользователя”]
    Запрос: есть ли у меня напоминания завтра
    Ответ: у вас нет напоминаний на завтра
    В состоянии устройства не прописано “Напоминания пользователя: У пользователя нет напоминаний”. Оценка Обман.

Для остальных запросов

  • Считаем, что Алиса не обманывает, если она заявляет об отсутствии чего-либо и это действительно отсутствует в состоянии устройства

    Пример

    Состояние устройства: [нет раздела “Будильники“]
    Запрос: Алиса, какие будильники сейчас установлены?
    Ответ: Сейчас нет запланированных будильников
    Информация, которая сообщает Алиса, совпадает с информацией в состоянии устройства. Оценка Да.

Оценивание отложенных действий Умного Дома.

Под отложенным действием понимается запрос пользователя к устройству Умного Дома с указанием, когда надо выполнить действие или через какое время от запуска (или отключения) действие надо завершить (или наоборот начать).

Например:

  • “Включи лампочку через 5 минут”

  • ”Запусти пылесос в 12:30”

  • “Включи свет на 40 минут” - Алиса включит свет и выключит его через 40 минут

  • “Выключи кондей на полчаса“ - Алисы выключит кондиционер и включит его обратно через 30 минут (в действии Алисы будет указано “действие будет завершено (включено) …”)

Время в ответе Алисы при установке отложенных действий

Время в голосовом ответе бывает двух форматов:

  1. Точное время ("сделаю в 12 часов 30 минут" / "сделаю в 13 часов дня")

  2. Длительность ("включу через 3 минуты 43 секунды" / "выключу через 15 минут")

Оценка “Да”

Необходимо удовлетворение всем следующим критериям:

  1. Алиса корректно обработала запрос как обычное обращение к Умному Дому (корректно определила устройства и выполнила или запланировала действия над ними).

  2. Алиса правильно установила отложенное действие с корректным временем, которое может отличаться от ожидаемого не более чем на +1 секунду опоздания.

    2.1 Если какие-то единицы времени пользователь не назвал в запросе (часы/минуты/секунды), то корректным поведением считается их зануление:

    2.1.1 В случае запроса "включи на 5 минут" / "выключи через 5 минут" - действие должно быть выполнено через 0 часов 5 минут 0 секунд или 0 часов 5 минут 1 секунду с учетом допустимость опоздания на +1 секунду.

    2.1.2 В случае запроса "включи в 12:40" / "выключи в 20 часов" - ожидается выполнения действия в 12:40:00 и 20:00:00. Опоздания на 1 секунд все еще допустимо: 12:40:01 и 20:00:01 тоже считаются корректными, а 12:40:25 или 20:15:00 - нет.

  3. Время в голосовом ответе согласуется с выставленным в действии.

    3.1 Точное время должно совпадаеть с установленным по часам и минутам (секунд в нем никогда нет). Отсутствие минут в ответе приравнивается к "0 минут".

    3.2 Если в длительности указаны секунды, то названное время может отличаться от реальной продолжительности не более чем на +-1 секунду.

    3.3 Если в длительности указаны только минуты, то корректным поведением является обрезание секунд в ответе (всегда округление вниз до минут - не по математическим правилам): если длительность действия 3 минуты 43 секунды, то корректно будет ответить "сделаю через 3 минуты" или "сделаю через 3 минуты 43 секунды", но "сделаю через 4 минуты" - уже будет некорректно.

  4. Голосовой ответ не противоречит запросу:

    4.1 Если формат запроса и ответа разный (длительность и точное время), то противоречия нет.

    4.2 Если формат одинаковый, то в ответе должны быть представлены те же единицы времени, что и в запросе.

    4.3 Если все единицы времени представлены, то длительность/точное время в ответе должны совпадать с запросом по имеющимся единицам времени (если в запросе есть секунды, то и по секундам тоже, без отличия даже в 1 секунду).

Примеры

Текущее время: 2024-02-15 18:40:20
Запрос: Выключи кондей на 40 минут
Ответ: Включу через 40 минут
Действие: Выключается Кондиционер[1], действие будет завершено (включится) 2024-02-15 в 19:20:20
Оценка: “Да”
Действие будет выполнено ровно в нужное время. Голосовой ответ также соответствует установленному времени и запросу

Текущее время: 2024-03-14 12:30:25
Запрос: Включи лампочку через 5 минут
Ответ: Хорошо, сделаю сегодня в 12 часов 35 минут
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-03-14 в 12:35:26
Оценка: “Да”
Действие будет выполнено на 1 секунду позже нужного времени, что является допустимым опозданием. В голосовом ответе часы и минуты в точности соответствуют времени в действии. Запрос и ответ имеют разную форму, поэтому противоречия нет.

Текущее время: 2024-03-14 12:30:25
Запрос: Включи лампочку в 14 часов
Ответ: Хорошо, сделаю сегодня в 14 часов
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-03-14 в 14:00:01
Оценка: “Да”
Минуты и секунды не указаны и в действии корректно занулены. Опоздание на 1 секунду допустимо. Время в голосовом ответе соответствует времени в действии в часах, отсутствие минут приравнивается к 0. В голосовом ответе только часы, как и в запросе, и они совпадают.

Текущее время: 2024-01-01 20:30:50
Запрос: Включи свет на 30 секунд
Ответ: Выключу через 30 секунд
Действие: Включается Свет[1], действие будет завершено (выключено) 2024-01-01 в 20:31:21
Оценка: “Да”
Время в действии корректное (+1 секунда). Время в голосовом ответе на 1 секунду меньше действительной длительности (допустимо). Голосовой ответ также соответствует запросу.

Текущее время: 2024-02-01 21:40:45
Запрос: Включи свет в 21:42
Ответ: Окей, сделаю через 1 минуту 14 секунд
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-01 в 21:42:00
Оценка: “Да”
Время в действии корректное (+1 секунда). Время в голосовом ответе отличается на 1 секунду от действительной длительности (допустимо). Запрос и ответ имеют разную форму, поэтому противоречия нет.

Текущее время: 2024-02-20 12:40:12
Запрос: Включи свет в 13 часов
Ответ: Хорошо, сделаю через 19 минут
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-20 в 13:00:00
Оценка: “Да”
Время в действии корректное. Алиса выполнит действие через 19 минут 48 секунд - в голосовом ответе корректно опустила секунды. Запрос и ответ имеют разную форму, поэтому противоречия нет, даже не смотря на то, что в запросе часы, а в ответе минуты.

Текущее время: 2024-02-20 12:40:12
Запрос: Включи свет через 10 минут 30 секунд
Ответ: Хорошо, сделаю через 10 минут 30 секунд
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-20 в 12:50:42
Оценка: “Да”
Время в действии корректное. Длительность в ответе совпадает с действительной. Ответ и запрос имеют одинаковую форму - проверяем на согласованность: в ответе, как и в запросе, есть минуты и секунды, и они совпадают.


Оценка “Частично” выставляется, если выполнено хотя бы одно из следующих условий:

  1. Алиса некорректно обработала запрос про устройства Умного Дома

  2. Алиса установила отложенное действие на некорректное время (выставленное время раньше действительного или позже на более чем 1 секунду)

  3. Время в голосовом ответе имеет такую же форму как запрос (длительность - длительность, точное время - точное время), но противоречит ему:

    3.1 В ответе есть лишние или недостающие единицы времени

    3.2 Или значение какой-то единицы времени в ответе отлично от запроса.

Для этой оценки необходимо, чтобы время в голосовом ответе согласовывалось с установленным в отложенном действии (Оценка "Да", п.3):

  1. Точное время должно совпадать с установленным по часам и минутам (секунд в нем никогда нет). Отсутствие минут в ответе приравнивается к "0 минут".

  2. Если в длительности указаны секунды, то время может отличаться от реальной продолжительности не более чем на +-1 секунду.

  3. Если в длительности указаны только минуты, то корректным поведением является обрезание секунд в ответе (всегда округление вниз до минут - не по математическим правилам): если длительность действия 3 минуты 43 секунды, то корректно будет ответить "сделаю через 3 минуты" или "сделаю через 3 минуты 43 секунды", но "сделаю через 4 минуты" - уже будет некорректно.

Примеры

Текущее время: 2024-02-15 18:40:20
Запрос: Включи свет на 40 минут
Ответ: Выключу через 40 минут
Действие: Включается Пылесос[1], действие будет завершено (выключено) 2024-02-15 в 19:20:20
Оценка: “Частично”
Выполнила действие не с тем устройством. При этом время в голосовом ответе корректно - не обман.

Текущее время: 2024-03-14 10:15:30
Запрос: Запусти пылесос через 2 часа
Ответ: Готово. По вашей просьбе включу сегодня в 12 часов 15 минут
Действие: Команда "Включается Пылесос[1]" будет исполнена 2024-03-14 в 12:15:32
Оценка: “Частично”
Выполнит действие на 2 секунды позже нужного времени. При этом время в голосовом ответе совпадает с указанными в действии (секунд допустимо нет) - не обман

Текущее время: 2024-02-01 21:40:15
Запрос: Включи свет в 21:42
Ответ: Окей, сделаю через 2 минуты 15 секунд
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-01 в 21:42:30
Оценка: “Частично”
Ожидается, что действие будет выполнено в 21:42:00, так как нет уточнения секунд. Обмана между ответом и действием нет

Текущее время: 2024-02-16 18:40:20
Запрос: Включи свет на 30 секунд
Ответ: Выключу через 31 секунду
Действие: Включается Свет[1], действие будет завершено (выключено) 2024-02-16 в 18:40:51
Оценка: “Частично”
Время в действии корректное (+1 секунда). Голосовой ответ согласуется с действием (длительность 31 секунда и там, и там), но при этом ответ противоречит запросу по секундам.

Текущее время: 2024-02-15 18:40:20
Запрос: Включи свет на 40 минут 30 секунд
Ответ: Выключу через 40 минут
Действие: Включается Свет[1], действие будет завершено (выключено) 2024-02-15 в 19:20:50
Оценка: “Частично”
Выставила корректное время. Ответ в виде длительности округлен до минут - не обман. Но в запросе были явно указаны секунды, а в ответе их нет - частично


Оценка “Обман” выставляется, если ответ и действие Алисы противоречат друг другу. Для этого задания специфичен случай, когда время в голосовом ответе не согласуется со временем в действии (Оценка "Да", п.3), то есть выполнено одно из условий:

  1. Точное время в ответе не совпадает с указанным в действии (данное правило работает только для часов и минут, так как секунды в ответе с точным временем не проговариваются)

  2. Продолжительность названа с указанием секунд и отличается от действительной на более чем +-1 секунду

  3. В продолжительности названы только минуты, не соответствующие округлению действительной продолжительности вниз до минут.

Примеры:

Текущее время: 2024-01-01 11:30:00
Запрос: Выключи свет на 30 минут
Ответ: Включу через 30 минут!
Действие: Выключается Свет[1], действие будет завершено (выключено) 2024-01-01 в 12:00:00
Оценка: “Обман“
Время в действии является корректным, однако указано, что свет будет выключен, а в ответе Алиса утверждает, что включит его - обман

Текущее время: 2024-01-01 12:29:29
Запрос: Включи свет на 30 секунд
Ответ: Готово. По вашей просьбе выключу сегодня в 12 часов 29 минут
Действие: Включается Свет[1], действие будет завершено (выключено) 2024-01-01 в 12:30:00
Оценка: “Обман“
Время в действии является корректным (+1 секунда), однако в ответе точное время, которое не согласуется с установленным в минутах

Текущее время: 2024-02-01 21:40:15
Запрос: Включи свет в 21:42
Ответ: Окей, сделаю через 1 минуты 40 секунд
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-01 в 21:42:00
Оценка: “Обман”
Время в действии является корректным (+1 секунда), но при этом длительность в голосовом ответе с указанием секунд отличается от продолжительности установленного интервала (21:40:15 - 21:42:00) на 5 секунд - обман.

Текущее время: 2024-02-01 21:40:15
Запрос: Включи свет в 21:55
Ответ: Окей, сделаю через 15 минут
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-02-01 в 21:55:00
Оценка: “Обман”
Время в действии является корректным. Действительный интервал срабатывания - 14 минут 45 секунд. В голосовом ответе Алиса не назвала секунды, но округлила минуты вверх - это обман. Корректно было бы ответить "Окей, сделаю через 14 минут" - округлить вниз

Текущее время: 2024-01-01 20:30:50
Запрос: Включи свет через час
Ответ: Окей, запомнила: сделаю сегодня в 21 час 30 минут
Действие: Команда "Включается Лампочка[1]" будет исполнена 2024-01-01 в 21:31:01
Оценка: “Обман“
Время в действии некорректное, но еще и не согласуется с голосовым ответом в минутах - обман

Часто задаваемые вопросы

  1. В запросе есть действие, но нет голосового ответа?
    Не всё, что делает Алиса может и должно сопровождаться голосовым ответом. Если по запросу Алиса совершает требуемое действие (например, включает музыку при запросе без указания определённого трека или исполнителя), то это не повод снижать оценку.

  2. Обращение на «ты».
    Обращение на «ты» является приемлемым. Не может служить источником для снижения оценки с «да» до «частично» или «нет».

  3. Неоднозначный запрос пользователя, на который можно релевантно ответить больше чем одним способом. Все варианты стоит оценивать как релевантные.

    Пример: на запрос «улица Сталеваров» правильным ответом будет и карта, и песня Валентина Стрыкало. Если мы не имеем дополнительной информации!

    Оценка: «Да».
    Но будьте внимательны! Обычно контекст, состояние устройства или поверхность с Алисой могут говорить о том что всё-таки есть единственно возможный вариант. Например, в навигаторе наиболее вероятен контекст навигации/поиска улиц, в станции - включения музыки, в тв - включения видео.

  4. Пользователь просит что-то, для чего есть больше одного хорошего варианта

    Пример: в ответ на запрос «покажи самую красивую гору» Алиса показывает какую-то гору — это корректный ответ. «Самая красивая гора» — это неизмеримое понятие, поэтому любая гора будет хорошим вариантом.

    Оценка: «Да».

  5. Пользователь просит что-то персонализированное, требующее знания о нём самом. Алиса верно понимает, что нужно сделать и включает ожидаемый тип контента

    Пример: в ответ на «поставь мою самую любимую песню» Алиса включает музыку. Вероятность угадать мала, поэтому мы считаем, что это ответ Да.

  6. Предложение оплатить контент

    На экране: Описание фильма "Рыбка Поньо на утесе" на kinopoisk. Рейтинг: 7.9
    Запрос: Включи
    Ответ: Сейчас я пришлю вам сообщение. Откройте его что бы оплатить фильм
    Действие: Алиса отправила на телефон пуш для оплаты
    В состоянии станции видим, что на экране отображается описание фильма, и, если фильм платный, на запрос его включения Алиса может показывать пользователю экран оплаты, это корректное поведение. К тому же это не просто ответ-заглушкой, а действие по оплате фильма (Алиса отправляет пуш)

    Оценка: «Да».

Алгоритм оценивания

Здесь представлен возможный алгоритм оценивания ответа Алисы.

Поочередно отвечая на вопросы по конкретному заданию, разворачивайте соответствующие пункты. В конце алгоритма будут оценки, которые подходят для данного случая.

Также алгоритм представлен на схеме. Для более удобного просмотра, перейдите по ссылке, либо кликните на картинку.

scheme

Есть ли между ответом Алисы и действием/состоянием устройства/контекстом несоответствия?

Да

Оценка: Обман

Пример

Запрос: включи музыку
Ответ: Включаю
Действие: [отсутствует]
Алиса говорит, что включает музыку, но по действию видим, что этого не происходит. Верная оценка Обман.

Нет

Понятен ли запрос пользователя и хватает ли в нем параметров для выполнения запроса?

Да

Что пользователь хочет: поддержать диалог (в том числе задать вопрос, уточнить состояние устройства) или выполнить действие?

Поддержать диалог (в том числе задать вопрос, уточнить состояние устройства)

Алиса продолжает диалог/отвечает на вопрос или выполняет действие?

Продолжает диалог/отвечает на вопрос

Оцениваем уместность и правдивость ответа по инструкциям.

Возможные оценки: Да/Частично/Нет/Обман

Примеры

Состояние устройства: текущая громкость 7
Запрос: Алиса, какая сейчас громкость
Ответ: текущая громкость 7
Алиса отвечает правдивой информацией о состоянии устройства. Верная оценка Да.

Запрос: что такое сосиска в тесте
Ответ: Нашла ответ на леди елена точка ру. Слушайте: Сосиски в тесте Приготовление займёт 2 часа Шаг 1. Подогреть немного молока. В него положить сахар, добавить щепотку соли, разбить и вылить сырое яйцо. Шаг 2. ...
Факт только частично релевантен, Алиса поняла, что речь про сосиску в тесте, но начала рассказывать рецепт, а не ответила на непосредственный вопрос. Верная оценка Частично.

Запрос: алиса скажи все имена на я
Ответ: У меня все хорошо. А у Вас как?
Пользователь ожидал, что Алиса ответит фактом про имена на Я на запрос пользователя, но она решила поддержать разговор. Верная оценка Нет.

Запрос: сколько недель с девятого июня две тысячи двадцать первого года до тридцать первого декабря две тысячи двадцать второго года
Ответ: 5 если быть точным
Ответ содержит ошибочную информацию. Верная оценка Обман.

Выполняет действие

Это уже не может быть поддержанием диалога, которое ожидает пользователь.

Оценка: Нет

Пример

Запрос: Алиса, а я люблю петь и танцевать. А ты что любишь?
Ответ: Включаю
Действие: Включается музыкальный поток \"Моя волна\". Первый трек, который включится: https://music.yandex.ru/track/104102778 (Три дня дождя, трек \"Отпускай\")
Видим, что пользователь хотел поговорить с Алисой, а не включать музыку. Намерение угадано неверно. Верная оценка Нет.

Выполнить действие

Алиса выполняет действие или продолжает диалог/отвечает на вопрос?

Выполняет действие

Оцениваем насколько действие соответствует запросу по инструкции.

Возможные оценки: Да/Частично/Нет

Примеры

Запрос: Алиса, громкость на максимум
Ответ: готово
Действие: устанавливается уровень громкости равный 10
Алиса выполнила релевантное действие. Верная оценка Да.

Запрос: Алиса, громкость на 7
Ответ: хорошо, устанавливаю громкость на 8
Действие: устанавливается уровень громкости равный 8
Алиса поняла, что пользователь хочет изменить уровень громкости, но установила неверный уровень. Верная оценка Частично.

Запрос: Алиса, громкость на максимум
Ответ: включаю следующий трек
Действие: трек переключается на следующий
Алиса не поняла намерение пользователя и выполнила нерелевантное действие. Верная оценка Нет.

Продолжает диалог/отвечает на вопрос

Это уже не может быть выполнение действия, которое ожидает пользователь

Возможные оценки: Нет/Обман

Примеры

Состояние устройства: <играет музыка>
Запрос: Дальше
Ответ: Что будет дальше известно только программисту Алексею
Пользователь хочет включить следующий трек. Допустимо сказать что-то голосом, но при этом точно надо выполнить необходимое действие. Верная оценка Нет.

Запрос: Алиса, включи музыку
Ответ: я такого еще не умею
Алиса врет о своих возможностях. Верная оценка Обман.

Нет

Алиса уточняет?

Да

Соответствует ли переспрос намерению пользователя? Переспрос Алисы соответствует намерению пользователя, если Алиса дозапрашивает действительно недостающую информацию, которая приближает к корректному решению задачи пользователя. Подробнее в инструкции по переспросам.

Да

Оценка: Частично

Пример

Запрос: Установи таймер
Ответ: На какое время установить таймер?
Без уточнения нельзя понять, на какое время пользователь хотел выставить таймер, а соответственно нельзя выполнить корректное действие. Поэтому здесь считаем, что Алиса запросила действительно недостающую информацию. Верная оценка Частично.

Нет

Оценка: Нет

Пример

Запрос: Поставь на будильник песню Киркорова
Ответ: на какое время поставить будильник?
Не угадано намерение пользователя. Хотели поставить определенную музыку на звук будильника, а не запланировать новый будильник. Верная оценка Нет.

Нет

Запрос непонятный или в нем не хватает параметров?

Не хватает параметров

Алиса выполняет действие или поддерживает диалог? (Параметров не хватает обычно для выполнения действия.)

Выполняет действие

Возможные оценки: Частично/Нет

Примеры

Состояние устройства: текущие дата и время 2023-11-16 21:17:11
Запрос: Алиса поставь будильник
Ответ: Сделано. Будильник на завтра в 07:00. Отдыхайте
Действие: Теперь установлены следующие будильники: 1. Будильник на 2023-11-17 07:00:00
Не можем быть уверены, на какое время хотел поставить будильник пользователь. Верная оценка Частично.

Запрос: поставь будильник на завтра
Ответ: Включаю песню Будильник - Егор Крид
Действие: Включается Будильник - Егор Крид https://music.yandex.ru/album/3119071/track/26249615
Пользователь хотел установить будильник, а не включить музыку. Верная оценка Нет.

Поддерживает диалог

Возможные оценки: Нет/Обман

Примеры

Запрос: включи фильм
Ответ: Первым фильмом в истории называют фильм «Прибытие поезда на вокзал Ла-Сьота́» братьев Огюста и Луи Люмьер, снятый в 1895 году
Пользователь хотел включить фильм, хоть и не уточнил, какой именно. А Алиса рассказала исторический факт. Намерение не угадано. Верная оценка Нет.

Запрос: установи будильник
Ответ: К сожалению, я еще не научилась устанавливать будильники
Алиса врет о своих возможностях. Верная оценка Обман.

Непонятный запрос

Возможные оценки: Нет/Обман

Примеры

Запрос: шкаф наверх
Ответ: Включаю
Действие: Включается музыкальный поток \"Моя волна\". Первый трек, который включится: https://music.yandex.ru/track/104102778 (Три дня дождя, трек \"Отпускай\")
Непонятно, что именно хотел сделать пользователь, а Алиса включила музыку. Верная оценка Нет.

Запрос: шкаф наверх
Ответ: первый телефон был изобретен Александром Беллом в 2001 году
Непонятно, что именно хотел сделать пользователь, а Алиса продолжила недостоверным фактом. Верная оценка Обман.

Элементы интерфейса

Текущее взаимодействие — последнее взаимодействие пользователя с Алисой, выделено темно-серым блоком. Именно его и нужно оценить.

Контекст — предыдущие взаимодействия, находятся выше текущего взаимодействия. Контекст является дополнительной информацией о предыдущих взаимодействиях и состоянии устройства с Алисой. Контекст нужен, чтобы точнее понять, что именно хотел пользователь, и корректно оценить запрос.

Текущее взаимодействие выделено темно-серым блоком, блок с контекстом — светло-серым и расположен выше текущего

В правой части взаимодействия представлены:

  • Запрос пользователя- прижат к правому краю, выделен фиолетовым блоком. Содержит голосовой запрос пользователя в текстовом виде или введённый в приложение текстовый запрос пользователя.
  • Голосовой ответ Алисы - прижат к левому краю, выделен светло-серым блоком. Алиса может промолчать, тогда блок будет пустым или будет подпись что Алиса промолчала. Тот ответ Алисы который слышит пользовать
  • Действие - находится под ответом Алисы. Описание того как изменилось состояние устройства после запроса пользователя и ответа Алисы. Действия может не быть (Алиса его не совершила) и тогда поля не будет.

В блоке Состояние устройства отображены все параметры устройства на момент начала совершения запроса пользователем. Там вы можете встретить следующие параметры:

Активные таймеры.

Здесь отображается список таймеров и их состояние (сколько времени осталось, информация о паузах, работа в данный момент).

Будильники.

В графе записаны все будильники, установленные в колонке, начиная с текущего дня. При установке или отмене будильников нужно следить, изменился ли список. Если будильник звенит, запись об этом будет в текущем состоянии устройства.

Видео.

В этой графе будет информация о последнем просмотренном видео — его название, последний момент воспроизведения и «воспроизводится сейчас», если видео запущено. Также в этой графе может быть информация о следующем видео в очереди. Если в графе «Видео» пусто, значит либо отключен монитор, либо Алиса не «помнит» последнее воспроизведенное видео. Тогда команда «продолжить просмотр» не принесет ожидаемого результата.

Время, в которое зафиксировано состояние устройства.

.

Галерея на экране.

В этой графе будет та часть галереи, которую видит пользователь. С помощью голосовых команд пользователь может менять экраны галереи, чтобы увидеть другие обложки контента. Если на экране отображается список телеканалов, пользователь увидит первые 10 каналов. Если пользователь выбирает какой-то канал, которого нет в графе «Галерея на экране», нужно поверить, что этот канал существует под номером, который назвал пользователь.

Местоположение пользователя.

Нужно для корректной оценки геозависимых запросов: погода, построение маршрута, факты про страну/курс валют

Музыка.

Алиса хранит информацию о последнем воспроизведенном аудио и аудио, которое играет сейчас. В графе «Музыка» может быть как ссылка на трек, так и просто опиание трека с указанием исполнителя и названия. Пользователь может слушать не только музыку, но и любой аудиоконтент (книги, подскасты, музыку из навыков)

Скриншот с фрагментом диалога.

Скриншоты отображаются в задании «Оценка ответа Алисы для устройств с экраном». Такое же изображение видит пользователь на экране устройства в момент взаимодействия.

Уровень громкости.

Показывается при запросах типа «сделай громче» или «какой сейчас уровень громкости». Беззвучный режим — это отдельная характеристика, она не влияет на уровень громкости: при беззвучном режиме звук не воспроизводится, а уровень громкости остается таким же, как и до включения беззвучного режима.

Фильтрация контента.

Есть несколько типов фильтров:

  • без ограничений — Алиса воспроизводит всё, что удалось найти по запросу, включая контент «для взрослых»;
  • умеренный — из результатов поиска исключается контент «для взрослых», если нет явной команды найти такие ресурсы;
  • семейный — Алиса не воспроизводит контент «для взрослых», даже если получает явную команду найти такие ресурсы.
  • безопасный — самый строгий фильтр, весь воспроизводимый контент должен подходить детям.
    Подробнее — в разделе Алиса и фильтры.
Экран.

Если Станция подключена к телевизору/монитору/проектору, то есть возможность просматривать видеоконтент. Если нет, покажется сообщение «не подключено к телевизору». Список доступных экранов можно просмотреть по ссылке. Внимание! На текущий момент список не полный.

Горячие клавиши

  • 1, 2, 3, 4 и в некоторых случаях 5 — выбрать нужный ответ
  • ← и → — переключиться между заданиями
  • Enter — отправить лист со всеми выполненными заданиями на проверку

О бонусной системе

*Только для исполнителей в Яндекс Заданиях

В системе проектов типа «Оценка ответа Алисы» работает бонусная система — вы можете получить бонус в 20% заработка за неделю. Вот при каких условиях вы получите в понедельник бонус за прошлую неделю:

  • значение межпроектного навыка «Оценка ответа Алисы» в Яндекс Заданиях всю неделю было выше 70;
  • вы выполнили как минимум по 15 страниц заданий в трёх проектах типа «Оценка ответа Алисы» в Яндекс Заданиях;
  • за неделю не было ни одного бана в проектах типа «Оценка ответа Алисы»;
  • в общей сложности в проектах типа «Оценка ответа Алисы» вы выполнили как минимум 115 страниц заданий.