📕 Факты

Пользователи часто обращаются к Алисе с разными вопросами: узнать факты о событиях, явлениях, людях, найти нужную информацию в интернете.

Что такое фактовый запрос?

1. Это запрос подразумевающий короткий и однозначный ответ.
   Например,

   Запрос: естественный спутник планеты земля

   Ответ: Естественный спутник Земли — это Луна.

   yandex.ru

2. Запросы с вопросами кто/что/какой/сколько/где/когда/почему и пр. являются фактовыми в большинстве случаев.
   Например,

   Запрос: Кто такая Алина Загитова

   Ответ: Нашла на на википедия точка орг: Алина Загитова - российская фигуристка, выступавшая в одиночном катании

   ru.wikipedia.org

3. Запросы в стиле "расскажи про... "
   Например,

   Запрос: Расскажи про Дунай

   Ответ: Дунай - вторая по протяжённости и полноводности река в Европе после Волги, трансграничная река, самая длинная река на территории Европейского Союза. Берёт исток в горах Шварцвальда в Германии. Дунай протекает по территории или является границей десяти государств: Германии, Австрии, Словакии, Венгрии, Хорватии, Сербии, Болгарии, Румынии, Украины и Молдавии. Ответ нашла на википедия точка орг.

4. Запросы рецептов.
   Например,

   Запрос: приготовить плов в мультиварке

   Ответ: Нашла на еда.ру. Способ приготовления: 1. Сначала тщательно обжарить мясо со всех сторон. На это уйдет примерно полчаса. 2. Добавить нарезанную луковицу, морковь и продолжить обжаривание 10 минут. 3. Засыпать в мультиварку рис, залить горячей водой, добавить соль, пряности. 4. Включить программу «Плов» и готовить 1 час. Чеснок добавляется в конце приготовления.

Корректный ответ Алисы

В корректном ответе Алисы информация:

• релевантна — полно отвечает на заданный запрос, а не содержит размышления на тему, которые не касаются сути;

• уместна — не содержит грубости, мата, оскорблений, угроз, желтухи/бреда, шок-контента, провокационных высказываний политического, идеологического или религиозного характера;

• достоверна — актуальна и не содержит лжи, слухов, сплетен, или сомнительных сенсаций. Определить качество и правдивость ответа поможет кнопка быстрого поиска по запросу в Яндексе или Google. Особенно осторожно стоит относиться к чувствительным тематикам, например, к таким как медицина.

Ответ содержит источник информации:

• либо в виде ссылки под голосовым ответом Алисы

  пример

  

• либо в виде упоминания ресурса в голосовом ответе

  пример

  Запрос: Кто такая Алина Загитова

  Ответ: Нашла на на википедия точка орг: Алина Загитова - российская фигуристка, выступавшая в одиночном катании

  • За источник информации считаем только конкретный ресурс/сайт, например “Нашла на еда.ру“, “Ответ нашла на википедия точка орг“ и тд

  • Обобщенные фразы вида “Вот, что нашла в сети:“, “В интернете пишут:..“, “СМИ:…“ источником информации здесь не считаем

Примеры

• Да:

  • Намерение пользователя определено верно. Ответ полностью релевантен, уместен, достоверен и содержит источник информации (в голосовом ответе и/или в виде ссылки).

    примеры

    Запрос: кто основал майкрософт

    Ответ: Компанию Microsoft основали в 1975 году Билл Гейтс и Пол Аллен.

    ru.wikipedia.org

    Факт достоверен и содержит ссылку на источник информации

    Запрос: кто основал майкрософт

    Ответ: Компанию Microsoft основали в 1975 году Билл Гейтс и Пол Аллен. Ответ нашла на википедия точка орг.

    Факт достоверен и содержит указание на источник информации в голосовом ответе

    Запрос: кто основал майкрософт

    Ответ: Компанию Microsoft основали в 1975 году Билл Гейтс и Пол Аллен. Ответ нашла на википедия точка орг.

    ru.wikipedia.org

    Факт достоверен и содержит как ссылку на источник информации, так и указание на него в голосовом ответе

• Частично:

  • Алиса поняла, что пользователю требуется фактовый ответ, но выдала нерелевантную, неуместную или бесполезную информацию. Ответ при этом достоверен и содержит источник информации (в голосовом ответе и/или в виде ссылки).

    примеры

    Запрос: что такое сосиска в тесте

    Ответ: Нашла ответ на леди елена точка ру. Слушайте: Сосиски в тесте Приготовление займёт 2 часа Шаг 1. Подогреть немного молока. В него положить сахар, добавить щепотку соли, разбить и вылить сырое яйцо. Шаг 2. ...

    Факт только частично релевантен, Алиса поняла, что речь про сосиску в тесте, но начала рассказывать рецепт, а не ответила на непосредственный вопрос

    Запрос: в каком году вышел фильм жена киллера

    Ответ: Вот, что нашла на википедия точка орг: Фильм «Призрачная шестерка» вышел в 2019 году.

    Нашлась инфомация по выходу фильма, но фильм не тот, который просил пользователь.

  • Намерение пользователя определено верно. Ответ полностью релевантен, уместен, достоверен, но не содержит источник информации (ни в голосовом ответе, ни в виде ссылки)

    примеры

    Запрос: кто основал майкрософт

    Ответ: Компанию Microsoft основали в 1975 году Билл Гейтс и Пол Аллен.

    Факт достоверен, но не содержит источник информации ни в виде ссылки, ни в голосовом ответе

    Запрос: кто основал майкрософт

    Ответ: Вот, что нашла в сети: Компанию Microsoft основали в 1975 году Билл Гейтс и Пол Аллен.

    Факт достоверен, но не содержит источника информации. “Вот, что нашла в сети:..“ не считаем здесь источником информации.

  • Ответ содержит недостоверную информацию, но есть ссылка и в голосовом ответе указан источник

    пример

    Запрос: что такое Дубай

    Ответ: Нашла на ответы маил точка ру: Дубай - столица Объединенных Арабских Эмиратов

    otvet.mail.ru

    Здесь ставим оценку Частично. Несмотря на недостоверность информации (столицей ОАЭ является город Абу-Даби, а Дубай - это крупнейший город ОАЭ) считаем, что Алиса не соврала здесь. Ведь она указала в голосовом ответе, что нашла данный ответ в источнике, в котором действительно есть такая информация.

  • Ответ на фактовый запрос содержит рекламу, призывы что-то купить, пользоваться товарами и услугами.

  • На некоторые вопросы пользователей не существует явного короткого ответа, который можно зачитать голосом. В этом случае Алиса предлагает прислать результаты поисковой выдачи пушом на телефон.

    пример

    Запрос: надо скачать игру легионер

    Ответ: Это сложный вопрос, быстро не разобраться. Хотите, я отправлю результаты поиска вам на телефон?

  • Иногда сервис Алисы может быть недоступен или поисковая выдача по данному запросу оказывается пуста, тогда Алиса отвечает заглушкой. Такой ответ оценивается как "Частично".

    пример

    Запрос: надо скачать игру легионер

    Ответ: По вашему запросу не получилось ничего найти

• Нет:

  • Намерение пользователя определено неверно. Например, пользователь просил поставить музыку или видео, хотел поболтать и тд, но получил фактовый ответ.

    пример

    Запрос: сделай громкость на максимум

    Ответ: Нашла на софтсалат точка ру: Установите желаемый уровень громкости в блоке ""Норма" громкости" в пределах от 75 до 105,9. По умолчанию здесь установлено ровно 89 децибел — уровень, признанный многими специалистами в качестве нормальной громкости для человеческого уха.

    Пользователь хотел установить громкость на максимум.

    пример

    Предыдущий запрос: устала я на работе

    Предыдущий ответ: а кем вы работаете?

    Запрос: бухгалтером

    Ответ: нашла на медиа фоксфорт точка ру. Бухгалтер – это специалист, который ведет бухгалтерский учёт в компании, занимается документооборотом, подготовкой и отправкой бухгалтерской и налоговой отчетности в контролирующие органы.

    Пользователь ожидал продолжения разговора с Алисой.

  • Пользователь задает запрос, на который ожидает фактовый ответ, а вместо этого Алиса болтает, включает музыку и тд. Чаще всего такая путаница между фактовыми ответами и болталкой. Чтобы корректно оценить запрос, необходимо внимательно прочитать диалог с учетом всего контекста

    пример

    Запрос: алиса скажи все имена на я

    Ответ: У меня все хорошо. А у Вас как?

    Пользователь ожидал, что Алиса ответит фактом про имена на Я на запрос пользователя, но она решила поддержать разговор

• Обман:

  • Ответ содержит недостоверную информацию и нет ссылки и/или в голосовом ответе не указан источник

    примеры

    Запрос: когда распался ссср

    Ответ: ссср распался в 1995 году

    Ответ Алисы содержит недостоверный факт, при этом отсутствует источник информации в каком-либо виде

    Запрос: как лечить рак травами

    Ответ: Для лечения рака желудка: измельчить на терке 200 г чаги, 100 г травы тысячелистника, 100 г сосновых почек, 100 г шиповника и 5г полыни, тщательно перемешать, залить 3 л холодной и кипятить.

    Алиса рекомендует лечение серьезных заболеваний "народными методами", при этом отсутствует источник информации

    Запрос: что такое Дубай

    Ответ: Дубай - столица Объединенных Арабских Эмиратов

    otvet.mail.ru

    Утверждение неверное, но в источнике по ссылке есть такая информация, но Алиса явно не проговаривает этот источник в голосовом ответе. Поэтому здесь считаем, что Алиса обманывает пользователя.

    Запрос: что такое Дубай

    Ответ: Нашла на ответы маил точка ру: Дубай - столица Объединенных Арабских Эмиратов

    Из-за того, что нет ссылки на источник не сможем наверняка проверить, что на сайте, на который ссылается Алиса в голосовом ответе, действительно есть такая информация. Поэтому считаем, что Алиса обманывает.

  • Ответ содержит недостоверную информацию, есть ссылка и в голосовом ответе озвучиваетсся ресурс, но по ссылке данная информация отсутствует

    пример

    Запрос: какая ближайшая к Солнцу планета

    Ответ: Нашла ответ на википедия точка орг. Ближайшая планета к Солнцу - это Луна

    ru.wikipedia.org

    Факт недостоверный. Алиса в голосовом ответе утверждает, что взяла данную информацию в определенном источнике, однако данная информация отсутствует в этом источнике. Поэтому здесь ставим оценку Обман.

Исключения

Не снижаем за отсутствие источника в ответе для запросов по следующим темам: погода, новости, конвертация валют, калькулятор, перевод.

Особенности оценивания ответов по таким темам:

🌤Погода

• Да:

  • Намерение пользователя определено верно, а ответ релевантен, уместен и достоверен. Здесь ответ Алисы считаем достоверным, если погода в ответе типична для указанного региона и времени года. С точностью до градуса информацию проверять не надо. За отсутствие источника информации здесь не снижаем оценку.

    пример

    Местоположение в состоянии устройства: Санкт-Петербург

    Время в состоянии устройства: 2024-10-21 16:15:43

    Запрос: какая сейчас температура на улице

    Ответ: сейчас в Санкт-Петербурге 10 градусов

    Указанная температура является типичной для Санкт-Петербург в октябре. Оценка Да.

• Обман:

  • Ответ Алисы считаем обманом, если погода в ответе совершенно нетипична для указанного региона и времени года (обратите внимание на пункт отличие обычного ответа от обмана)

    пример

    Время в состоянии устройства: 2024-07-21 16:15:43

    Запрос: какая сейчас температура в Москве

    Ответ: в Москве сейчас минус 20 градусов

    Указанная температура нетипична для Москвы в июле. Алиса обманывает. Оценка Обман.

📰Новости

• Да:

  • Намерение пользователя определено верно, а ответ релевантен, то есть соответствует:

    • дате запроса

      • на запрос актуальных новостей (запросы вида “новости сегодня“) ожидаем свежие новости на момент запроса и проверяем дату новостного сюжета

      • если явным образом не запрашивают актуальные новости, то не проверяем свежесть новостного сюжета

    • запрашиваемому новостному ресурсу

      • на запрос новостей из определенного новостного ресурса, ожидаем, что Алиса явно проговаривает в своем голосовом ответе, что новости взяты именно из этого ресурса

        пример

        Запрос: новости чемпионат точка ком

        Ответ: Чемпионат: «Атлетико» Мадрид подал протест в УЕФА из-за пенальти в матче ЛЧ с «Лиллем»…

      • если явным образом не запрашивали определенный новостной ресурс, то за отсутствие источника информации здесь не снижаем оценку

    • запрашиваемой теме

      • если пользователь запрашивает новости по конкретной теме, то ожидаем, что Алиса ответит новостями именно по этой теме

• Частично:

  • Намерение пользователя определено верно, а ответ не полностью релевантен. Например:

    • На запрос актуальных новостей Алиса привела старые новости
    • На запрос определенного новостного ресурса, Алиса привела новости из другого новостного ресурса, либо без указания ресурса в своем голосовом ответе
    • На запрос новостей по конкретной теме, Алиса ответила новостями по другой теме

• Обман:

  • Ответ Алисы содержит недостоверную информацию без указания источника

💲Конвертация валют

• Да:

  • Намерение пользователя определено верно, а ответ релевантен, уместен и достоверен. Здесь ответ Алисы считаем достоверным, если ответ Алисы примерно согласуется с курсом валют за дату запроса

    пример

    Текущая дата: 2024-10-21

    Запрос: сколько 15 долларов в рублях

    Ответ: 1450 рублей

    Получилось, что расчет был произведен по курсу ~97 рублей за доллар, что похоже на актуальный курс в дату запроса. За отсутствие источника информации здесь не надо снижать оценку. Оценка Да.

• Обман:

  • Ответ Алисы считаем обманом, если взятый курс совершенно не близок к действительности с учетом даты в запроса (обратите внимание на пункт отличие обычного ответа от обмана)

    пример

    Текущая дата: 2024-10-21

    Запрос: сколько 15 долларов в рублях

    Ответ: 15000 рублей

    Получилось, что расчет был произведен по курсу 1000 рублей за доллар, что не соответствует действительности. Оценка Обман.

🔢 Калькулятор

• Да:

  • Намерение пользователя определено верно, а ответ релевантен, уместен и достоверен. Здесь ответ Алисы считаем правдивым, если она привела верный результат вычислений. За отсутствие источника информации здесь не снижаем оценку.

    пример

    Запрос: сколько будет 10 плюс 10

    Ответ: 20

    Алиса назвала верный результат вычислений. Оценка Да.

• Обман:

  • Ответ Алисы считаем обманом, если она привела неверный результат вычислений (обратите внимание на пункт отличие обычного ответа от обмана)

    пример

    Запрос: сколько будет 10 плюс 10

    Ответ: 50

    Алиса назвала неверный результат вычислений. Оценка Обман.

✏️ Перевод

• О том как оценивать задания здесь. Для ответов на запросы перевода наличие источника также является необязательным.