Настройка контроля качества
Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:
Написать в чат Написать в Telegram
Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из правил. Все правила работают независимо друг от друга.
Важно
Настройки контроля качества в проекте будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.
При клонировании проекта настройки контроля качества не переносятся.
Чтобы настроить контроль качества:
-
Откройте страницу проекта.
-
Перейдите на вкладку Контроль качества.
-
Нажмите кнопку Настроить контроль качества.
-
Нажмите + Добавить блок контроля качества.
-
В появившемся списке выберите правила, которые вам нужны. Если вы не уверены, какие правила контроля качества вам нужны, выберите готовый набор защиты — это несколько правил с настройками по умолчанию.
-
Задайте настройки для добавленных правил. Ниже представлен список правил со ссылками на подробную информацию о настройках правила.
Список правил
-
Чтобы следить за тем, как часто ошибаются исполнители:
-
Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
-
Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
-
Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
-
-
Для защиты от роботов и недобросовестных исполнителей:
-
Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
-
Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
-
-
Чтобы привлечь разных исполнителей:
-
Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
-
Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
-
-
Для повторного выполнения некоторых заданий:
-
Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
-
Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.
-
Решение проблем
Как правильно настроить контроль качества в пуле?
Настройка блоков контроля качества зависит от типа заданий. Общие рекомендации:
-
Обязательно используйте один или несколько способов контроля качества.
-
Подсчет быстрых ответов имеет смысл для большинства заданий.
-
Если в задании нужно выбрать один из готовых вариантов ответа, его лучше проверить с помощью мнения большинства или контрольных заданий.
-
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
-
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. В этом случае составьте контрольные задания для проверки качества работы исполнителей.
Сколько контрольных заданий нужно добавлять?
Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.
Почему так
Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.
Доступных страниц не должно быть слишком мало. Иначе:
-
правильно оценить качество его ответов не получится;
-
исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.
Пример
| Размер пула | Процент контрольных заданий | Оценка | Подробности |
|---|---|---|---|
| Большой пул | 1% контрольных заданий | Хорошо | В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц. |
| Маленький пул | 1% контрольных заданий | Плохо | В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу. |
| Маленький пул | 10% контрольных заданий | Хорошо | В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц. |
Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.
Зачем
Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.
Примечание
Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Как засчитываются правильные ответы на контрольные вопросы?
Правило Контрольные задания начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете учитывать отеты:
- на обучающие и контрольные задания (параметр Количество ответов);
- только на контрольные (параметр Количество контрольных ответов).
Как только нужное количество ответов набрано, вычисляется процент правильных и неправильных ответов и выполняется действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.
Нужно ли создавать навык для каждого пула?
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
-
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
-
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
-
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.
-
-
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.
Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?
Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
Можно ли отключать задания для исполнителей, которые выполняют его некачественно?
Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.
Что дальше
-
Узнайте больше про настройку проекта:
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее
Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.
Правило контроля качества, которое ограничивает количество страниц заданий, которые может выполнить один исполнитель (с учетом перекрытия). Это позволяет выбрать большее количество исполнителей.
Система мониторинга и контроля, которая позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее
Правило контроля качества, основанное на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Другие ответы считаются неправильными.
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).
Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.