Контрольные задания

Добавьте правило, чтобы устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.

Настройка правила

Поле

Описание

Сколько последних значений учитывать

Количество последних ответов исполнителя на контрольные задания.

Чтобы в расчет попали ответы на контрольные задания из всех пулов проекта, поле должно быть заполнено в правиле каждого пула.

Если поле не заполнено, в расчете учитываются ответы на контрольные задания только того пула, к которому применяется правило.

Если

Условие, при котором выполняется действие в поле то:
  • количество ответов — количество выполненных обучающих и контрольных заданий.

  • процент правильных ответов — доля правильных ответов на контрольные и обучающие задания (от 0 до 100).

  • процент неправильных ответов — доля неправильных ответов на контрольные и обучающие задания (от 0 до 100).

  • количество контрольных ответов — количество выполненных контрольных заданий.
  • процент правильных контрольных ответов — доля правильных ответов на контрольные задания (от 0 до 100).
  • процент неправильных контрольных ответов — доля неправильных ответов на контрольные задания (от 0 до 100).

Чтобы добавить несколько условий, нажмите .

то

Действие, выполняемое при условии:

  • установить значение навыка из поля — сохранить долю правильных ответов исполнителя на контрольные задания как значение навыка.

  • установить значение навыка — присвоить навыку фиксированное значение.

  • принять ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если исполнитель выполняет большинство заданий качественно. Пример: толокер выполнил больше 80% заданий правильно и вас устраивает такой результат. Правило сработает автоматически — все ответы в пуле будут приняты.

  • отклонить ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если вам нужно несколько ответов исполнителя, чтобы судить о качестве результатов. Пример: спустя десять ответов стало понятно, что исполнитель выполняет задания некачественно. Сработает настроенное действие — все ответы в пуле будут отклонены.

  • приостановить — приостановить доступ исполнителя к пулу на указанное количество дней. Причина отображается только заказчику.

  • заблокировать — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

    Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов исполнителя не сохраняется. Навык рассчитывается на основании новых ответов.

Примеры правил

Подсчет навыка и блокировка за неправильные ответы




Оба правила работают независимо:

  1. Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка.
  2. Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов, меньше 60%, то он будет заблокирован на проекте.

В расчете используется не более 10 последних ответов исполнителя на контрольные задания в рамках проекта.

Установка навыка


Если исполнитель ответит на 3 контрольных или обучающих задания, ему будет установлен навык. Используйте значение навыка для доступа к другому пулу с помощью фильтра.

Пример установки фильтра


Блокировка за неправильные ответы


Если доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.

Это правило не учитывает ответы на обучающие задания для блокировки.

Решение проблем

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в основной пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Яндекс.Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли использовать один навык в разных проектах?

Этого делать не стоит. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.