Мнение большинства

Мнение большинства — это способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Например, если в задании с перекрытием «5» три исполнителя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа. В зависимости от доли правильных ответов вы можете увеличивать значение навыка у исполнителя, либо блокировать ему доступ к заданиям.

Правило начинает действовать, когда количество ответов на задание равно перекрытию. Чтобы быстрее получить нужное число ответов, включите опцию Сохранять порядок заданий в параметрах пула.

Настройка правила

Поле

Описание

Считать большинством

Количество совпавших ответов, которое считается «мнением большинства» (например, 3). Значение должно быть меньше или равно перекрытию.

Помнить значений

Количество последних ответов исполнителя.

Чтобы в расчет попали ответы на задания из всех пулов проекта, поле должно быть заполнено в правиле каждого пула.

Если поле не заполнено, в расчете учитываются только ответы на задания того пула, к которому применяется правило.

Если

Условие, при котором выполняется действие в поле то:
  • количество ответов — количество выполненных заданий.

  • процент правильных ответов — доля правильных ответов, т.е. совпавших с мнением большинства (от 0 до 100).

  • процент неправильных ответов — доля неправильных ответов, т.е. не совпавших с мнением большинства (от 0 до 100).

Чтобы добавить несколько условий, нажмите .

то

Действие, выполняемое при условии:

  • установить значение навыка — присвоить навыку фиксированное значение.

  • принять ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если исполнитель выполняет большинство заданий качественно. Пример: толокер выполнил больше 80% заданий правильно и вас устраивает такой результат. Правило сработает автоматически — все ответы в пуле будут приняты.

  • отклонить ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если вам нужно несколько ответов исполнителя, чтобы судить о качестве результатов. Пример: спустя десять ответов стало понятно, что исполнитель выполняет задания некачественно. Сработает настроенное действие — все ответы в пуле будут отклонены.

  • приостановить — приостановить доступ исполнителя к пулу на указанное количество дней. Причина отображается только заказчику.

  • установить значение навыка из поля — сохранить долю правильных ответов исполнителя на задания как значение навыка.

  • заблокировать — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

    Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов исполнителя не сохраняется. Навык рассчитывается на основании новых ответов.

Примеры правил

Примеры приведены для простой классификации. Количество заданий на странице — 10.

Подсчет навыка и блокировка за неправильные ответы




Оба правила работают независимо:

  1. Если исполнитель дал не меньше 3 ответов на задания, то доля правильных ответов будет записана как значение навыка.
  2. Если исполнитель дал не меньше 3 ответов на задания и доля правильных ответов меньше 65%, то он будет заблокирован на проекте.

В расчете используется не более 10 последних ответов исполнителя на задания в рамках проекта.

Установка навыка


Если исполнитель ответит на 3 задания, ему будет установлен навык, соответствующий проценту правильных ответов.

Используйте значение навыка для доступа к другому пулу с помощью фильтра.

Пример установки фильтра


Блокировка за неправильные ответы


Если доля правильных ответов на задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.

Решение проблем

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли использовать один навык в разных проектах?

Этого делать не стоит. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.