Мнение большинства

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Мнение большинства — это способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Например, если в задании с перекрытием, равным пяти, три исполнителя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа.

В зависимости от доли правильных ответов вы можете изменять значение навыка у исполнителя либо блокировать ему доступ к заданиям.

Правило начинает действовать с того момента, когда у задания набралось полное перекрытие.

Допустим, для пула, в котором перекрытие=5, мы настроили правило:

Оно сработает, только когда минимум три задания из тех, что сделал исполнитель, наберут полное перекрытие. Получив ответы всех пяти исполнителей на задание, система определит, какой ответ выбрало большинство. Если ответы исполнителя на два задания из трех отличаются от ответов остальных, он потеряет доступ к проекту на 10 дней. Чтобы быстрее собрать все ответы для работы правила, включите опцию Сохранять порядок заданий в параметрах пула.

Количество заданий на странице не влияет на работу правила. На каждое задание ответы оцениваются отдельно. Может измениться только скорость получения результатов — чем больше заданий на странице, тем дольше исполнитель их делает.

Когда использовать

Используйте правило Мнение большинства, если:

• у вас нет возможности регулярно создавать и добавлять контрольные задания;
• вы хотите, чтобы ответы исполнителей проходили дополнительную проверку.

Не используйте, если:

• много вариантов ответа;
• к ответу нужно прикрепить файл;
• требуется расшифровка текста;
• требуется выделение объектов на фото;
• присутствуют задания, в которых нет правильного или неправильного ответа. Например: «Какой образ вам больше нравится?» или «Выберите вариант дизайна страницы, который вам нравится больше».

Рекомендации по использованию

Не добавляйте в задание много вопросов и вариантов ответа.

Чем больше у вас вариантов ответа, тем ниже вероятность, что Мнение большинства рассчитается правильно.

Чтобы для задания рассчиталось Мнение большинства, должны совпадать все ответы на все вопросы внутри задания. Если в задании несколько вопросов и/или на вопросы много вариантов ответа, то меньше вероятность, что наберется нужное для расчета навыка количество одинаковых комбинаций ответов на задание у разных исполнителей. Следовательно, это задание не будет участвовать в расчете навыка. Если Мнение большинства для задания не рассчиталось, то исполнителя не накажут за то, что его мнение не совпало с остальными.

Пример

	Исполнитель 1	Исполнитель 2	Исполнитель 3	Исполнитель 4	Исполнитель 5
Задание 1	OK	BAD	OK	BAD	OK
Задание 2	BAD	OK	OK	BAD	404
Задание 3	404	OK	404	OK	OK
Задание 4	OK	BAD	OK	404	404
Задание 5	OK	BAD	OK	404	OK

У заказчика есть пять заданий, которые выполнили пять исполнителей. В каждом задании одно поле выходных данных с тремя вариантами ответа. Перекрытие = 3. В таком случае, задания 1, 3 и 5 попали под выставленный порог, а остальные задания не будут учитываться при подсчете Мнение большинства.

Навык по Мнению большинства у исполнителей будет такой: Исполнитель 1 | (1+0+1)/3=66% правильных Исполнитель 2 | (0+1+0)/3=33% правильных Исполнитель 3 | (1+0+1)/3= 66% правильных Исполнитель 4 | (0+1+0)/3=33% правильных Исполнитель 5 | (1+1+1)/3=100% правильных

Например, в задании нужно выбрать минимум три подходящие категории из двадцати или отметить, что картинка не отображается. Поскольку комбинаций категорий может быть много, в расчет правила попадут в основном те задания, где все исполнители ответили Не отображается. Это могут быть как правильные ответы, так и ответы недобросовестных исполнителей, которые «прокликали» таким образом задания. В любом случае, навык, рассчитанный по таким ответам, будет недостоверным.

Попробуйте Декомпозировать задание или использовать Контрольные задания. Это обеспечит более точную оценку качества исполнителей.

Не выставляйте порог Считать большинством меньше 50% от перекрытия или равным перекрытию.

Если порог ответов равен перекрытию, то в расчет правило будет брать только те задания, где все исполнители дали одинаковые ответы, а те, где мнения разошлись, учитывать не будет.

Пример

Допустим, в пуле Перекрытие = 5 и Считать большинством = 2. Исполнители выполнили задание.

	Ответ на задание
Исполнитель 1	OK
Исполнитель 2	OK
Исполнитель 3	BAD
Исполнитель 4	BAD
Исполнитель 5	404

В этом случае исполнители 1, 2, 3 и 4 ответили правильно, а исполнитель 5 — нет. При этом невозможно понять, какой из ответов правильный.

Не используйте Мнение большинства там, где:

• много вариантов ответа;
• к ответу нужно прикрепить файл;
• требуется расшифровка текста или выделение объектов на фото, и других заданиях, где исполнители не смогут дать одинаковый ответ.

Настройка правила

Поле	Описание
Считать большинством	Количество совпавших ответов, которое считается Мнением большинства (например, 3). Учитывать последних заданий	Количество последних ответов исполнителя. Если поле не заполнено, в расчете учитываются все ответы на задания только того пула, к которому применяется правило. Если поле заполнено, то правило считает ответы на задания в рамках значения, указанного в поле. При этом учитываются не только ответы из этого пула, но и из других пулов, где это поле заполнено. Подробнее о том, как работает это поле.
Если	Условие, при котором выполняется действие в поле то: количество ответов — количество выполненных заданий. процент правильных ответов — доля правильных ответов, т.е. совпавших с мнением большинства (от 0 до 100). процент неправильных ответов — доля неправильных ответов, т.е. не совпавших с мнением большинства (от 0 до 100). Чтобы добавить несколько условий, нажмите .
то	Действие, выполняемое при условии: принять все ответы исполнителя в пуле — требует настройки отложенной приемки. Пригодится, если исполнитель выполняет большинство заданий качественно. Пример: исполнитель выполнил больше 80% заданий правильно и вас устраивает такой результат. Правило сработает автоматически — все ответы в пуле будут приняты. приостановить — приостановить доступ исполнителя к пулу на указанное количество дней. Причина отображается только заказчику. заблокировать — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику. Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов исполнителя не сохраняется. Навык рассчитывается на основании новых ответов. установить значение навыка — присвоить исполнителю фиксированное значение навыка. установить значение навыка из поля — сохранить долю правильных ответов исполнителя на задания как значение навыка.

Примеры правил

Примеры приведены для простой классификации. Количество заданий на странице — 10.

Подсчет навыка и блокировка за неправильные ответы

Установка навыка

Блокировка за неправильные ответы

Решение проблем

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

• Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

  • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

  • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

  Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.

• Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

  Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

В пуле установлено перекрытие и настроено мнение большинства. Недобросовестный исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед основным заданием делать обучение или экзамен, чтобы до основного пула допускались только те, кто хорошо прошел предыдущий этап отбора.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества Мнение большинства учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Написать в службу поддержки