Правила контроля качества

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Правила контроля качества позволяют получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Все правила работают независимо друг от друга.

Список правил

Чтобы следить за тем, как часто ошибаются исполнители:
- Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
- Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
- Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
Для защиты от роботов и недобросовестных исполнителей:
- Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
- Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
Чтобы привлечь разных исполнителей:
- Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
- Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
Для повторного выполнения некоторых заданий:
- Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
- Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.

Готовые наборы правил

В Яндекс Заданиях существуют готовые наборы правил контроля качества. Сейчас их три:

Начальный — подходит для тех заказчиков, которым необходимо, чтобы задания были выполнены большим числом исполнителей и в короткий срок.
Базовый — подойдет тем, кому необходим баланс между качеством и количеством.
Продвинутый — набор с большим количеством правил, необходим для сложных заданий.

В таблице представлены правила, которые входят в каждый из наборов.

	Заработок	Пропуск заданий	Контрольные задания	Мнение большинства	Выполненные задания	Быстрые ответы
Начальный	+	+	−	−	−	−
Базовый	+	+	+	+	−	−
Продвинутый	+	+	+	+	+	+

Как настроить контроль качества

Контроль качества можно настроить в пуле и в проекте.

Пул

Перейдите к редактированию пула (кнопка в верхнем правом углу страницы) и в блоке Контроль качества нажмите Добавить правило контроля качества.

Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Аудитория нажмите ссылку Скопировать из другого пула.

Проект

Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.

Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

Ограничение

При клонировании проекта настройки контроля качества не переносятся.

Решение проблем

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Общие рекомендации:

Обязательно используйте один или несколько способов контроля качества.
Подсчет быстрых ответов имеет смысл для большинства заданий.
Если в задании нужно выбрать один из готовых вариантов ответа, его лучше проверить с помощью мнения большинства или контрольных заданий.
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. В этом случае составьте контрольные задания для проверки качества работы исполнителей.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
- Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
- Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Настраивал контроль качества, затем скопировал требования к исполнителям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

В правиле Быстрые ответы время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение одной страницы с заданиями.

Если настроить установку навыка со значением 1 при условиях Учитывать последних значений = 10 и Процент принятых ответов >= 75, то исполнителю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 пункт навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

Перекрытие

Какое значение перекрытия лучше установить?

Оптимальное перекрытие — это перекрытие, которое позволяет получить качество ответов, устраивающее заказчика. Для большинства заданий без отложенной приемки достаточно перекрытия от 3 до 5. Если у вас простое задание, скорее всего, вам хватит перекрытия 3. Для заданий с отложенной приемкой установите перекрытие 1.

Можно ли изменить перекрытие после запуска пула?

Да. Установите новое значение перекрытия в настройках пула. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Блокировка исполнителей

В пуле установлено перекрытие и настроено мнение большинства. Недобросовестный исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед основным заданием делать обучение или экзамен, чтобы до основного пула допускались только те, кто хорошо прошел предыдущий этап отбора.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если исполнителю уже начислены деньги за задания, то обратно их не вернуть.

Может ли один исполнитель попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных исполнителей на повторное выполнение другим исполнителям — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

Если я блокирую исполнителей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли исполнителям о блокировке?

Нет, исполнители не знают о блокировке.

Мнение большинства

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества Мнение большинства учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Контрольные задания

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

правильно оценить качество его ответов не получится;
исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример

Размер пула	Процент контрольных заданий	Оценка	Подробности
Большой пул	1% контрольных заданий	Хорошо	В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.
Маленький пул	1% контрольных заданий	Плохо	В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.
Маленький пул	10% контрольных заданий	Хорошо	В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Как засчитываются правильные ответы на контрольные вопросы?

Правило Контрольные задания начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете учитывать отеты:

на обучающие и контрольные задания (параметр Количество ответов);
только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, вычисляется процент правильных и неправильных ответов и выполняется действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Я создал обучение, в котором одно задание с подсказкой. Исполнителю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить исполнителей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

Исполнители видят, что какой-то вопрос является контрольным?

Нет, не видят.

В разделе условий на контрольные вопросы поле Количество контрольных ответов — это общее количество ответов на контрольные вопросы или количество верных ответов на контрольные вопросы?

Это общее количество ответов на контрольные вопросы.

Как в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей?

Для этого есть два способа:

Использование действия заблокировать в правилах контроля. В поле Если укажите условие, при котором исполнитель будет заблокирован, и выберите действие заблокировать в поле то.

Пример

Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов меньше 60%, то он будет заблокирован на проекте.
Использование навыков и фильтров по навыкам. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.

Пример

Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания соответствуют спецификации проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

Подробнее см. в разделе Использование экзаменов.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Как можно протестировать исполнителей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи?

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для исполнителей, имеющих определенный навык — для этого используйте фильтры.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле вы можете назначить навык, который будет определять результат экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле Учитывать последних ответов на контрольные задания я хочу поставить 3, но система выдает ошибку, что значение слишком маленькое. Возможно ли так сделать, не увеличивая количества заданий до пяти?

В поле Учитывать последних ответов на контрольные задания указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то для настройки правила по вашей логике укажите 3 в параметре Количество проверенных ответов.

Скорость выполнения заданий

Почему упала скорость выполнения пула?

Возможные причины:

Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.
Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства исполнителей.
Слишком много исполнителей заблокированы. Сделайте правила контроля качества мягче.

Как ускорить выполнение заданий пула?

Мотивируйте исполнителей, назначив публичный навык и динамическое ценообразование.
Постарайтесь повысить рейтинг проекта, чтобы ваше задание оказалось выше в списке заданий у исполнителей.
Отрегулируйте соотношение скорости и качества.
Установите более высокий приоритет пула среди всех пулов проекта.

Написать в службу поддержки

Была ли статья полезна?

Как проверять исполнителей: правила контроля качества

Параметр «Помнить значений»