Контрольные задания

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Контрольные задания содержат образцы правильных ответов. С их помощью вы получите информацию о качестве работы исполнителей, не проверяя весь объем результатов. Контрольные задания упростят проверку, определят квалификацию исполнителей и сэкономят ваше время.

Когда использовать

Используйте контрольные задания, чтобы устанавливать исполнителю навык на основе его ответов и блокировать доступ исполнителям, которые дают неправильные ответы.

Не используйте, если:

  • много вариантов ответа;
  • к ответу нужно прикрепить файл;
  • требуется расшифровка текста;
  • требуется выделение объектов на фото;
  • присутствуют задания, в которых нет правильного или неправильного ответа. Например: «Какой образ вам больше нравится?» или «Выберите вариант дизайна страницы, который вам нравится больше».

Как настроить

Внимание

Поля Если и то в этом правиле — обязательные. Если не заполнить хотя бы одно, правило сохранить не получится.

Поле

Описание

Учитывать последних ответов на контрольные задания

Количество последних ответов исполнителя на контрольные задания.

Если поле не заполнено, в расчете учитываются ответы на все контрольные задания только того пула, к которому применяется правило.

Если поле заполнено, то правило считает ответы на контрольные задания в рамках значения, указанного в поле. При этом учитываются не только ответы из этого пула, но и из других пулов, где это поле заполнено.

Подробнее об этом параметре см. в разделе Параметр «Помнить значений».

Если

Условие, при котором выполняется действие в поле то:

  • количество ответов — количество выполненных обучающих и контрольных заданий;

  • процент правильных ответов — доля правильных ответов на контрольные и обучающие задания (от 0 до 100);

  • процент неправильных ответов — доля неправильных ответов на контрольные и обучающие задания (от 0 до 100);

  • количество контрольных ответов — количество выполненных контрольных заданий;

  • процент правильных контрольных ответов — доля правильных ответов на контрольные задания (от 0 до 100);

  • процент неправильных контрольных ответов — доля неправильных ответов на контрольные задания (от 0 до 100).

Чтобы добавить несколько условий, нажмите .

то

Действие, выполняемое при условии:

  • установить значение навыка — присвоить исполнителю фиксированное значение навыка.

  • принять все ответы исполнителя в пуле — требует настройки отложенной приемки.

    Пригодится, если исполнитель выполняет большинство заданий качественно. Пример: исполнитель выполнил больше 80% заданий правильно и вас устраивает такой результат. Правило сработает автоматически — все ответы в пуле будут приняты.

  • заблокировать — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

    Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов исполнителя не сохраняется. Навык рассчитывается на основании новых ответов.

  • приостановить — приостановить доступ исполнителя к пулу на указанное количество дней. Причина отображается только заказчику.

  • установить значение навыка из поля — сохранить долю правильных ответов исполнителя на контрольные задания как значение навыка.

Примеры правил

Задача: отсеять исполнителей, которые часто ошибаются.

Варианты решения:

Внимание

Ответы заблокированных исполнителей будут учтены, если не отклонить их вручную при помощи отложенной приемки. Чтобы отправить задания этих исполнителей на повторную разметку, настройте правило Повторное выполнение заданий после блокировки.

Заблокировать на основе контрольных заданий и доли правильных ответов

Оба правила работают независимо:

  1. Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.

  2. Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов меньше 60%, то он будет заблокирован на проекте.

В расчете используется не более 10 последних ответов исполнителя на контрольные задания в рамках проекта.

Исполнитель будет заблокирован, когда даст первый неправильный ответ на первое, второе или третье контрольное задание. При этом навык не будет установлен. Поскольку причина блокировки не указана, будет невозможно выяснить, почему исполнитель заблокирован.

Все правила действуют независимо:

  1. Если исполнитель дал не меньше 3 ответов на контрольные и обучающие задания, то доля правильных ответов будет записана как значение навыка.

  2. Если исполнитель дал 2 неправильных ответа на 3 контрольных задания, то он будет заблокирован в пуле на 10 дней.

  3. Если исполнитель дал 2 неправильных ответа на 4 контрольных задания, то он будет заблокирован в пуле на 10 дней.

  4. Если исполнитель дал 5 или больше ответов на контрольные задания и доля правильных ответов меньше 80%, то он будет заблокирован в пуле на 10 дней.

Такой набор правил позволяет не блокировать исполнителей за один неправильный ответ и поддерживать высокую точность.

Установить навык и запретить доступ к заданиям при его низком уровне

Навык помогает определять, насколько хорошо исполнитель справляется с заданиями. Если у исполнителя низкий навык, ему можно запретить выполнять задания в вашем пуле или проекте.

Если исполнитель ответит на 3 контрольных или обучающих задания, ему будет установлен навык. Используйте значение навыка для доступа к другому пулу с помощью фильтра.

Пример установки фильтра

Это правило никогда не начнет действовать, потому что количество учитываемых ответов (Учитывать последних ответов на контрольные задания) меньше числа ответов в правиле (количество контрольных ответов).

Заблокировать при доле правильных ответов на контрольные задания меньше 40%

Если доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.

Это правило не учитывает ответы на обучающие задания для блокировки.

Если доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней. Правило cработает один раз — сразу после пятого ответа на контрольное задание.

Решение проблем

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

  • правильно оценить качество его ответов не получится;

  • исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример
Размер пула Процент контрольных заданий Оценка Подробности
Большой пул 1% контрольных заданий Хорошо В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.
Маленький пул 1% контрольных заданий Плохо В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.
Маленький пул 10% контрольных заданий Хорошо В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило Контрольные задания начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете учитывать отеты:

  • на обучающие и контрольные задания (параметр Количество ответов);
  • только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, вычисляется процент правильных и неправильных ответов и выполняется действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если исполнителю уже начислены деньги за задания, то обратно их не вернуть.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Написать в службу поддержки

Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.

Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее

Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.

Подробнее

Предыдущая
Параметр «Помнить значений»
Следующая
Мнение большинства