Разметка заданий

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Так, вы можете сделать основное задание контрольным, указав правильный ответ, или обучающим, добавив правильный ответ и подсказку.

Какой должна быть хорошая подсказка?

Избегайте формулировок формата: «Вы ответили неправильно, ответьте правильно». Исполнитель ничему не научится, если текст в подсказках не будет пояснять суть ошибки.

Подсказки следует делать понятными, объяснять, какой именно ответ надо выбрать и почему.

Ограничение. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания» .
  1. Как разметить задания
  2. Повысить надежность контрольных заданий
  3. Что дальше
  4. Решение проблем

Как разметить задания

  1. Убедитесь, что пул не запущен.
  2. Нажмите кнопку Разметить в блоке Задания пула.
  3. Перейдите на вкладку Основные, Контрольные или Обучающие. Создайте контрольное или обучающее задание из задания другого типа.
  4. Отметьте ответы, которые нужно учитывать при проверке. (Справа приведен список полей с выходными данными.)
  5. Нажмите кнопку Сохранить и перейти к следующему.
Пример разметки задания

В примере добавлен правильный ответ для контрольного задания. При проверке будет учитываться только выбор в поле result (Хорошее / Плохое / Ошибка загрузки).

Повысить надежность контрольных заданий

После того, как вы создали контрольные задания, убедитесь, что различные варианты правильных ответов встречаются в равной степени. Это поможет избежать случайное угадывание ответов со стороны исполнителей.

  1. Перейдите на страницу разметки задания.
  2. Откройте вкладку Контрольные → Распределение ответов на контрольные задания.

    Распределение ответов указано в процентах.

Совет. При составлении контрольных заданий в качестве правильных указывайте только ответы по существу. Так, для задания, в котором нужно распределить изображения по категориям, вариант Ошибка загрузки изображения не будет считаться ответом по существу.
Пример распределения ответов

Решение проблем

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в основной пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Яндекс.Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.