Заказчики приходят в Толоку с проектами разной сложности и масштаба. В одних случаях нужны исполнители с определёнными навыками — например, для перевода или написания текстов. В других ищут тех, кто готов тщательно изучить инструкцию и предельно внимательно выполнять задания.

Находить подходящих и отсеивать недобросовестных исполнителей в Толоке можно с помощью обучения и экзаменов. Это особенно полезно:

— в проектах, где запускаются нерегулярные или маленькие пулы: правила контроля качества в них могут не успеть сработать и не отфильтруют пользователей, которые допускают ошибки;

— в проектах, которые требуют от исполнителя подготовки, так как содержат специфическую разметку или сложную инструкцию.

Для обучения и отбора исполнителей вы можете создать четыре пула: 

• Обучающий — состоит из заданий с подсказками и привязывается к основному, чтобы исполнитель потренировался, прежде чем получить доступ к реальной разметке.
• Контрольный (экзаменационный) — состоит из контрольных заданий и используется, чтобы оценить готовность исполнителя после тренировки.
• Основной — ваши основные задания, к которым вы можете допускать пользователей по выбранным фильтрам и навыкам, основываясь на обучении, экзамене, реабилитации. Как создать основной пул, мы рассказывали в этой статье.
• Реабилитационный — состоит из контрольных заданий и используется, чтобы дать второй шанс исполнителям, которые прошли обучение и экзамен, но стали ошибаться при разметке основного пула.

Варианты отбора исполнителей

В зависимости от сложности заданий в дополнение к основному пулу можно использовать:

• Только обучающий пул.
• Обучающий пул и экзамен.
• Обучающий пул, экзамен и реабилитацию.

Расскажем подробнее о видах пулов в Толоке и о том, как их создавать, настраивать и связывать друг с другом.

Обучающий пул

Обучение — это пул бесплатных заданий, на которых исполнители могут потренироваться. Он содержит правильные ответы и подсказки. Если исполнитель ответил неправильно, на экран выводится подсказка. К следующему заданию можно перейти только после ввода правильного ответа.

Чтобы создать такой пул, откройте в проекте раздел «Обучения» и нажмите кнопку «Добавить обучение».

Обратите внимание на настройки, которые влияют на выдачу заданий и отбор исполнителей:

Повторное прохождение — укажите количество дней, через которое исполнитель может снова пройти обучение.

• Если исполнитель не справился с обучением, он опять получит к нему доступ через указанное количество дней.
• Если исполнитель справился, но в течение этого периода не приступил к разметке пула, с которым связано обучение, ему придётся снова пройти тренировку.
• Если у исполнителя был большой перерыв в выполнении основного задания (например, упало качество разметки и вы приостановили его участие в проекте), то он снова сможет пройти обучение через указанный срок.

Не ставьте слишком маленький период, ведь:

— спустя две попытки исполнитель выучит правильные ответы и пройдёт обучение с качеством 100 процентов;

— если у вас будет перерыв в размещении основных заданий, навыки всех пользователей, прошедших обучение, исчезнут через указанное количество дней.

Выдавать в процессе загрузки и Перемешивать на странице — опции, от которых зависит порядок заданий. Если выбрана первая, исполнитель увидит страницы заданий в том порядке, в каком они идут в загрузочном файле. Если выбрана вторая, задания внутри отдельной страницы перемешаются.

Например, вы загружаете в пул 10 заданий и хотите показать их двумя наборами по 5 штук. Если вы отметите обе опции, Толока сначала разделит записи на наборы (страницы) и сохранит порядок страниц, а затем перемешает задания внутри каждой из них.

Если тренировка построена от простых вопросов к сложным или от одной темы к другой, менять порядок заданий нежелательно. Оставьте отмеченной опцию «Выдавать в порядке загрузки» и снимите отметку «Перемешивать на странице», чтобы сохранить последовательность.

Полное прохождение и Необходимо пройти — настройки, от которых зависит, сколько обучающих заданий должен выполнить пользователь. Если ему нужно пройти весь пул — оставьте включённой опцию «Полное прохождение». Если только часть — отключите её, а в поле «Необходимо пройти» укажите достаточное для обучения количество страниц. В первом случае все исполнители будут выполнять одни и те же задания. Во втором тренировка станет разнообразнее: чем больше заданий вы добавите в пул — тем реже они будут повторяться.

После создания обучения можно загружать в него TSV-файлы с обучающими заданиями. Как создать TSV-файл — читайте в одном из предыдущих постов.

В процессе загрузки вы можете выбрать, сколько обучающих заданий показать на отдельной странице. Исполнителю будет удобнее, если вы разместите их по одному: в случае ошибки он сразу увидит подсказку, ему будет легче запомнить её. Но можно указать и другое количество — 2, 3 или, например, 10.

Рекомендации по созданию и настройке обучающего пула

• Обучающий пул должен полностью состоять из заданий с подсказками.
• Старайтесь писать подсказки, которые помогут определить, какой ответ считается правильным по инструкции и почему.
   

  Хорошая подсказка	Неудачная подсказка
  «Оцениваемый URL отвечает всем требованиям запроса: содержит новости, фото, видео об объекте — поэтому заслуживает положительной оценки». В ней указаны критерии правильного ответа.	«Вы ошиблись, перечитайте инструкцию». Исполнителю неясно, в чём заключается ошибка.

• Задание не закроется, пока пользователь не даст правильные ответы на все задания, поэтому добавляйте в пул только примеры, в которых вы уверены. 
• Чтобы тренировка была действительно полезной, задания должны отражать основные кейсы из инструкции примерно в равном соотношении. Также добавьте сложные случаи, на которые следует обратить особое внимание.
• Выделяйте на обучение достаточно времени. Исполнителю нужно не только проставить оценки, но и прочитать инструкцию и вникнуть в ваши комментарии.
• Не делайте обучение слишком большим — не каждый пользователь захочет пройти длинный бесплатный пул до конца. В итоге к основной разметке приступит меньше людей.
• В обучении нет настроек перекрытия и фильтров. Чтобы ограничить число исполнителей, которым оно будет доступно, нужно настроить требования к пользователям в основном пуле. Без них обучение будет видно всем, включая исполнителей из других стран, говорящих на других языках.

Как связать обучающий пул с основным

В настройках основного пула, в графе «Обучение», выберите обучающий пул, а в графе «Уровень прохождения» укажите процент правильных ответов: от 0 до 100. Например, если вы укажете 80, к основным заданиям смогут приступить те пользователи, кто набрал 80 и больше процентов.

Учитывайте количество заданий в обучающем пуле, когда выставляете значение навыка. Например, если в пуле 12 заданий, то 80 — не очень удачный порог: исполнителю надо дать 12 × 80% = 9,6 правильных ответа. Люди, которые ответили верно на 9 вопросов, не смогут приступить к основному пулу. Лучше поставить 75, тогда исполнитель успешно пройдёт обучение при 9 правильных ответах. Эта разница в значении навыка может вдвое увеличить количество тех, кому будет доступно основное задание.

Однако проекты со сложной разметкой требуют более строгого отбора. В следующей статье расскажем, как дополнительно проверять исполнителей после тренировки и реабилитировать тех, кто начал ошибаться при разметке основных заданий.