Продолжаем разбираться с настройками отборочных пулов. Мы уже рассказали, как создать обучение и привязать его к основным заданиям. В сложных проектах могут понадобиться ещё два этапа — контрольный пул (экзамен) и реабилитация.

Контрольный пул

Чтобы проверить пользователя после обучения, вы можете добавить контрольный пул (экзамен). В нём нет подсказок, но есть правильные ответы — то есть он полностью состоит из контрольных заданий.

Если в проекте есть экзаменационный пул, доступ к основным заданиям будет зависеть от его результатов, а не от успешности обучения.

Контрольный пул создаётся так же, как основной: зайдите в проект и нажмите кнопку «Добавить пул». Обычно его делают бесплатным — указывают в настройках цену $0.00. Но можно сделать экзамен оплачиваемым для всех или, с помощью отложенной приёмки, только для тех, кто с ним справился.

Рекомендации по созданию и настройке контрольного пула

• Отбирайте только однозначные задания. 
• Составьте экзамен так, чтобы разные варианты ответов встречались примерно с одинаковой частотой.
• Настройте правила так, чтобы по итогам экзамена пользователю присвоился навык, равный проценту правильных ответов.
• Используйте для обучающего и контрольного пула разные навыки. Первый система создаст автоматически. Второй нужно создать вам. Придумайте ему понятное название и сделайте публичным. Так вы не запутаетесь сами и не запутаете пользователей.
• Не давайте слишком много контрольных заданий. Достаточно трёх-пяти страниц в зависимости от сложности.
• Не забывайте закрывать экзамен, когда набралось достаточно пользователей для разметки основного пула или если разметка основных заданий закончилась. Иначе исполнитель впустую потратит время. 

Обратите внимание: если пользователь при прохождении экзамена нажмёт кнопку «Пропустить», вся страница не засчитается. Тогда системе не хватит выполненных заданий, чтобы назначить ему навык. Можно избежать этого, если:

• в режиме редактирования проекта найти блок html, нажать «шестерёнку» и отключить кнопку «Пропустить»;

  

• добавить в пул больше заданий, чем нужно для расчёта навыка, указать необходимое количество ответов и настроить требование к исполнителям: <экзаменационный навык> = отсутствует;

  

  

• разместить все задания на одной странице.

Обычно экзамен проходят один раз. Но можно дать исполнителю несколько шансов.

Например, для прохождения достаточно 10 заданий. Загрузите в пул 5 страниц по 10 заданий. В настройках пула добавьте правило «Контрольные задания»:
Сколько последних значений учитывать — 10. Если количество ответов ≥ 10, то установить значение навыка из поля <экзаменационный навык> процент правильных ответов.

В требованиях к пользователям укажите: <экзаменационный навык> < 80 или = отсутствует.

Так у пользователя будет 5 попыток пройти экзамен. Если за первые 10 заданий он не наберёт пороговое значение навыка (в примере — 80), то сможет попробовать ещё раз. Чтобы вторую попытку можно было предпринять не сразу, а, например, через день, в настройках пула добавьте правило «Выполненные задания»: если количество выполненных заданий = 10, приостановить в пуле на 1 день.

Как связать контрольный пул с другими 

Если в проекте есть экзаменационный пул, обучение нужно связать именно с ним, а не с основными заданиями. Укажите в настройках контрольного пула название обучения и уровень прохождения = 60. Так вы допустите к экзамену только пользователей, прошедших обучающий пул с качеством не ниже 60, и отсеете тех, кто не справился или не проходил его. 

Связать контрольный пул с основным можно при помощи экзаменационного навыка. Установите в основном пуле фильтр для исполнителей: <экзаменационный навык> ≥ 80. Тогда к разметке приступят исполнители, которые дали не менее 80% правильных ответов на вопросы экзамена.

Подробнее об использовании навыков читайте в нашей статье.

Основной пул

Благодаря обучению и экзамену доступ к разметке получат пользователи, которые изучили инструкцию и подтвердили её понимание. Но качество ответов в основном пуле тоже нужно контролировать — на случай, если кто-то из прошедших отбор исполнителей вдруг станет хуже справляться с задачей.

Загрузите в основной пул контрольные задания, желательно не менее 1%. Настройте контроль качества так, чтобы пользователю присваивался навык, равный проценту правильных ответов. Это будет <основной навык> проекта. Укажите требование к исполнителям: <основной навык> ≥70 или = отсутствует>. Тогда основные задания будут выполнять пользователи, которые делают это качественно или только приступают к разметке.

Пользователя с низким основным навыком система отключит от задания. Однако вы можете дать ему возможность пройти реабилитационный пул. Когда исполнитель станет хорошо справляться с заданиями реабилитации, можно вернуть ему доступ к основным.

Реабилитационный пул

Реабилитация создаётся как основной пул и состоит из контрольных заданий. Зайдите в проект и нажмите кнопку «Добавить пул».

Как и экзамен, задания реабилитации обычно бесплатны. Но можно оплачивать их всем или только тем, кто с ними справился.

Не делайте реабилитацию слишком длинной — как и обучение, и контрольный пул. Иначе не все пользователи захотят пройти её до конца.

Можно также ограничить количество попыток в день. Например, если для реабилитации достаточно 10 заданий, добавьте в блоке контроля качества правило «Выполненные задания»: если количество выполненных заданий = 10, приостановить в пуле на 1 день. Тогда пользователь, не справившийся с первого раза, сможет повторить попытку лишь на следующий день.

Как связать реабилитационный пул с основным

Свяжите реабилитацию с основным пулом при помощи навыка. Укажите в её фильтрах верхнее и нижнее значение основного навыка, при котором пользователи будут перенаправляться в реабилитационный пул. Например, если основная разметка доступна исполнителям с навыком 70 и выше, то в реабилитацию можно отправить тех, чей навык между 69 и 40: <основной навык> <70 и <основной навык> ≥40.

По ответам пользователя на задания реабилитационного пула пересчитайте его основной навык. В блоке контроля качества установите правило «Контрольные задания»: Если количество ответов >=10, то установить навык из поля <основной навык> процент правильных ответов. Поле «Сколько последних значений учитывать» оставьте пустым, чтобы для пересчёта использовались только реабилитационные задания. Исполнитель, который даст достаточно правильных ответов, вернётся к основному пулу.

Названия и значения навыков выше — это просто пример. Вы можете назвать и задать их по-своему. Если вам нужна помощь, пишите в нашу службу поддержки.