Добавление обучения

Обучающий пул позволит исполнителям потренироваться перед началом работы, а вам позволит допустить к основному пулу с заданиями только тех, кто справился с обучением.

Обучающий пул содержит только обучающие задания. Задания в обучающем пуле не оплачиваются.

Примечание. Если функциональность обучающего пула вам не подходит, создайте основной пул с типом Тренировка .

Как это работает

  1. Вы создаете обучающий пул. Автоматически создается тренировочный навык. Следующие обучающие пулы используют уже созданный навык.
  2. Вы загружаете в пул задания и размечаете их. Задания можно загрузить уже размеченными.
  3. Вы привязываете обучение к основному пулу.
  4. Вы запускаете оба пула по очереди.
  5. Исполнитель видит только обучающий пул и берется его выполнять.

    Там, где исполнитель ошибется, ему покажут подсказку. Чтобы перейти на следующую страницу заданий, надо правильно ответить на все вопросы. Если подсказки не помогут, исполнитель не сможет закончить обучение.

  6. Когда исполнитель пройдет обучение, ему будет присвоен тренировочный навык. Значение навыка — процент правильных ответов исполнителя.

    Учитываются только первые ответы исполнителя. Поэтому правильные ответы в подсказках не влияют на значение тренировочного навыка.
  7. Если процент правильных ответов выше или равен значению Уровень прохождения в привязанном пуле, то исполнителю будет доступен этот пул.

    Непривязанные пулы будут доступны всем, если в фильтрах не указано иного. Независимо от того, прошел исполнитель обучение или нет.
    Совет. Вы можете привязать несколько пулов к одному обучению и задать для них разный уровень прохождения. Так более продвинутым исполнителям можно отдавать задания посложнее.

Как создать обучающий пул

  1. Откройте страницу проекта.

  2. Перейдите на вкладку Обучения

  3. Нажмите кнопку Добавить обучение.

  4. Заполните поля с настройками обучения.

    С помощью поля Повторное прохождение вы можете настроить переобучение.
  5. Нажмите кнопку Сохранить обучение.

После создания обучающего пула

  1. Загрузите задания в пул и разметьте их (добавьте правильные ответы и подсказки). Все задания должны быть обучающими. Можно загрузить уже размеченные задания.

    Какой должна быть хорошая подсказка?

    Избегайте формулировок формата: «Вы ответили неправильно, ответьте правильно». Исполнитель ничему не научится, если текст в подсказках не будет пояснять суть ошибки.

    Подсказки следует делать понятными, объяснять, какой именно ответ надо выбрать и почему.

  2. Привяжите обучение к основному пулу. Для этого отредактируйте последний, заполнив поля:
    • Обучение — название обучающего пула.
    • Уровень прохождения — процент правильных ответов в обучающих заданиях (от 0 до 100), необходимый для допуска к заданиям в пуле. Для подсчета используются первые ответы исполнителя в заданиях.

Настройки обучения

Поле

Описание

Инструкция

Инструкция к обучающим заданиям.

По умолчанию отображается инструкцию проекта. Чтобы написать отдельную инструкцию для обучения, снимите флажок Использовать инструкцию проекта.

Название обучения

Название обучающего пула (недоступно исполнителю).

Контент для взрослых

Наличие порно-контента в обучающих заданиях.

Время на выполнение

Время на выполнение страницы заданий в секундах.

Повторное прохождение

Количество дней, через которое исполнитель сможет пройти обучение повторно. Если неуказано, тренировочный навык выдается бессрочно, а значение зафиксировано.

Подробнее о том, как это работает.

Выдавать в порядке загрузки Если опция включена, задания будут выдаваться исполнителю в том порядке, в котором они указаны в загрузочном TSV-файле.
Перемешивать на странице Если опция включена, задания на странице будут показаны исполнителю в случайном порядке.
Полное прохождение

Если опция включена, для прохождения обучения исполнителю нужно выполнить все задания этого пула.

Можно загрузить в обучение больше заданий, чем требуется для единовременного прохождения исполнителем, и указать количество страниц, необходимых для назначения навыка и доступа к привязанным пулам.
Необходимо пройти Количество страниц c заданиями, которые нужно выполнить для прохождения обучения.

Повторное обучение

После прохождения обучения (успешного или нет) исполнителю будет назначен тренировочный навык, а значение зафиксировано.

Новые обучающие пулы в проекте не будут показываться исполнителю, пока у него есть тренировочный навык.

Срок жизни навыка и необходимость переобучения будет зависеть от того, что вы указали в поле Повторное прохождение.

Как это работает
Повторное прохождение не задано

Тренировочный навык будет назначен бессрочно, поэтому обучающие пулы в этом проекте больше не будут доступны исполнителю, пока вы не удалите тренировочный навык вручную.

Повторное прохождение задано

Тренировочный навык будет удален через указанное количество дней, если исполнитель не выполнял задания в привязанных пулах.

Таким образом:
  • Кто не справился с обучающими заданиями смогут снова пройти обучение через указанное количество дней.
  • Кто давно не выполнял заданий отправятся на переобучение.
  • Кто активно выполняет задания не будут тратить время на переобучение.
Примечание. Выполнение заданий в непривязанных пулах не учитывается.
Как настроить
Отправлять на переобучение только неактивных исполнителей

Переобучение не требуется, если исполнитель и так выполняет задания в привязанных пулах.

Укажите в поле Повторное прохождение срок, в течение которого исполнитель должен выполнить хотя бы одно задание в привязанных пулах, чтобы избежать переобучения и сохранить навык.

Внимание. Не забудьте связать основной и обучающий пулы. Выполнение заданий в непривязанных пулах не учитывается и тренировочный навык будет теряться.
Запретить переобучение

Оставьте поле Повторное прохождение пустым. Тогда навык исполнителю будет назначаться бессрочно, а значение зафиксировано.

Удалить навык или изменить значение можно будет вручную.

Примечание. Исполнители получат доступ только к тем пулам, для которых значение их навыка выше значения в поле Уровень прохождения.

Как архивировать обучающий пул

Обучающий пул в статусе «Архивный» недоступен для запуска и редактирования.

По умолчанию архивные обучающие пулы не видны в списке обучений проекта. Чтобы увидеть их:
  1. Откройте страницу проекта.
  2. На вкладке Обучения выберите Архивные.

Обучающий пул архивируется автоматически, если в течение 30 дней в нем не совершались никакие действия.

Чтобы архивировать обучающий пул вручную, нажмите кнопку  → Архивировать вверху страницы пула или в списке обучений на странице проекта.

Если эти кнопки недоступны, проверьте, что все основные пулы, к которым привязан обучающий, отправлены в архив.

Решение проблем

Настройка обучения
Как перед выполнением задания добавить обязательные контрольные вопросы по инструкции? Обучающие или контрольные задания будут аналогичны основным заданиям?

Обучающие и контрольные вопросы будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем инструкцию, опросник, приложить примеры видео. А потом по ответам назначить навык. По этому навыку вы будете допускать исполнителей к основному проекту.

Как в обучающем задании сделать один параметр обязательным для заполнения, а остальные — необязательными?

В файле задания оставьте пустыми контрольные значения для необязательных выходных данных.

Почему в обучающем пуле получилось бесконечное количество страниц?

В обучающем пуле задания имеют бесконечное перекрытие. Пока открыт пул, к которому оно привязано, и запущено само обучение, задания из него будут видны пользователям. Подробнее об обучающих пулах.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:
  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.
  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.
Как умным смешиванием отдельно загрузить обычные задания и контрольные?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить и выбираете соответствующий способ формирования страниц с заданиями. При этом вы можете загрузить их отдельными файлами, либо одним файлом, расположив в любом порядке.

Возможно ли автоматически приостановить прием заявок на обучающий пул, если прошли обучение и работают нужное количество исполнителей?

Через интерфейс пул можно закрыть вручную в любое время, но задать определенное количество прошедших обучающий пул и затем закрыть его автоматически не получится.

Как проверить, что исполнители честно проходят обучение?

Обучение помогает пользователям тренироваться выполнять задание и разобраться с инструкцией.

На основе его результатов заказчик может отобрать в основной пул тех пользователей, которые справились достаточно хорошо.

Однако, одно лишь прохождение обучающего пула не гарантирует, что тот или иной исполнитель станет в дальнейшем качественно выполнять основные задания. Вероятно, исполнители, которые прошли обучение с высоким уровнем точности, могли обменяться друг с другом правильными ответами.

Помимо обучения нужно добавлять в основные пулы правила контроля качества и контрольные задания. Это позволит контролировать качество исполнителя на всём протяжении его работы над заданием.

Если же задание предполагает ответы в свободной форме или получение файлов с данными, используйте Отложенную приемку, чтобы выплачивать вознаграждение после проверки.

Почему в Обучении недоступно добавление по пустой строке — только Умное смешивание?

Это техническая особенность обучающих пулов. В них задания загружаются только таким образом. Если вы хотите загружать задания для обучения постранично, создайте основной пул, укажите тип пула Тренировка и установите нулевую стоимость.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.

Как сделать обучающий пул, который исполнитель может провалить, но быть допущен к основному пулу заданий?

Создайте основной пул с типом Тренировка. Добавьте только обучающие задания. Назначьте навык правилом Контрольные задания. Чтобы допустить к основным заданиям пользователей с любым уровнем навыка, установите в основном пуле фильтр: <навык> >= 0 или <навык> ≠ 0.

Но мы не советуем допускать к основным заданиям тех, кто не справился с обучением.

Как сделать файл с обучающими заданиями?
Для обучающих заданий необходимо:
  • Правильные ответы пометить в колонке GOLDEN:result.
  • Заполнить колонку HINT:text, куда записывается подсказка в случае выбора неверного варианта ответа.
Обязательно ли выполнять все задания в обучающем пуле?

Если установлено неполное прохождение и указано количество страниц, которое нужно пройти, то для прохождения обучения не нужно проходить обучение целиком. Если такие настройки не выставлены, то для получения тренировочного навыка нужно пройти все задания в обучающем пуле.

Считается ли обучение при закрытом основном пуле как активный пул?

Да, считается.

Как сделать обучение необязательным, чтобы исполнители сами решали нужно ли его проходить?

В сущность обучения заложена функция отбора исполнителей для основного задания. Именно поэтому обучение должно быть связано с основным пулом и становится неактивным, как только этот пул закрывается.

Пользователь проходит обучение, чтобы получить доступ к оплачиваемым заданиям. Если обучение необязательное, то скорее всего, будет мало желающих его проходить. Технически такое «факультативное» обучение можно реализовать на базе основного пула с обучающими заданиями внутри.

Чтобы оно показывалось отдельно от других пулов, снимите галочку использовать описание проекта и укажите в этом поле, что это необязательный обучающий набор заданий. В параметрах пула выберите тип Тренировка

Возможно ли создать обучение в проектах, в которых невозможно сформулировать точный правильный ответ, либо проверить его автоматически?

Создать такое обучение невозможно, потому что для того, чтобы ответ засчитался верным, он должен в точности совпасть с эталоном.

Для проектов со свободным вводом или файлами-вложениями можно сделать отборочное задание с отложенной приемкой. Тех, кто хорошо справится, можно будет пропустить по навыку в основной пул.

Возможно ли в обучающем пуле сделать отложенную приемку?

В обучающем пуле отложенная приемка невозможна.

Но вы можете создать обучающий пул с типом Тренировка на базе обычного пула и в нем выставить отложенную приемку.

Тренировочный навык
Обучение прошли более 500 исполнителей, но в тренировочном навыке отображается только 30

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново выполнить тренировку по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Обучение прошли больше исполнителей, чем отображается в тренировочном навыке

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново пройти обучение по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Какой параметр влияет на истечение действия навыка?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение.

Навык удаляется спустя указанное количество дней, если исполнитель:
  • Получил значение навыка ниже значения в поле Уровень прохождения.
  • Не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.
С истекшим навыком вашим пользователям нужно проходить обучение заново.
Как узнать, когда именно тот или иной работник получил навык?
  1. Перейдите в карточку пользователя.
  2. Выберите вкладку Профиль.
  3. Найдите в списке нужный навык и скачайте историю его изменений.
Экзамен, реабилитация
Чем экзаменационный пул, который я оплачиваю, отличается от обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Обычно он делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения.

В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой. По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, = 80 или = отсутствует>. Составление экзамена не обязательно, в простых заданиях достаточно тренировки. Но многие заказчики используют также и экзамен.

Как организовать реабилитацию на проекте?

Создать реабилитацию можно также, как и экзамен. В параметрах пула выберите тип Реабилитация. В фильтрах реабилитационного пула укажите верхнее и нижнее значение <основного навыка> пользователей, которым он будет доступен.

Например, если в основную разметку попадают пользователи с навыком 70 и выше, то в реабилитационный пул можно отправить тех, чей навык между 69 и 40.

Чтобы получилось «окно», нужно указать навык дважды с верхним и нижним значением. Например: <основной навык > <70 и <основной навык > >=40.

Советуем не делать экзамен и реабилитацию слишком длинными — исполнители не любят выполнять бесплатные задания. Достаточно 10-20 заданий в зависимости от их сложности.
Как сделать экзамен, с заданным количеством правильных ответов?

Необходимо в блоке Результат проверки в поле Сколько последних значений учитывать указать количество последних ответов исполнителя.

Например, требуется создать экзамен размером в три задания по одному заданию на страницу. Если исполнитель выполняет два из трех правильно, то получит навык.

Если задание с отложенной приемкой, то чтобы настроить правило по такой логике, необходимо указать 3 в параметре количество проверенных ответов. На скриншоте в первом случае навык получат все исполнители, которые выполнили 3 страницы заданий и ответы которых проверены, а во втором — только те, у которых приняты 2 или 3 задания.

Как сделать тренировку и ханипоты с экзаменом, чтобы на выходе задания был неэталонный ответ?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.