Добавление обучения

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Обучающий пул позволит исполнителям потренироваться перед началом работы, а вам позволит допустить к основному пулу с заданиями только тех, кто справился с обучением.

Обучающий пул содержит только обучающие задания. Задания в обучающем пуле не оплачиваются.

У обучения нет своих фильтров. Требования к исполнителям будут такими же, как и в основном пуле, к которому привязано обучение.

Примечание

Если функциональность обучающего пула вам не подходит, создайте основной пул с типом Тренировка.

Как это работает

  1. Вы создаете обучающий пул. Автоматически создается тренировочный навык. Следующие обучающие пулы используют уже созданный навык.

  2. Вы загружаете в пул задания и размечаете их. Задания можно загрузить уже размеченными.

  3. Вы привязываете обучение к основному пулу.

  4. Вы запускаете основной пул и обучение.

  5. Исполнитель видит только обучающий пул и берется его выполнять.

    Там, где исполнитель ошибется, ему покажут подсказку. Чтобы перейти на следующую страницу заданий, надо правильно ответить на все вопросы. Если подсказки не помогут, исполнитель не сможет закончить обучение.

  6. Когда исполнитель пройдет обучение, ему будет присвоен тренировочный навык. Значение навыка — процент правильных ответов исполнителя.

    Учитываются только первые ответы исполнителя. Поэтому правильные ответы в подсказках не влияют на значение тренировочного навыка.

  7. Если процент правильных ответов выше или равен значению Уровень прохождения в привязанном пуле, то исполнителю будет доступен этот пул.

    Непривязанные пулы будут доступны всем, если в фильтрах не указано иного. Независимо от того, прошел исполнитель обучение или нет.

    Примечание

    Вы можете привязать несколько пулов к одному обучению и задать для них разный уровень прохождения. Так более продвинутым исполнителям можно отдавать задания посложнее.

Как создать обучающий пул

  1. Откройте страницу проекта.

  2. Перейдите на вкладку Обучения

  3. Нажмите кнопку Добавить обучение.

  4. Заполните поля с настройками обучения.

    С помощью поля Повторное прохождение вы можете настроить переобучение.

  5. Нажмите кнопку Сохранить обучение.

Чтобы создать обучающий пул с помощью API, отправьте POST-запрос с информацией об обучении:

curl -X POST 'https://tasks.yandex.ru/api/v1/trainings/' \
     -H 'Authorization: ApiKey PlaceYourRealOAuthToken_Here' \
     -H 'Content-Type: application/json' \
     -d '{"project_id":"118252", "private_name":"Simple training pool", "may_contain_adult_content":false, "assignment_max_duration_seconds":600, "mix_tasks_in_creation_order":true, "shuffle_tasks_in_task_suite":true, "training_tasks_in_task_suite_count":3, "task_suites_required_to_pass":1, "retry_training_after_days":7, "inherited_instructions":true, "public_instructions":""}'

Справочник API Яндекс Заданий

См. подробную информацию о запросе, параметрах и ответах в разделе Создать обучение документации API Яндекс Заданий. Там же есть примеры запросов на разных языках программирования.

После создания обучающего пула

  1. Загрузите задания в пул и разметьте их (добавьте правильные ответы и подсказки). Все задания должны быть обучающими. Можно загрузить уже размеченные задания.

    Какой должна быть хорошая подсказка?

    Избегайте формулировок формата: «Вы ответили неправильно, ответьте правильно». Исполнитель ничему не научится, если текст в подсказках не будет пояснять суть ошибки.

    Подсказки следует делать понятными, объяснять, какой именно ответ надо выбрать и почему.

  2. Привяжите обучение к основному пулу. Для этого отредактируйте последний, заполнив поля:

    • Обучение — название обучающего пула.

    • Уровень прохождения — процент правильных ответов в обучающих заданиях (от 5 до 100), необходимый для допуска к заданиям в пуле. Для подсчета используются первые ответы исполнителя в заданиях.

Настройки обучения

Поле Описание
Инструкция Инструкция к обучающим заданиям.

По умолчанию отображается инструкцию проекта. Чтобы написать отдельную инструкцию для обучения, снимите флажок Использовать инструкцию проекта.
Название обучения Название обучающего пула (недоступно исполнителю).
Контент для взрослых Наличие порно-контента в обучающих заданиях.
Время на выполнение Время на выполнение страницы заданий в секундах.
Повторное прохождение Количество дней, через которое исполнитель сможет пройти обучение повторно. Если не указано, тренировочный навык выдается бессрочно, а значение зафиксировано.
Подробнее о том, как это работает.
Выдавать в порядке загрузки Если опция включена, задания будут выдаваться исполнителю в том порядке, в котором они указаны в загрузочном файле.
Перемешивать на странице Если опция включена, задания на странице будут показаны исполнителю в случайном порядке.
Полное прохождение Если опция включена, для прохождения обучения исполнителю нужно выполнить все задания этого пула.
Можно загрузить в обучение больше заданий, чем требуется для единовременного прохождения исполнителем, и указать количество страниц, необходимых для назначения навыка и доступа к привязанным пулам.
Необходимо пройти Количество страниц c заданиями, которые нужно выполнить для прохождения обучения.

Повторное обучение

После прохождения обучения (успешного или нет) исполнителю будет назначен тренировочный навык, а значение зафиксировано.

Новые обучающие пулы в проекте не будут показываться исполнителю, пока у него есть тренировочный навык.

Срок жизни навыка и необходимость переобучения будет зависеть от того, что вы указали в поле Повторное прохождение.

Как это работает

Повторное прохождение не задано

Тренировочный навык будет назначен бессрочно, поэтому обучающие пулы в этом проекте больше не будут доступны исполнителю, пока вы не удалите тренировочный навык вручную.

Повторное прохождение задано

Тренировочный навык будет удален через указанное количество дней, если исполнитель не выполнял задания в привязанных пулах.

Таким образом:

  • Кто не справился с обучающими заданиями смогут снова пройти обучение через указанное количество дней.

  • Кто давно не выполнял заданий отправятся на переобучение.

  • Кто активно выполняет задания не будут тратить время на переобучение.

Примечание

Выполнение заданий в непривязанных пулах не учитывается.

Как настроить

Отправлять на переобучение только неактивных исполнителей

Переобучение не требуется, если исполнитель и так выполняет задания в привязанных пулах.

Укажите в поле Повторное прохождение срок, в течение которого исполнитель должен выполнить хотя бы одно задание в привязанных пулах, чтобы избежать переобучения и сохранить навык.

Важно

Не забудьте связать основной и обучающий пулы. Выполнение заданий в непривязанных пулах не учитывается и тренировочный навык будет теряться.

Запретить переобучение

Оставьте поле Повторное прохождение пустым. Тогда навык исполнителю будет назначаться бессрочно, а значение зафиксировано.

Удалить навык или изменить значение можно будет вручную.

Примечание

Исполнители получат доступ только к тем пулам, для которых значение их навыка выше значения в поле Уровень прохождения.

Как архивировать обучающий пул

Обучающий пул в статусе «Архивный» недоступен для запуска и редактирования.

По умолчанию архивные обучающие пулы не видны в списке обучений проекта. Чтобы увидеть их:

  1. Откройте страницу проекта.

  2. На вкладке Обучения выберите Архивные.

Обучающий пул архивируется автоматически, если в течение 30 дней в нем не совершались никакие действия.

Чтобы архивировать обучающий пул вручную:

Нажмите кнопку → Архивировать вверху страницы пула или в списке обучений на странице проекта.

Если эти кнопки недоступны, проверьте, что все основные пулы, к которым привязан обучающий, отправлены в архив.

Чтобы архивировать обучающий пул с помощью API, отправьте POST-запрос с идентификатором обучения, которое вы хотите заархивировать:

curl -X POST 'https://tasks.yandex.ru/api/v1/trainings/1245598/archive' \
     -H 'Authorization: ApiKey PlaceYourRealOAuthToken_Here'

Справочник API Яндекс Заданий

См. подробную информацию о запросе, параметрах и ответах в разделе Архивировать обучение документации API Яндекс Заданий. Там же есть примеры запросов на разных языках программирования.

Что дальше

Решение проблем

Настройка обучения
Как перед выполнением задания добавить обязательные контрольные вопросы по инструкции? Обучающие или контрольные задания будут аналогичны основным заданиям?

Обучающие и контрольные вопросы будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем инструкцию, опросник, приложить примеры видео. А потом по ответам назначить навык. По этому навыку вы будете допускать исполнителей к основному проекту.

Как в обучающем задании сделать один параметр обязательным для заполнения, а остальные — необязательными?

В файле задания оставьте пустыми контрольные значения для необязательных выходных данных.

Почему в обучающем пуле получилось бесконечное количество страниц?

В обучающем пуле задания имеют бесконечное перекрытие. Пока открыт пул, к которому оно привязано, и запущено само обучение, задания из него будут видны исполнителям. Подробнее об обучающих пулах.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Возможно ли автоматически приостановить прием заявок на обучающий пул, если прошли обучение и работают нужное количество исполнителей?

Через интерфейс пул можно закрыть вручную в любое время, но задать определенное количество прошедших обучающий пул и затем закрыть его автоматически не получится.

Как проверить, что исполнители честно проходят обучение?

Обучение помогает исполнителям тренироваться выполнять задание и разобраться с инструкцией.

На основе его результатов заказчик может отобрать в основной пул тех исполнителей, которые справились достаточно хорошо.

Однако, одно лишь прохождение обучающего пула не гарантирует, что тот или иной исполнитель станет в дальнейшем качественно выполнять основные задания. Вероятно, исполнители, которые прошли обучение с высоким уровнем точности, могли обменяться друг с другом правильными ответами.

Помимо обучения нужно добавлять в основные пулы правила контроля качества и контрольные задания. Это позволит контролировать качество исполнителя на всем протяжении его работы над заданием.

Если же задание предполагает ответы в свободной форме или получение файлов с данными, используйте Отложенную приемку, чтобы выплачивать вознаграждение после проверки.

Почему в Обучении доступно только Умное смешивание?

Это техническая особенность обучающих пулов. В них задания загружаются только таким образом. Если вы хотите использовать в обучении способ Указать вручную, создайте основной пул, укажите тип пула Тренировка и установите нулевую стоимость.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле вы можете назначить навык, который будет определять результат экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Как сделать обучающий пул, который исполнитель может провалить, но быть допущен к основному пулу заданий?

Создайте основной пул с типом Тренировка. Добавьте только обучающие задания. Назначьте навык правилом Контрольные задания. Чтобы допустить к основным заданиям исполнителей с любым уровнем навыка, установите в основном пуле фильтр: <навык> >= 0 или <навык> ≠ 0.

Но мы не советуем допускать к основным заданиям тех, кто не справился с обучением.

Как сделать файл с обучающими заданиями?

Для обучающих заданий необходимо:

  • Правильные ответы пометить в колонке GOLDEN:result.

  • Заполнить колонку HINT:text, куда записывается подсказка в случае выбора неверного варианта ответа.

Обязательно ли выполнять все задания в обучающем пуле?

Если установлено неполное прохождение и указано количество страниц, которое нужно пройти, то для прохождения обучения не нужно проходить обучение целиком. Если такие настройки не выставлены, то для получения тренировочного навыка нужно пройти все задания в обучающем пуле.

Как сделать обучение необязательным?

Цель обучения — отбор исполнителей для основного задания, поэтому обучение должно быть связано с основным пулом.

Исполнитель проходит обучение, чтобы получить доступ к оплачиваемым заданиям. Если обучение необязательное, то, скорее всего, будет мало желающих его проходить.

Вы можете реализовать необязательное обучение на основе пула с обучающими заданиями. Для этого внесите изменения в настройках пула:

  1. Отключите опцию Использовать описание проекта.
  2. В поле Публичное описание укажите, что это необязательный обучающий набор заданий.
  3. Выберите тип Тренировка.

В этом случае обучение будет отображаться в списке заданий отдельно от других пулов.

Возможно ли создать обучение в проектах, в которых невозможно сформулировать точный правильный ответ, либо проверить его автоматически?

Создать такое обучение невозможно, потому что для того, чтобы ответ засчитался верным, он должен в точности совпасть с эталоном.

Для проектов со свободным вводом или файлами-вложениями можно сделать отборочное задание с отложенной приемкой. Тех, кто хорошо справится, можно будет пропустить по навыку в основной пул.

Возможно ли в обучающем пуле сделать отложенную приемку?

В обучающем пуле отложенная приемка невозможна.

Но вы можете создать обучающий пул с типом Тренировка на базе обычного пула и в нем выставить отложенную приемку.

Тренировочный навык
Обучение прошли больше исполнителей, чем отображается в тренировочном навыке

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново пройти обучение по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Какой параметр влияет на истечение действия навыка?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение.

Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:

  • Получил значение навыка ниже значения в поле Уровень прохождения.

  • Не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

С истекшим навыком вашим исполнителям нужно проходить обучение заново.

Как узнать, когда именно тот или иной исполнитель получил навык?
  1. Перейдите в карточку исполнителя.
  2. Выберите вкладку Профиль.
  3. Найдите в списке нужный навык и скачайте историю его изменений.
Экзамен, реабилитация
Чем экзаменационный пул, который я оплачиваю, отличается от обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Обычно он делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения.

В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой. По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, ≥ 80 или ≠ Отсутствует. Составление экзамена не обязательно, в простых заданиях достаточно тренировки. Но многие заказчики используют также и экзамен.

Как организовать реабилитацию на проекте?

Создать реабилитацию можно также, как и экзамен. В параметрах пула выберите тип Реабилитация. В фильтрах реабилитационного пула укажите верхнее и нижнее значение <основного навыка> исполнителей, которым он будет доступен.

Например, если в основную разметку попадают исполнители с навыком 70 и выше, то в реабилитационный пул можно отправить тех, чей навык между 69 и 40.

Чтобы получилось «окно», нужно указать навык дважды с верхним и нижним значением. Например: <основной навык > <70 и <основной навык > >=40. Советуем не делать экзамен и реабилитацию слишком длинными — исполнители не любят выполнять бесплатные задания. Достаточно 10–20 заданий в зависимости от их сложности.

Как сделать экзамен с заданным количеством правильных ответов?

Необходимо в блоке Результат проверки в поле Учитывать последних заданий указать количество последних ответов исполнителя.

Например, требуется создать экзамен размером в три задания по одному заданию на страницу. Если исполнитель выполняет два из трех правильно, то получит навык.

Если задание с отложенной приемкой, то чтобы настроить правило по такой логике, необходимо указать 3 в параметре количество проверенных ответов. На скриншоте в первом случае навык получат все исполнители, которые выполнили 3 страницы заданий и ответы которых проверены, а во втором — только те, у которых приняты 2 или 3 задания.

Как сделать тренировку и ханипоты с экзаменом, чтобы на выходе задания был неэталонный ответ?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном.

Для этого текст нужно нормализовать с помощью JavaScript:

  1. Удалить пробелы, знаки препинания, специальные символы и заглавные буквы.
  2. Записать результат в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

Написать в службу поддержки

Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка — <название проекта> - training. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.

Подробнее

Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.

Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.

Подробнее

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.

Подробнее

Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.

Подробнее

Добавление правильных ответов и подсказок в задания, а также изменение типов заданий.

Подробнее

Основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость. Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит.

Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Подробнее

Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее