Загрузка заданий в пул

Как сохранить порядок заданий

Если необходимо, чтобы исполнители получали страницы с заданиями в том же порядке, в каком они были записаны в загрузочном TSV-файле, то это можно настроить с помощью опции Сохранять порядок заданий.

Вы можете воспользоваться этой опцией в своем проекте, если при создании нового пула включите соответствующий переключатель в разделе Параметры на странице настроек.

Пример


  • По умолчанию опция отключена (переключатель в позиции Нет). В этом случае и страницы с заданиями, и задания внутри страниц будут выдаваться исполнителям в случайном порядке.

    Например, если из TSV-файла в пул загружается 20 заданий (по порядку с 1-го по 20-е) и задано распределение по четыре на страницу, то исполнителям задания будут раздаваться подобным способом:

    Исполнители Номер страницы с заданиями Порядок заданий внутри страницы
    1 1 3, 2, 4, 1
    2 5 17, 20, 18, 19
    1 3 12, 9, 11, 10
    3 2 7, 8, 6, 5
    2 4 16, 13, 15, 14
    3 3 11, 12, 10, 9
    ... ... ...
  • Если опция включена (переключатель в позиции Да), то задания исполнителю будут выдаваться постранично в том же порядке, в каком были записаны в TSV-файле. При этом внутри страниц задания будут перемешиваться.

    Например, как и в предыдущем случае, в пул по порядку загружаются задания (с 1-го по 20-е), по четыре на странице. Но в этом случае исполнителя будут получать страницы в той же последовательности, что и в загрузочном файле, с перемешанными в случайном порядке заданиями внутри каждой:

    Исполнители Номер страницы с заданиями Порядок заданий внутри страницы
    1 1 1, 4, 3, 2
    2 1 3, 4, 1, 2
    1 2 6, 5, 7, 8
    3 1 2, 1, 4, 3
    2 2 8, 5, 7, 6
    3 2 5, 8, 6, 7
    ... ... ...
Примечание. В предпросмотре пула страницы и задания отображаются произвольно перемешанными, потому что там не действует сохранение порядка заданий. Но после запуска пула страницы с заданиями каждому исполнителю будут выдаваться последовательно.
С учетом перекрытия

Если установлено перекрытие больше единицы и включена опция Сохранять порядок заданий, то следующая по порядку страница с заданиями будет раздаваться заинтересованным пользователям после того, как наберется необходимое количество взявшихся пользователей для уже выданной страницы, то есть после достижения у неё полного перекрытия.

При этом, если взявшийся пользователь уже выполнил одну страницу пула или появился новый заинтересованный, то они получат следующую по порядку, ещё не взятую в работу страницу, даже если у предыдущей пока нет полного перекрытия.

В случае, если кто-то из пользователей откажется от выданной страницы с заданиями, то её получит другой пользователь — следующий заинтересованный в выполнении или свободный взявшийся.

Например, установлено перекрытие 3:

Исполнители Номер страницы с заданиями Значение достигнутого перекрытия Примечание
1 1 1 Заинтересованные пользователи получили страницу 1
2 1 2
1 2 1 Взявшийся пользователь выполнил страницу 1 и получил следующую страницу 2, хотя для страницы 1 пока нет полного перекрытия
3 1 3 Полное перекрытие страницы 1
3 2 1 Взявшийся пользователь отказался от выполнения страницы 2
4 2 2 Заинтересованный пользователь получил сразу страницу 2, так как для страницы 1 уже есть полное перекрытие, а взявшийся пользователь отказался от выполнения страницы 2
1 3 1 Взявшийся пользователь выполнил страницу 2 и получил следующую страницу 3, хотя для страницы 2 пока нет полного перекрытия
2 2 3 Полное перекрытие страницы 2
5 3 1 Заинтересованный пользователь отказался от выполнения страницы 3
2 3 2 Взявшийся пользователь получил страницу 3, так как заинтересованный пользователь отказался от её выполнения
3 3 3 Полное перекрытие страницы 3
... ... ... ...
Навык

Навык исполнителю будет присвоен только после того, как все выполненные им страницы наберут полное перекрытие. Например, если в настройках пула задано перекрытие 3, то навык будет рассчитан не после выполнения исполнителем 3-х страниц, а при достижении перекрытия 3 у каждой из этих страниц.

Загрузить задания

Ограничение. Можно добавить не более одного миллиона заданий в пул. Если вам надо загрузить больше заданий, создайте новый пул.
Чтобы загрузить TSV-файл с заданиями в пул:
  1. На странице пула нажмите кнопку Загрузить.
  2. Выберите способ распределения заданий по страницам. Устанавливайте количество заданий на странице в зависимости от сложности и времени на выполнение задания. За выполнение полной страницы заданий исполнители получат вознаграждение, которые вы указали в параметрах пула.

    Способы распределения заданий по страницам
    По пустой строке

    Разбейте задания на страницы самостоятельно в TSV-файле. Для этого после каждой страницы заданий в файле добавьте пустую строку.

    Указать вручную
    Введите количество заданий на странице. Страницы будут сформированы из заданий в той последовательности, в которой они приведены в TSV-файле.
    Умное смешивание

    Этот способ целесообразно использовать, если в создаваемом пуле:

    Внимание. Если вы будете загружать файл через «Умное смешивание», то не сможете использовать другие способы распределения заданий по страницам в этом пуле.

    Укажите, сколько заданий каждого типа должно быть на странице. Например, 8 основных, 1 обучающее и 1 контрольное. При необходимости в дополнительных настройках укажите минимальное количество для заданий каждого типа. Если заданий недостаточно и задана опция Отдавать неполную страницу, то исполнителю будет выдана неполная страница.

    Пример


    При заданном перекрытии (больше 1) страница будет составляться из случайно перемешанных заданий непосредственно перед выдачей. Например, при перекрытии 3 и распределении на одной странице семи заданий, три исполнителя получат разные подборки из трёх заданий:

    Исполнители Номер страницы с заданиями Порядок заданий внутри страницы
    1 1 1, 2, 3
    2 5, 4, 1
    3 6, 1, 7
    2 2 12, 11, 8
    1 13, 8, 14
    3 8, 9, 10
    Особенности установки перекрытия

    При загрузке заданий через интерфейс Яндекс.Толоки автоматически установится бесконечное перекрытие для контрольных заданий, чтобы их хватило на разметку всех основных заданий.

    Конкретное значение перекрытия можно установить через API Яндекс.Толоки. Или загрузить через интерфейс уже размеченный файл и проставить нужное значение перекрытия и количество заданий на странице.

    Умное смешивание и сохранение порядка заданий

    При совместном выборе способа распределения заданий Умное смешивание и включенной опции Сохранять порядок заданий сохранится заданное количество и порядок добавленных в пул заданий разного типа (основных, контрольных, обучающих), а в пределах страницы они будут перемешаны в случайном порядке.

    Например, в загружаемом файле 6 заданий, расположенных последовательно по порядку с 1-е по 6-е, и задано распределение по 3 на страницу:

    Номер страницы с заданиями Последовательность заданий
    1 Случайный набор: 2, 3, 1 или 3, 1, 2, или любой другой
    2 Случайный набор: 5, 6, 4 или 6, 4, 5, или любой другой

    После загрузки через «Умное смешивание» вам будут доступны разметка заданий и выборочная проверка мнением большинства.

    Если вы использовали Умное смешивание, то узнать количество заданий на странице можно в настройках пула. Но некоторые страницы могут быть неполными.

    Если вы загружали задания другим способом, то посмотреть количество заданий можно с помощью API Яндекс.Толоки.

  3. Нажмите кнопку Загрузить и выберите файл. Чтобы поместить в пул задания разных типов, вы можете загрузить их в отдельных файлах.
  4. Дождитесь результата обработки. Если получена ошибка обработки — TSV-файл имеет некорректный формат. Нажмите кнопку Отменить и исправьте ошибки, а затем загрузите файл снова.
  5. Нажмите кнопку Добавить.

  6. Посмотрите результат, нажав кнопку Предпросмотр.

Чтобы удалить все задания в пуле, нажмите кнопку Удалить.

Решение проблем

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Ошибки при загрузке заданий в пул
Как посмотреть лог обработки
Чтобы посмотреть лог обработки, нажмите Подробнее об ошибках загрузки. Лог обработки записан в формате JSON. Объекты внутри result соответствуют номеру строки загружаемого файла. Строки, обработанные с ошибкой, имеют статус "success": false.
Совет. Работать с большим логом удобнее, если скопировать его в текстовый редактор.
Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблица ошибок обработки
Описание Как исправить
"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t",
"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

Лишние знаки табуляции.

Если в загружаемом TSV-файле после данных или ссылки стоит количество разделителей столбцов \t больше, чем задано число столбцов во входных данных, то появится сообщение об ошибке.

Например, когда во входных определен 1 столбец, а в TSV-файле после ссылки прописано ещё два знака табуляции \t\t, то получится 3 столбца, 2 из которых лишние.

Удалите лишние разделители столбцов, в приведенном выше примере ошибки — оба знака (\t\t).

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

Не совпадает количество полей в заголовке и в строке.

Проверьте, что:

  • указано верное количество знаков табуляции в структуре файла;
  • строковые значения, содержащие знак табуляции, заключены в кавычки" ".
"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"
Не указано значение обязательного поля входных данных.

Проверьте, что заполнены все столбцы с обязательными полями входных данных.

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"
Данные в поле с типом «ссылка» («url») некорректны.
Проверьте, что:
"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

В строке стоит непарная кавычка.

Проверьте, что все кавычки экранированы.