Добавление заданий в пул

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Загрузка заданий

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Как определить время на выполнение задания?

Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.

Как понять сколько заданий будет на странице у исполнителя?

Вы можете указать сколько заданий будет на странице при загрузке заданий в пул. Подробнее о способах распределения заданий по страницам можно узнать здесь.

Почему в предпросмотре выводятся сразу все фотографии из файла с заданиями?

Каждое задание должно быть описано на отдельной строке в файле с заданиями. Подробнее об этом вы можете прочитать здесь.

Когда вы создадите пул, то в нем будет настройка количества заданий на странице.

Как внутри элементов массива сделать так, чтобы запятые не воспринимались как разделитель элементов?

Заэкранируйте запятые обратным слэшем \.

Как загрузить файл с принятыми решениями обратно в Яндекс Задания для случая, когда выставлена отложенная приемка? Где описан формат загружаемых данных?

Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.

Проверка ответов выполняется в файле с заданиями.

Как будет отображаться то, что я напишу в столбце "hint"?

Текст из поля hint будет показан исполнителю в верхней части задания на красном фоне, если он в обучающем задании даст ответ, который отличается от указанного правильного.

Пример

Если текст из поля hint необходимо отразить в несколько строк, то переносы добавляются в файл, а текст заключается в кавычки.

Что означают строчки "Add your text here"?

Add your text here — это подсказка, которая говорит о том, что текст в поле вы можете заменить на свои данные для задания. О структуре файла и его заполнении можно узнать здесь.

Почему при экранировании слова в кавычках другими кавычками, на выходе все кавычки пропадают?

Из-за наличия кавычек в одном слове загружать ответ следует таким образом: "Сколько букв в слове ""Лихтенштейн""". Если внутри текста есть экранирование кавычками, то весь текст следует заключать в кавычки. Подробнее описано в документации.

Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Почему после запуска первого проекта не приходят ответы и все загруженные задания отмечаются как "Обучающие"?

Проверьте поле hint. Для обычных заданий это поле должно быть пустым.

Как правильно сформировать файл задания, чтобы не было ошибок?

В файле с основными заданиями должны быть заполнены столбцы с заголовками INPUT. Вы можете увидеть эти заголовки, если скачаете образец файла из пула.

Если создаете контрольные задания, то заполните столбцы с правильными ответами — GOLDEN.

Если обучающие, то также понадобится заполнить столбец HINT:text. Для основных заданий все столбцы кроме INPUT не нужны, их можно удалить.

Формат файла должен быть TSV, кодировка — UTF-8.

Подробнее о создании файла в документации. Если при загрузке возникают ошибки, поищите вашу ошибку на этой странице.

Почему при загрузке задания, в котором нужно просмотреть изображение и написать фидбэк, появляется ошибка синтаксиса?

Ошибка будет возникать, если на вход ожидается тип URL, а приходит строка.

Причин может быть две:

  • Входное поле имеет тип "ссылка".

  • Пул работает на неактуальной версии проекта. То есть создан до того, как вы изменили тип входного поля.

Какое максимальное количество заданий может быть на одной странице?

Зависит от задания. Технически можно много.

Но, во-первых, исполнители неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.

Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.

Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных исполнителей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.

Почему в задании с классификацией фотографий, если на странице больше 5-ти фотографий, то Яндекс Задания разделяет их на 2 страницы?

Загруженные ссылки на картинки в файле Яндекс Задания разделит на страницы в зависимости от того, какой способ распределения заданий вы выбрали. Подробнее читайте на странице Способы распределения заданий.

Имеет ли значение порядок следования поля INPUT и полей GOLDEN в файле?

Порядок следования полей в файле значения не имеет. Можете делать так, как удобно.

Как в файле с обучающим заданием прописать несколько known_solutions?

Загрузить в пул задания с разными ответами через интерфейс невозможно. Можно только через API.

Куда добавится файл, если добавить его к запущенному пулу?

Если в настройках пула включена опция Сохранять порядок заданий, то разметка новых заданий начнется после того, как будут взяты в работу предыдущие. Если опция выключена, то нет и гарантии, что задания будут раздаваться последовательно.

Как во входном файле записывать массив?

Массив строк во входных данных записывается через запятую. Например: INPUT:types text1, text2, text3, text4

Как правильно организовать структуру файла для загрузки данных, если среди входных данных есть JSON?

Все значения записываются в один столбец. Не забудьте экранировать кавычки.

Подробнее об экранировании кавычек для формата JSON можно узнать в документации.

Если для каких-то входящих колонок в файле с заданиями не будет заголовков, то они будут пропущены при импорте? Либо если они будут иметь заголовки без INPUT:.. префикса?

Нет, если вы загрузите в пул файл с несуществующими заголовками, система выдаст ошибку загрузки. Все обязательные INPUT поля, используемые в спецификации должны быть в файле с заданиями. Лишних полей и столбцов быть не должно.

Если вы не хотите показывать какие-то данные исполнителям, но они вам нужны в файле, создайте для них необязательные скрытые входные поля в проекте.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.

Как в интерфейсе при загрузке файла указываются настройки умного смешивания?

Настройки умного смешивания указываются для файла — не для пула.

При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.

Чем отличаются task и task_suite?

Task — это отдельное задание. Task suite — страница с заданиями. Исполнитель получает оплату за страницу заданий.

Ошибки при загрузке заданий в пул
Как посмотреть лог обработки

Чтобы посмотреть лог обработки, нажмите Подробнее об ошибках загрузки. Лог обработки записан в формате JSON. Объекты внутри result соответствуют номеру строки загружаемого файла. Строки, обработанные с ошибкой, имеют статус "success": false.

Совет

Работать с большим логом удобнее, если скопировать его в текстовый редактор.

Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблица ошибок обработки

"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t", "exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

Описание

Как исправить

Лишние знаки табуляции. Если в загружаемом файле после данных или ссылки стоит количество разделителей столбцов \t больше, чем задано число столбцов во входных данных, то появится сообщение об ошибке.

Например, когда во входных определен 1 столбец, а в файле после ссылки прописано еще два знака табуляции \t\t, то получится 3 столбца, 2 из которых лишние.

Удалите лишние разделители столбцов, в приведенном выше примере ошибки — оба знака (\t\t).

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

Описание

Как исправить

Не совпадает количество полей в заголовке и в строке.

Проверьте, что:

  • указано верное количество знаков табуляции в структуре файла;
  • строковые значения, содержащие знак табуляции, заключены в кавычки" ".
"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"

Описание

Как исправить

Не указано значение обязательного поля входных данных.

Проверьте, что заполнены все столбцы с обязательными полями входных данных.

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"

Описание

Как исправить

Данные в поле с типом «ссылка» («url») некорректны.

Проверьте, что все ссылки начинаются с префикса http://, https:// или www.

"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

Описание

Как исправить

В строке стоит непарная кавычка.

Проверьте, что все кавычки экранированы.

Одно и то же задание попало на разные страницы

Одно и то же задание может попасть на разные страницы, если:

  • Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».

  • У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.

  • Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.

Как показывать исполнителям два разных варианта текста?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT: <имя входного поля> вы передадите текст № 1, в другом — текст № 2.

Если текст в самом шаблоне задания, в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Можно назначить навык или заблокировать исполнителя, после того, как он отправит один ответ.

Другой вопрос

Обучение-экзамен-реабилитация

Как перед выполнением задания добавить обязательные контрольные вопросы по инструкции? Обучающие или контрольные задания будут аналогичны основным заданиям?

Обучающие и контрольные вопросы будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем инструкцию, опросник, приложить примеры видео. А потом по ответам назначить навык. По этому навыку вы будете допускать исполнителей к основному проекту.

Обучение прошли больше исполнителей, чем отображается в тренировочном навыке

В пуле отображается общее число исполнителей, которые выполнили там хотя бы одну страницу заданий. Тренировочный навык может со временем теряться из-за настройки повторного прохождения. Она позволяет заново пройти обучение по истечении указанного срока, если исполнитель так и не приступил к заданиям в привязанных пулах или сделал слишком большой перерыв в выполнении заданий (например, из-за блокировки). Поэтому в тренировочном навыке отображаются те исполнители, которые либо недавно завершили обучение, либо регулярно выполняют ваше задание и не дают навыку исчезнуть.

Чем экзаменационный пул, который я оплачиваю, отличается от обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Обычно он делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения.

В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой. По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, ≥ 80 или ≠ Отсутствует. Составление экзамена не обязательно, в простых заданиях достаточно тренировки. Но многие заказчики используют также и экзамен.

Какой параметр влияет на истечение действия навыка?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение.

Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:

  • Получил значение навыка ниже значения в поле Уровень прохождения.

  • Не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

С истекшим навыком вашим исполнителям нужно проходить обучение заново.

Как в обучающем задании сделать один параметр обязательным для заполнения, а остальные — необязательными?

В файле задания оставьте пустыми контрольные значения для необязательных выходных данных.

Как узнать, когда именно тот или иной исполнитель получил навык?
  1. Перейдите в карточку исполнителя.
  2. Выберите вкладку Профиль.
  3. Найдите в списке нужный навык и скачайте историю его изменений.
Почему в обучающем пуле получилось бесконечное количество страниц?

В обучающем пуле задания имеют бесконечное перекрытие. Пока открыт пул, к которому оно привязано, и запущено само обучение, задания из него будут видны исполнителям. Подробнее об обучающих пулах.

Как задавать ссылку в поле GOLDEN?

Текст в поле GOLDEN должен в точности совпадать с эталоном.

Обычно, если копировать ссылку из браузера на определенный сайт, они будут иметь одинаковый формат. Другое дело, если ссылка была обрезана или набрана на клавиатуре.

Проверьте ссылки, которые используете. Решить задачу с унификацией ссылок можно несколькими способами:

  • Добавить требования к формату ссылок в инструкцию и подсказки в обучении.

  • Обрезать полученные ссылки в js с помощью regexp и записать результат в новое выходное поле, а после сравнить полученное значение с эталоном.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Возможно ли автоматически приостановить прием заявок на обучающий пул, если прошли обучение и работают нужное количество исполнителей?

Через интерфейс пул можно закрыть вручную в любое время, но задать определенное количество прошедших обучающий пул и затем закрыть его автоматически не получится.

Как проверить, что исполнители честно проходят обучение?

Обучение помогает исполнителям тренироваться выполнять задание и разобраться с инструкцией.

На основе его результатов заказчик может отобрать в основной пул тех исполнителей, которые справились достаточно хорошо.

Однако, одно лишь прохождение обучающего пула не гарантирует, что тот или иной исполнитель станет в дальнейшем качественно выполнять основные задания. Вероятно, исполнители, которые прошли обучение с высоким уровнем точности, могли обменяться друг с другом правильными ответами.

Помимо обучения нужно добавлять в основные пулы правила контроля качества и контрольные задания. Это позволит контролировать качество исполнителя на всем протяжении его работы над заданием.

Если же задание предполагает ответы в свободной форме или получение файлов с данными, используйте Отложенную приемку, чтобы выплачивать вознаграждение после проверки.

Почему в Обучении доступно только Умное смешивание?

Это техническая особенность обучающих пулов. В них задания загружаются только таким образом. Если вы хотите использовать в обучении способ Указать вручную, создайте основной пул, укажите тип пула Тренировка и установите нулевую стоимость.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле вы можете назначить навык, который будет определять результат экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Как сделать обучающий пул, который исполнитель может провалить, но быть допущен к основному пулу заданий?

Создайте основной пул с типом Тренировка. Добавьте только обучающие задания. Назначьте навык правилом Контрольные задания. Чтобы допустить к основным заданиям исполнителей с любым уровнем навыка, установите в основном пуле фильтр: <навык> >= 0 или <навык> ≠ 0.

Но мы не советуем допускать к основным заданиям тех, кто не справился с обучением.

Обязательно ли выполнять все задания в обучающем пуле?

Если установлено неполное прохождение и указано количество страниц, которое нужно пройти, то для прохождения обучения не нужно проходить обучение целиком. Если такие настройки не выставлены, то для получения тренировочного навыка нужно пройти все задания в обучающем пуле.

Как организовать реабилитацию на проекте?

Создать реабилитацию можно также, как и экзамен. В параметрах пула выберите тип Реабилитация. В фильтрах реабилитационного пула укажите верхнее и нижнее значение <основного навыка> исполнителей, которым он будет доступен.

Например, если в основную разметку попадают исполнители с навыком 70 и выше, то в реабилитационный пул можно отправить тех, чей навык между 69 и 40.

Чтобы получилось «окно», нужно указать навык дважды с верхним и нижним значением. Например: <основной навык > <70 и <основной навык > >=40. Советуем не делать экзамен и реабилитацию слишком длинными — исполнители не любят выполнять бесплатные задания. Достаточно 10–20 заданий в зависимости от их сложности.

Как сделать обучение необязательным?

Цель обучения — отбор исполнителей для основного задания, поэтому обучение должно быть связано с основным пулом.

Исполнитель проходит обучение, чтобы получить доступ к оплачиваемым заданиям. Если обучение необязательное, то, скорее всего, будет мало желающих его проходить.

Вы можете реализовать необязательное обучение на основе пула с обучающими заданиями. Для этого внесите изменения в настройках пула:

  1. Отключите опцию Использовать описание проекта.
  2. В поле Публичное описание укажите, что это необязательный обучающий набор заданий.
  3. Выберите тип Тренировка.

В этом случае обучение будет отображаться в списке заданий отдельно от других пулов.

Возможно ли в обучающем пуле сделать отложенную приемку?

В обучающем пуле отложенная приемка невозможна.

Но вы можете создать обучающий пул с типом Тренировка на базе обычного пула и в нем выставить отложенную приемку.

Возможно ли создать обучение в проектах, в которых невозможно сформулировать точный правильный ответ, либо проверить его автоматически?

Создать такое обучение невозможно, потому что для того, чтобы ответ засчитался верным, он должен в точности совпасть с эталоном.

Для проектов со свободным вводом или файлами-вложениями можно сделать отборочное задание с отложенной приемкой. Тех, кто хорошо справится, можно будет пропустить по навыку в основной пул.

Как сделать экзамен с заданным количеством правильных ответов?

Необходимо в блоке Результат проверки в поле Учитывать последних заданий указать количество последних ответов исполнителя.

Например, требуется создать экзамен размером в три задания по одному заданию на страницу. Если исполнитель выполняет два из трех правильно, то получит навык.

Если задание с отложенной приемкой, то чтобы настроить правило по такой логике, необходимо указать 3 в параметре количество проверенных ответов. На скриншоте в первом случае навык получат все исполнители, которые выполнили 3 страницы заданий и ответы которых проверены, а во втором — только те, у которых приняты 2 или 3 задания.

Как сделать тренировку и ханипоты с экзаменом, чтобы на выходе задания был неэталонный ответ?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном.

Для этого текст нужно нормализовать с помощью JavaScript:

  1. Удалить пробелы, знаки препинания, специальные символы и заглавные буквы.
  2. Записать результат в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

Как сделать файл с обучающими заданиями?

Для обучающих заданий необходимо:

  • Правильные ответы пометить в колонке GOLDEN:result.

  • Заполнить колонку HINT:text, куда записывается подсказка в случае выбора неверного варианта ответа.

Другой вопрос

Изменение запущенного пула

Если изменить время на выполнение одного задания, то изменится ли оно у уже выданных заданий?

Если вы изменили время на выполнение задания, то его значение применится к тем заданиям, которые еще не взяты исполнителями в работу. Тоже самое касается и случая, когда вы закрываете пул. У исполнителя, у которого задание активно, остается возможность его доделать.

Как изменить загруженные в пул задания: отредактировать или удалить их?

Если вы загрузили в пул задания с помощью умного смешивания, можно остановить пул и разметить задания — отредактировать ответы, подсказки или удалить задания.

Если вы загружали их другим способом, нужно клонировать пул и загрузить туда файл с обновленными заданиями.

Я загрузил 2 файла в обучающий пул. Как удалить один из них?

Все задания после загрузки попадают в один список, поэтому один файл удалить не получится.

  • Если пул не запускался, удалите все задания. Для этого в блоке Задания пула нажмите кнопку Удалить. Далее загрузите в пул только один файл.

  • Если пул запускался, удалите задания по одному через режим разметки.

Написать в службу поддержки

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.

Подробнее

Формат входных и выходных данных, описываемых в поле Спецификации блока Интерфейс задания при настройке проекта.

Подробнее

Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.

Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Подробнее

Независимые правила, из которых состоит контроль качества. Блок контроля качества в настройках пула позволяет установить правила и настроить их.

Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.

Подробнее

Способ сочетания заданий и формирования страниц заданий случайным образом так, чтобы задания не повторялись для каждого исполнителя.