Разметка заданий

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Так, вы можете сделать основное задание контрольным, указав правильный ответ, или обучающим, добавив правильный ответ и подсказку.

Какой должна быть хорошая подсказка?

Избегайте формулировок формата: «Вы ответили неправильно, ответьте правильно». Исполнитель ничему не научится, если текст в подсказках не будет пояснять суть ошибки.

Подсказки следует делать понятными, объяснять, какой именно ответ надо выбрать и почему.

Ограничение. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания» .
  1. Как разметить задания
  2. Повысить надежность контрольных заданий
  3. Как редактировать задания
  4. Как удалить задание из пула
  5. Что дальше
  6. Решение проблем

Как разметить задания

  1. Убедитесь, что пул не запущен.
  2. Нажмите кнопку Разметить в блоке Задания пула.
  3. Перейдите на вкладку Основные, Контрольные или Обучающие. Создайте контрольное или обучающее задание из задания другого типа.
  4. Отметьте ответы, которые нужно учитывать при проверке. (Справа приведен список полей с выходными данными.)
  5. Нажмите кнопку Сохранить и перейти к следующему.
Пример разметки задания

В примере добавлен правильный ответ для контрольного задания. При проверке будет учитываться только выбор в поле result (Хорошее / Плохое / Ошибка загрузки).

Повысить надежность контрольных заданий

После того, как вы создали контрольные задания, убедитесь, что различные варианты правильных ответов встречаются в равной степени. Это поможет избежать случайное угадывание ответов со стороны исполнителей.

  1. Перейдите на страницу разметки задания.
  2. Откройте вкладку Контрольные → Распределение ответов на контрольные задания.

    Распределение ответов указано в процентах.

Совет. При составлении контрольных заданий в качестве правильных указывайте только ответы по существу. Так, для задания, в котором нужно распределить изображения по категориям, вариант Ошибка загрузки изображения не будет считаться ответом по существу.
Пример распределения ответов

Как редактировать задания

  1. Убедитесь, что пул не запущен.
  2. Нажмите кнопку Разметить в блоке Задания пула.
  3. Перейдите на вкладку, которая соответствует типу задания.
  4. Найдите задание в списке и нажмите значок . Вам откроется режим редактирования.

Как удалить задание из пула

  1. Убедитесь, что пул не запущен.
  2. Нажмите кнопку Разметить в блоке Задания пула.
  3. Перейдите на вкладку, которая соответствует типу задания.
  4. Найдите задание в списке и нажмите значок . Также задание можно удалить из пула в режиме редактирования.
Совет. Если через API настроить перекрытие равное 0, то задание можно не удалять, так как оно будет не видно исполнителям.

Решение проблем

Загрузка заданий в пул
Ошибки при загрузке заданий в пул
Как посмотреть лог обработки
Чтобы посмотреть лог обработки, нажмите Подробнее об ошибках загрузки. Лог обработки записан в формате JSON. Объекты внутри result соответствуют номеру строки загружаемого файла. Строки, обработанные с ошибкой, имеют статус "success": false.
Совет. Работать с большим логом удобнее, если скопировать его в текстовый редактор.
Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблица ошибок обработки
Описание Как исправить
"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t",
"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

Лишние знаки табуляции.

Если в загружаемом TSV-файле после данных или ссылки стоит количество разделителей столбцов \t больше, чем задано число столбцов во входных данных, то появится сообщение об ошибке.

Например, когда во входных определен 1 столбец, а в TSV-файле после ссылки прописано ещё два знака табуляции \t\t, то получится 3 столбца, 2 из которых лишние.

Удалите лишние разделители столбцов, в приведенном выше примере ошибки — оба знака (\t\t).

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

Не совпадает количество полей в заголовке и в строке.

Проверьте, что:

  • указано верное количество знаков табуляции в структуре файла;
  • строковые значения, содержащие знак табуляции, заключены в кавычки" ".
"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"
Не указано значение обязательного поля входных данных.

Проверьте, что заполнены все столбцы с обязательными полями входных данных.

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"
Данные в поле с типом «ссылка» («url») некорректны.
Проверьте, что:
"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

В строке стоит непарная кавычка.

Проверьте, что все кавычки экранированы.

Как понять сколько заданий будет на странице у исполнителя?

Вы можете указать сколько заданий будет на странице при загрузке заданий в пул. Подробнее о способах распределения заданий по страницам можно узнать здесь.

Как загрузить файл с принятыми решениями обратно в Толоку для случая, когда выставлена отложенная приемка? Где описан формат загружаемых данных?

Для загрузки файла используйте кнопку Загрузить результаты. Формат можно посмотреть здесь.

Проверка ответов выполняется в TSV-файле.

Почему после запуска первого проекта не приходят ответы и все загруженные задания отмечаются как "Обучающие"?

Проверьте поле hint. Для обычных заданий это поле должно быть пустым.

Как правильно сформировать файл задания, чтобы не было ошибок?

В файле с основными заданиями должны быть заполнены столбцы с заголовками INPUT. Вы можете увидеть эти заголовки, если скачаете образец файла из пула.

Если создаете контрольные задания, то заполните столбцы с правильными ответами — GOLDEN.

Если обучающие, то также понадобится заполнить столбец HINT:text. Для основных заданий все столбцы кроме INPUT не нужны, их можно удалить.

Формат файла должен быть TSV, кодировка — UTF-8.

Если вы разместили файлы на Яндекс.Диске, посмотрите видео, как указать ссылки на них в TSV-файле.

Подробнее о создании файла в Руководстве. Если при загрузке возникают ошибки, поищите вашу ошибку на этой странице.

Почему при загрузке задания, в котором нужно просмотреть изображение и написать фидбэк, появляется ошибка синтаксиса?

Ошибка будет возникать, если на вход ожидается тип URL, а приходит строка.

Причин может быть две:
  • Входное поле имеет тип "ссылка".
  • Пул работает на неактуальной версии проекта. То есть создан до того, как вы изменили тип входного поля.
Какое максимальное количество заданий может быть на одной странице?

Зависит от задания. Технически можно много.

Но, во-первых, пользователи неохотно берутся за задания, которые требуют много времени на выполнение. То есть, они скорее сделают 10 заданий по одной минуте, чем одно задание на 10 минут.

Во-вторых, при большом количестве заданий на странице может быть проблема с загрузкой файлов для разметки. Например, картинок.

Третий момент — контроль качества и оценка выполнения всей страницы. Если вы используете дооценку заблокированных пользователей, то лучше дробить задание на более мелкие части, чтобы в переразметку отправлялось меньше заданий. Это позволит уложиться в бюджет.

Как в интерфейсе при загрузке файла указываются настройки умного смешивания?

Настройки умного смешивания указываются для файла — не для пула.

При первой загрузке файла указанные настройки будут применяться для всех файлов, загруженных в дальнейшем в этот пул.

Как определить время на выполнение задания?
Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.
Чем отличаются task и task_suite?

Task — это отдельное задание. Task suite — страница с заданиями. Исполнитель получает оплату за страницу заданий.

Одно и то же задание попало на разные страницы

Одно и то же задание может попасть на разные страницы, если:

  • Существует динамическое перекрытие (incremental relabeling, IRL). Например на странице было 5 заданий, по 4-м из них ответы согласовались так, что общий ответ зачелся как верный. Пятое задание будет замешано в другой набор, поскольку оно не попало в финальный ответ и его необходимо «дооценить».
  • У разных заданий существует разное перекрытие. Те задания, у которых перекрытие указано больше, будут дополнительно показываться в наборах с другими оставшимися заданиями в пуле.
  • Если правило контроля качества меняет перекрытие у задания, то оно окажется в другом наборе.
Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.