Результаты

Ответы пользователей можно скачать в TSV-файле по мере выполнения заданий. Если задания выданы с перекрытием (например, каждое задание выполняют 5 пользователей), вы можете агрегировать ответы. Толока проанализирует ответы пользователей в задании выберет один из них. Агрегация невозможна для полей, которые содержат файл, координаты, JSON-объект или строку с произвольным вводом.

Файлы, отправленные пользователями в ответах, нужно скачать отдельно (например, если в задании нужно приложить фото).

Получение TSV-файла с ответами

Чтобы получить TSV-файл с ответами всех пользователей, нажмите кнопку Скачать результаты на странице пула.

Поля в TSV-файле с ответами:

  • INPUT:<идентификатор объекта в описании входных данных> — входные данные заданий.

  • OUTPUT:<идентификатор поля описании выходных данных> — ответы пользователей. Для обучающих заданий приводятся ответы, которые были даны при первой попытке выполнить задание.

  • GOLDEN:<идентификатор поля в описании выходных данных> — ответы для контрольных заданий.

  • HINT:text — подсказки для обучающих заданий.

  • Информация о выполнении задания (дублируется для всех заданий на старнице):

    • ASSIGNMENT:link — ссылка на просмотр страницы заданий.

    • ASSIGNMENT:assignment_id — идентификатор выданной страницы заданий.

    • ASSIGNMENT:worker_id — идентификатор пользователя, который выполнил задание.

    • ASSIGNMENT:started — дата и время выдачи страницы задания.

    • ASSIGNMENT:status — статус задания («SUBMITTED» — выполнено, «APPROVED» — принято, «REJECTED» — отклонено).

Пример TSV-файла:

Агрегация ответов

Чтобы скачать TSV-файл с агрегацией ответов:

  1. Запустите процесс анализа данных: нажмите кнопку Скачать результаты → Агрегация результатов на странице пула.

    Агрегация может занять некоторое время (от 10 минут до нескольких часов). Отслеживать готовность TSV-файла можно на странице Операции.

  2. Cкачайте готовый TSV-файл: нажмите ссылку Скачать на странице Операции.

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <идентификатор поля выходных данных>. В полях CONFIDENCE приведена значимость ответа в процентах (см. Статистическая значимость).

Получение файлов

Если в заданиях требовалось отправить файл, TSV-файл с ответами будет содержать идентификаторы файлов, полученных от пользователей. Чтобы скачать файлы на свой компьютер, нажмите кнопку Скачать результаты → Скачать вложения на странице пула.