Как устроена Толока

После регистрации в Толоке вы можете создавать задания для пользователей. Задания должны быть составлены с учетом требований и рекомендаций. Вам нужно определить внешний вид заданий, настроить логику их распределения и контроль качества ответов. Готовые задания отправляются пользователям. Плата за выполнение заданий списывается с вашего счета в Толоке. Ответы пользователей можно получить в TSV-файле результатов.

Задание в Толоке

Задание представляет собой фрагмент веб-страницы, в котором могут быть размещены различные объекты: картинки, текст, поля ввода. Пользователь читает инструкцию, выполняет задание и вводит ответы. В Толоке можно размещать любые задания, которые соответствуют требованиям.

При создании заданий необходимо указать их параметры (набор полей, типы данных, логика валидации ответов и т. д.). Чтобы запустить задания, нужно определить:

Входные данные загружаются в Толоку в TSV-файле. Группа заданий, сформированная на основе этого TSV-файла, отправляется на выполнение одновременно и называется пулом. Ответы пользователей можно получить в TSV-файле результатов.

Набор заданий

На HTML-странице можно разместить одно или несколько заданий. Размещение нескольких заданий на странице позволяет:

  • сократить время загрузки;

  • установить более низкую плату за задание. Пользователь получает вознаграждение за выполнение всего набора заданий (таким образом, стоимость задания может быть меньше минимальной ставки в $0,01).

Распределение заданий

Вы можете ограничить круг пользователей, которым будут распределяться задания. Для этого в пуле нужно настроить фильтры по региону, квалификации, используемому устройству и другим характеристикам пользователей.

Чтобы получить более надежный результат, задания лучше выдавать с перекрытием: так, чтобы каждое задание было выполнено несколькими пользователями.

Варианты распределения заданий:

  • Выдавать задания в случайном порядке (по умолчанию).

  • Выдавать задания в том порядке, в котором они приведены в TSV-файле (см. Параметры пула).

  • (В мобильной версии.) Предложить выбор задания пользователю. Например, в проектах, связанных с геоданными, пользователь выбирает задание в зависимости от своего местоположения (см. Параметры проекта).

Контроль качества ответов

Чтобы повысить качество ответов, вы можете использовать следующие механизмы:

  • Блоки контроля качества.

    Позволяют установить критерии качества и выдавать задания только тем, кто удовлетворяет этим критериям.

    Примеры блоков контроля качества: «Если доля правильных ответов в пуле меньше 60%, заблокировать доступ к проекту», «Если пользователь пропустил 5 заданий подряд, приостановить для него доступ к пулу».

  • Отложенная приемка заданий.

    Позволяет проверить задания вручную и отклонить их, если задание выполнено некачественно. Отклоненные задания не оплачиваются.