Как устроена Толока

После регистрации в Толоке вы можете создавать задания для пользователей. Задания должны быть составлены с учетом требований и рекомендаций. Вам нужно определить внешний вид заданий, настроить логику их распределения и контроль качества ответов. Готовые задания отправляются пользователям. Плата за выполнение заданий списывается с вашего счета в Толоке. Ответы пользователей можно получить в TSV-файле результатов.

Задание в Толоке

Задание представляет собой фрагмент веб-страницы, в котором могут быть размещены различные объекты: картинки, текст, поля ввода. Пользователь читает инструкцию, выполняет задание и вводит ответы. В Толоке можно размещать любые задания, которые соответствуют требованиям.

При создании заданий необходимо указать их параметры (набор полей, типы данных, логика валидации ответов и т. д.). Чтобы запустить задания, нужно определить:

Входные данные загружаются в Толоку в TSV-файле. Группа заданий, сформированная на основе этого TSV-файла, отправляется на выполнение одновременно и называется пулом. Ответы пользователей можно получить в TSV-файле результатов.

Страница заданий

На HTML-странице можно разместить одно или несколько заданий. Размещение нескольких заданий на странице позволяет:

  • снизить затраты. Исполнитель получает вознаграждение за выполнение всей страницы заданий (таким образом, стоимость одного задания может быть меньше минимальной ставки в $0,01).

  • ускорить получение результатов. Исполнитель будет совершать меньше переходов между страницами.

Распределение заданий

Вы можете ограничить круг пользователей, которым будут распределяться задания. Для этого в пуле нужно настроить фильтры по региону, навыку, используемому устройству и другим характеристикам пользователей.

Чтобы получить более надежный результат, задания лучше выдавать с перекрытием: так, чтобы каждое задание было выполнено несколькими пользователями.

Контроль качества ответов

Чтобы повысить качество ответов, вы можете использовать следующие механизмы:

  • Обучение.

    Исполнители потренируются выполнять ваши задания. В случае неверного ответа будет показана подсказка, объясняющая, какой ответ правильный и почему.

  • Блоки контроля качества.

    Позволяют установить критерии качества и выдавать задания только тем, кто удовлетворяет этим критериям.

    Примеры блоков контроля качества: «Если доля правильных ответов в пуле меньше 60%, заблокировать доступ к проекту», «Если пользователь пропустил 5 заданий подряд, приостановить для него доступ к пулу».

  • Отложенная приемка заданий.

    Позволяет проверить задания вручную и отклонить их, если задание выполнено некачественно. Отклоненные задания не оплачиваются.