Показатели качества по типам заданий

Полевые задания и выделение области на картинке

Полевые задания выполняют в мобильном приложении. Обычно исполнитель должен прийти по адресу, сделать фотографии или записать видео, а также ответить на вопросы. В заданиях по выделению областей исполнитель должен отметить на картинке область в виде многоугольника или прямоугольника.

Проверка заданий

Обычно в заданиях этих типов устанавливают отложенную приемку, поэтому ответы исполнителей нужно проверять. Для этого есть три способа:

  • Автоматическая проверка. Например, вы написали скрипт, который забирает через API результаты, отправляет ответы на распознавание и проверку, сверяет координаты, а затем возвращает статусы заданий (принять или отклонить) и загружает их в Толоку. Если вы создали такой скрипт или автоматизировали проверку другим способом, — покажите нам, как это работает.

  • Проверочное задание. Выполненные задания можно отдать на проверку другим исполнителям в виде задания в Толоке. При этом важно, чтобы проверочное задание было недоступно исполнителям, которые участвовали в полевом задании.

  • «Умный» шаблон. Например, в полевом задании работает JavaScript, который не позволяет пользователю отправить ответы, если он находится более чем в 1 км от метки на карте.

Приемка заданий

Мы ожидаем, что ваш проект будет настроен таким образом:

  • Средний срок проверки задания — не более 7 календарных дней. А лучше — 2–3 дня.

  • Процент принятых заданий — не менее 75%. Наш опыт показывает, что высокий процент отклоненных заданий — показатель неудачной организации процесса, и это стоит исправить. Чаще всего перед исполнителями стоит слишком объемная и сложная задача, которую можно и нужно разделить на несколько простых.

Классификация

Классификация — это задание с выбором из конечного числа вариантов ответа. Например, модерация комментариев или распределение изображений по заданным категориям.

Контроль качества

Правила позволяют в реальном времени измерять качество ответов исполнителей: устанавливать более высокую стоимость для тех, кто справляется хорошо, и ограничивать доступ к заданиям для тех, кто работает недобросовестно.

  • Используйте в проекте минимум три разных правила контроля, одним из которых обязательно должен быть Контрольный набор.

  • Добавляйте в пул не менее 1% контрольных заданий. Следите за их актуальностью, пополняйте и обновляйте их не реже чем раз в 30 дней. Страницы в интернете очень динамичны, и еще недавно работающая ссылка может показать ошибку 404, а информация на странице — устареть.

Обучение
Никто из нас не любит длинные инструкции. Гораздо проще научиться чему-то на примерах. Обучение поможет пользователям разобраться, как выполнять задание, а вы сможете выбрать тех, кто хорошо с ней справился. Обновляйте обучение не реже чем раз в три месяца. Иначе оно устареет, а исполнители успеют выучить его наизусть.