В Толоке есть два способа принимать задания исполнителей: автоприёмка — когда ответ принимается сразу после того, как толокер его отправил и отложенная приёмка — после проверки заказчиком. Разбираемся, чем отличаются эти способы, для каких задач они подходят и как быстро и эффективно проверять задания с отложенной приёмкой.

Автоприёмка

Этот способ подходит для простых заданий с перекрытием, в которых можно автоматически следить за правильностью ответов с помощью контрольных заданий и других правил контроля качества. Автоприёмку можно использовать для классификации картинок, видео и текстов, модерации или оценки релевантности.

Как только толокер отправит ответ — задание будет считаться принятым, и деньги за его выполнение перечислятся на счёт исполнителя. Вернуть оплату уже не получится: поэтому важно проверять действия исполнителей прямо в интерфейсе и эффективно настраивать контроль качества.

В интерфейсе можно проверять такие действия:

• Проигрывание медиаконтента — чтобы убедиться, что исполнитель правда посмотрел видео или послушал аудиозапись. Если в задании важно полностью изучить запись — проверяйте длительность прослушивания.
• Переход по внешней ссылке.
• Наличие ответов на определённые вопросы в задании.
• Формат данных, которые вводит исполнитель — это могут быть электронная почта, телефон или дата.

Если настроить проверку в интерфейсе, у исполнителя будет меньше возможностей нарушить инструкцию и сделать ошибку, а значит ответы будут более качественными. Подробнее о проверке обязательных действий мы рассказывали здесь.

Правила контроля качества позволят отсеивать исполнителей, которые отвечают неправильно, прямо в ходе разметки. Вы сможете блокировать таких исполнителей на проекте и не учитывать их ответы при скачивании результатов из пула либо воспользоваться агрегацией.

Подробнее о том, какие правила контроля качества существуют, и как правильно их настроить, читайте здесь.

Когда не получится воспользоваться автоприёмкой

Автоприёмка не подойдёт для задач, в которых нужно:

• Выделять области на картинке;
• Писать тексты;
• Выполнять полевые задания;
• Записывать речь на диктофон, снимать видео или выполнять другие задания, в которых требуется прикрепить файл.

Дело в том, что проверка по контрольным заданиям или мнению большинства основана на точном совпадении ответов. Поэтому проверять таким образом файлы или координаты точек невозможно, ведь правильных вариантов разметки, текстов или фото может быть очень много. Для таких заданий нужна отложенная приёмка.

Отложенная приёмка

Этот способ используют, когда нельзя проверить задания автоматически. Обычно это касается полевых и творческих заданий или задач по созданию контента (видео, аудио или фото). Чтобы определить, подходят ли ответы исполнителя — нужно проверить их перед приёмкой. Принятые задания будут оплачены, а отклонённые — нет.

Делать отложенную приёмку вручную необязательно. Если в проекте предстоит проверить тысячи заданий — можно упростить и автоматизировать процесс. Расскажем, как это сделать.

Способ № 1 — вручную в интерфейсе

Если заданий немного и разметка разовая — проще всего проверить их вручную:

1. Нажмите кнопку Проверить задания на странице пула.
2. Просмотрите ответы исполнителя, а затем нажмите Принять или Отказать.
3. Оставьте комментарий для ответов, которые вы отклонили: объясните толокеру, почему задание выполнено неверно и какие требования инструкции нарушены.

Нажмите кнопку «Принять» или «Отказать»

Если отклоняете задание, оставьте комментарий

Способ № 2 — в TSV-файле с результатами

Подойдёт, если нужно проверить много заданий, предварительно отфильтровать или программно обработать результаты. Например, отсортировать несодержательные или бессмысленные комментарии, определить мнение большинства или исключить ответы недобросовестного исполнителя.

1. Скачайте TSV-файл с ответами со страницы пула.
   
2. Обработайте файл и проставьте вердикты в столбце ACCEPT:verdict. Поставьте «+» для заданий, которые нужно принять, и «-» — для тех, которые нужно отклонить.
3. Для отклонённых заданий добавьте комментарий с объяснением причины в поле ACCEPT:comment.

   

   Если на странице несколько заданий, у них будет одинаковый ASSIGNMENT:assignment_id — уникальный идентификатор страницы с ответами. Поэтому сначала нужно решить, стоит ли принимать всю страницу. Расставьте плюсы и минусы для всех заданий на странице, подсчитайте результат, а затем оставьте в файле только одну строку для каждого assignment_id. Если на странице больше правильных ответов, её стоит принять, а если верных ответов мало — отклонить.

4. Загрузите готовый TSV-файл с вердиктами обратно в Толоку — и задания будут проверены.

   Важно удалить лишние строки: если загрузить файл с повторяющимися assignment_id, система случайным образом выберет любую из таких строк и применит ко всей странице указанный вердикт — примет её или отклонит. Поэтому после обработки файла некоторые задания могут получить не те статусы, которые вы ожидали.

Если пользователи прикрепляли к ответам файлы (картинки, аудио или видео), то проверять задания в TSV-файле будет неудобно: придётся скачивать файлы, просматривать их, а затем заносить вердикт в нужную строку. В этом случае лучше проверить задания в интерфейсе или воспользоваться способом № 3.

Способ № 3 — с помощью толокеров в отдельном проекте

Этот способ стоит освоить, если у ваших проектов большой и постоянный поток разметки. При желании метод конвейера можно автоматизировать с помощью API и освободить время для более высокоуровневых задач.

Для проверки заданий толокерами нужно создать отдельный проект. В нём вы покажете другим исполнителям полученные ответы и попросите оценить, верно ли выполнено задание. Например:

• В первом проекте нужно записать речь на диктофон, значит во втором нужно послушать аудиозапись и ответить, правильно ли надиктована предложенная фраза.
• В первом проекте толокеры обводили дорожные знаки на картинке, чтобы проверить их ответы нужно указать, правильно ли они обведены.
• В первом проекте исполнители записывали, что говорят на аудиозаписи, значит для проверки нужно прослушать запись, сравнить её с готовым текстом и отметить, есть ли ошибки.

Расшифровка аудиозаписей

Проверка ответов

В зависимости от типа задачи процесс может различаться, но общий план проверки ответов с помощью толокеров выглядит так:

1. Если в первом проекте исполнители оправили вам файлы — скачайте их вместе с TSV-файлами и выложите на любую облачную платформу, например, в Yandex.Cloud. Это нужно, чтобы получить прямые ссылки на ответы и показать их исполнителям в задании.
2. Создайте интерфейс задания, чтобы исполнитель увидел данные из предыдущего проекта (исходные данные и полученные ответы). Не забудьте добавить скрытое входное поле assignment_id — исполнитель его не увидит, а вам будет проще разобраться, к какому заданию относится вердикт.
   
   
3. Добавьте в инструкцию требования к заданию и критерии оценки результатов: что считать правильным, а что нет.
4. Назначьте навык всем исполнителям, которые выполняли задания в первом проекте. Добавьте во второй проект фильтр для отбора исполнителей без навыка: так толокеры не смогут проверять свои же задания.
   
   
5. Поставьте автоприёмку, перекрытие 3 или динамическое перекрытие в пуле.
6. Загрузите задания и запустите пул.
7. Когда пул будет полностью выполнен — запустите агрегацию результатов.
8. На основе агрегированных данных подготовьте и загрузите файл с результатами проверки, как в способе № 2.

О том, как настроить проверку ответов с помощью исполнителей мы рассказывали в туториале по краудсорсингу на примере выделения областей на картинке. Пройдите туториал, чтобы этому научиться работать с такими задачами.

Способ № 4 — через API

Выполнять отложенную приёмку можно с помощью API. Чтобы принять или отклонить полученные ответы, измените статус страницы заданий с помощью PATCH-запроса к ресурсу /assignments/<assignment_id>:

1.     Принять ответы: измените статус SUBMITTED на ACCEPTED.

2.     Отклонить ответы: измените статус SUBMITTED на REJECTED.

3.     Изменить решение об отклонении: измените статус REJECTED на ACCEPTED.

Обратите внимание: принять или отклонить все задания по ID пула нельзя. Нужно указывать ID каждой страницы заданий.

Подробнее об отложенной приёмке через API можно узнать в справке. Если нужна помощь, обратитесь в службу поддержки — мы поможем написать запрос.

Полуавтоматическая приёмка

Так можно назвать комбинированный метод проверки: когда часть задания принимается автоматически правилом контроля качества, а оставшиеся задания — любым из перечисленных выше способов.

Если вы проверяете исполнителей контрольными заданиями, добавьте в пул правило, чтобы принимать все ответы пользователей, которые успешно справляются с заданием, например, с качеством 80% и выше:  

По аналогии можно настроить правило «Мнение большинства», чтобы принимать ответы исполнителей, которые совпадают с ответами других толокеров.

Что важно учесть при проверке ответов

• Ответы нужно полностью проверить в течение срока, который установлен в поле Срок проверки. Если не успеете — непроверенные задания будут приняты автоматически, а деньги на их оплату спишутся с вашего счёта.
• Исполнитель может подать апелляцию, чтобы попросить заново проверить и принять отклонённые задания. На это даётся 7 дней с того момента, как задание было отклонено. Если вы отклонили ответы по ошибке — примите их. Если всё верно — напишите сообщение толокеру и объясните, в чём он ошибся: в следующий раз исполнитель будет внимательнее. Рассматривайте обращения и отвечайте на них вовремя — в течение 9 дней с момента отклонения задания.
• Отклонённые задания можно отправить на повторное выполнение автоматически с помощью правила Обработка отклонённых и принятых заданий.
• Принять ранее отклонённое задание можно, а вот отклонить уже принятое — нет. Поэтому принимайте задания внимательно.
• Нельзя изменить статус задания, если пул, к которому оно относится, отправлен в архив. Обратите внимание: архивация произойдёт автоматически, если в пуле не было активности в течение месяца.
• Ответы из пула скачиваются в формате TSV, если нужен формат JSON — воспользуйтесь API.
• Если в ответах содержатся файлы, отправленные исполнителями, можно скачать их из пула в ZIP-архиве. Нажмите Скачать результаты → Скачать вложения на странице пула. Архив будет содержать папки с номерами выполненных заданий (assignment_id), в каждой из них будут лежать отправленные файлы. Имена файлов присваиваются автоматически при загрузке, изменить их нельзя. Названия вложений вы найдёте в TSV-файле с ответами, в тех выходных полях, куда они были загружены.

Как видите, в Толоке можно настроить быстрый и удобный способ проверки ответов для любого типа заданий. Если у вас остались вопросы напишите нам, и мы поможем подобрать настройки, которые подходят именно для вашего проекта.