Советы по составлению заданий

Чтобы получить более точные ответы, продумайте структуру и формулировку заданий, настройки для сбора ответов:

Составляйте максимально простые задания. Сложные задания разделяйте на несколько проектов

Исполнители лучше справляются с короткими однотипными заданиями. Поэтому, если ваша задача большая или состоит из нескольких этапов, то разделите её на несколько простых и создайте проекты, отдельные для каждой задачи или каждого этапа.

Например, если вам нужно распознать дорожные знаки, сделайте отдельный проект для каждого из этапов: отсев фотографий без дорожных знаков, выделение дорожных знаков на фото, распознавание дорожных знаков и проверка результатов.

Напишите хорошую инструкцию

Инструкция по выполнению заданий должна быть:

  • Полной. Опишите все случаи, с которыми может столкнуться исполнитель.

  • Лаконичной. Используйте краткие формулировки и простые предложения.

  • Структурированной. Дайте пошаговые указания (если возможно). Используйте списки и форматирование, чтобы облегчить восприятие текста.

  • Наглядной. Приведите примеры. Добавьте в них изображения (если они есть в заданиях).

    Например, если в задании нужно оценить качество изображения, включите в инструкцию картинки хорошего и плохого качества. Если нужно определить тип одежды на картинке, опишите возможные варианты в инструкции и проиллюстрируйте текст изображениями.

Если вы используете отложенную приемку, в инструкции перечислите критерии оценки.

Создайте простой и удобный интерфейс задания

Сделайте интерфейс задания максимально эффективным с помощью настроек.

  • Чтобы исполнители могли работать быстрее, добавьте в интерфейсе задания горячие клавиши.
  • Чтобы исполнители меньше ошибались, добавьте валидацию ответов.
  • Не перегружайте интерфейс. Если в интерфейсе слишком много элементов, возможно стоит разделить проект на несколько мелких проектов.
  • Проверяйте работоспособность проектов и их отображение на экранах компьютеров и мобильных устройств. Используйте песочницу, чтобы отладить задание.
Выделите достаточное время на выполнение задания

Спешка снижает качество ответов, поэтому время на выполнение задания нужно устанавливать с запасом.

Составьте задания для обучения

Предложите исполнителям пройти обучающие задания перед тем, как приступать к основному пулу. Включите в задания для обучения спорные случаи.

Отбирайте исполнителей

В фильтрах обязательно укажите язык, на котором написана инструкция и текст в задании. Добавьте фильтр по навыку и ползунок Соотношение скорости и качества, чтобы над проектом работали только исполнители с высоким рейтингом. Для заданий в мобильных приложениях используйте фильтр Клиент = Мобильная Толока

Добавьте экзамен по результатам обучающего задания для отбора исполнителей. Для этого назначайте исполнителям навыки в зависимости от правильности ответов.

Выберите подходящий способ контроля качества

Если задание содержит простой вопрос c вариантами ответа и выполняется довольно быстро (1–10 минут), лучше запустить задания с перекрытием и использовать проверку мнением большинства, контрольные задания, капчу и ограничение быстрых ответов.

Если в задании нет четких вариантов ответа (например, требуется создание или перевод текста, транскрибирование аудиозаписей), можно использовать следующие способы проверки:

  • Проверить ответы самостоятельно с помощью отложенной приемки.

  • Отправить ответы на проверку исполнителям Яндекс.Толоки. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Установите перекрытие и проверку мнением большинства.

Установите справедливую цену и выдавайте бонусы
Установите справедливую цену: чем сложнее задание и чем больше времени тратит исполнитель, тем выше должна быть цена. Установите динамическое ценообразование, чтобы поощрить старательных исполнителей.
За хорошее выполнение заданий исполнителям можно выдавать бонусы. Это повышает мотивацию и заставляет исполнителей более внимательно относиться к вашим заданиям.
Поддерживайте контакт с исполнителями
Адекватное общение с исполнителями делает их более заинтересованными, а вам позволяет оперативно находить проблемы в заданиях. Отвечайте на вопросы в личных сообщениях.

Решение проблем

Как определить время на выполнение задания?
Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.
Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

  • Обязательно используйте один или несколько способов контроля качества.

  • Подсчет быстрых ответов имеет смысл для большинства заданий.

  • Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

  • Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

  • Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.