Получить хорошие результаты в краудсорсинге невозможно без продуманной системы контроля качества. В Толоке вы можете подобрать и настроить правила в зависимости от типа вашей задачи: быстрые ответы, мнение большинства, капча и, конечно, контрольные задания. Это задания с правильными ответами, которые подмешивают на страницу с основными заданиями, чтобы оценивать качество работы исполнителя в режиме реального времени.
Создать такие задания можно разными способами:
- Добавить правильные ответы в TSV-файл, в столбцы с заголовком GOLDEN.
- Выполнить своё задание в Песочнице и выгрузить TSV-файл с ответами.
- Разметить задания в интерфейсе Толоки.
В этой статье мы расскажем, как подготовить контрольные и обучающие задания с помощью Разметчика. В качестве примера возьмём проект по классификации товаров.
Видеоруководство по созданию такого проекта вы найдёте на нашем канале на YouTube.
Для начала подготовим TSV-файл со ссылками на картинки и загрузим его в пул.
- Создайте новый пул и скачайте образец загрузочного файла. Откройте файл в блокноте или редакторе электронных таблиц.
- Удалите все данные, кроме столбцов с заголовком INPUT. В нашем примере это INPUT:Image.
- Заполните столбец ссылками на картинки. Каждая ссылка — на отдельной строке. Сохраните файл в формате TSV.
- Вернитесь на страницу пула и нажмите Загрузить.
- В открывшемся окне выберите Умное смешивание.
Разметка доступна только при выборе этого способа распределения заданий.
- Укажите количество заданий на странице. Например: 9 основных и 1 контрольное.
- Нажмите Загрузить и выберите подготовленный TSV-файл со ссылками на картинки. Дождитесь результата обработки и нажмите Добавить.
Мы загрузили основные задания. Превратим часть из них в контрольные, и система сможет сформировать страницы, смешав задания в нужной пропорции.
Теперь приступим к созданию контрольных заданий.
- Откройте интерфейс разметки.
- Нажмите кнопку Создать контрольные.
- Отметьте галочкой выходные поля, которые будут учитываться при проверке ответа на контрольный вопрос, выберите вариант ответа и нажмите кнопку Сохранить и перейти к следующему.
Совет. Потяните за край левой или правой области Разметчика, чтобы изменить размер полей.
- Если у вас небольшой пул, разметьте таким образом не менее 10% заданий. Для разметки больших пулов достаточно 1% контрольных заданий.
- На панели справа показано распределение правильных ответов на контрольные задания. Старайтесь, чтобы у вас были представлены различные варианты ответов, чтобы исполнители не могли их просто угадать.
Когда нужное количество заданий будет готово, кликните по названию пула вверху страницы, чтобы выйти из режима разметки.
С помощью Разметчика можно создавать не только контрольные, но и тренировочные задания. Чтобы из контрольного задания сделать обучающее, добавьте к выбранному варианту ответа подсказку.
Текст подсказки будет показан исполнителю в том случае, если его ответ не совпадёт с вашим. В поле для комментария напишите, какой ответ необходимо выбрать и почему.
Обучающие задания помогут на примерах пояснить сложные моменты в инструкции и научить пользователей ставить верные оценки. Чтобы исполнитель получил доступ к основным заданиям только после обучения, привяжите обучающий пул к основному. Как это сделать, читайте в Руководстве заказчика.
Не забудьте добавить в пул правило Контрольные задания, чтобы назначать исполнителю навык на основе его ответов и блокировать доступ тем, кто даёт неправильные ответы.
Правило начнёт действовать после того, как исполнитель ответит на заданное число контрольных заданий. Толока подсчитает процент правильных и неправильных ответов и выполнит действие — назначить навык или заблокировать доступ к заданию. Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, нужно указать в поле Сколько последних значений учитывать.
В примере мы добавили два контрольных правила. Они начнут работать, как только исполнитель сделает 3 контрольных задания. Поскольку у нас на странице одно контрольное задание, это произойдёт после того, как он выполнит третью страницу с заданиями. Первое правило назначит исполнителю навык, равный проценту совпадений его ответов с контрольными. Если доля неправильных ответов окажется больше или равна 60%, то второе правило заблокирует исполнителя на проекте на 10 дней.
Другие примеры правил вы найдёте в Руководстве.
Следите за тем, как исполнители справляются с контрольными и обучающими заданиями, на графике оценки качества в разделе Статистика.
Если качество по контрольным заданиям низкое, проверьте ваши ответы. Возможно, среди них есть неверные, устаревшие или неоднозначные примеры. Уточните и дополните инструкцию, чтобы информации в ней хватало для качественного выполнения задания, удалите неактуальные задания. Если показатели высокие, но при этом качество основной разметки низкое, проверьте, не слишком ли много очевидных или однотипных примеров. Попробуйте усложнить и разнообразить контрольные задания.
Как видите, с помощью Разметчика можно легко создать и изменить контрольные задания. Потратив немного времени на подготовку контрольного набора, вы сможете лучше контролировать качество ответов, обучать исполнителей и ранжировать их по навыкам. А это, в свою очередь, позволит вам использовать динамическое перекрытие, ценообразование и другие продвинутые возможности Толоки.