Толока

Использование навыков в Толоке

В Толоке несколько миллионов пользователей. Одни хорошо справляются с разными видами заданий, другие выбирают 2–3 любимых проекта и становятся в них экспертами, третьи пробуют себя во всех доступных заданиях, но выполняют их посредственно. Есть ответственные и усидчивые пользователи, а есть невнимательные. Оценить умение пользователя выполнять то или иное задание можно с помощью навыков.

Навык — это оценка качества выполнения заданий по шкале от 0 до 100. Назначить его можно как вручную, так и автоматически — с помощью правил контроля качества. Например, навык может показывать, насколько ответы пользователя совпадают с мнением большинства или какой процент выполненных им заданий принимается после проверки. Но применение навыков в Толоке гораздо шире. В этом посте мы расскажем, как и для чего ещё их можно использовать.

Доступ к заданиям

Навык можно использовать в качестве фильтра для доступа к пулам. Ограничить доступ к пулу пользователям, которые выполняют задание некачественно, можно не только с помощью блокировки, но и с помощью фильтра по навыку. Например, «Классификация картинок» > 65. Если этот навык можно получить, только выполнив несколько заданий в пуле, добавьте в фильтр условие «или = Отсутствует». Иначе задания из пула никому не будут доступны.

С настройками в нашем примере новый пользователь сможет выполнить 3 задания в пуле. После этого он получит навык «Классификация», равный проценту правильных ответов. Например, при двух верных ответах его навык будет равен 66. Это выше порога, поэтому пользователь получит следующее задание. После каждого контрольного ответа значение навыка будет пересчитываться, и как только оно станет меньше 65, исполнитель потеряет доступ к пулу.

Если у вас есть основной проект и проверочный, лучше доверить проверку заданий другим исполнителям. Например, одни выполняют полевые задания, а другие — проверяют, все ли фото сделаны по инструкции. Чтобы не допустить исполнителей из основного проекта к проверке выполненных ими заданий, назначайте им навык = 1 с помощью правила Выполненные задания.

В проверочном проекте укажите в требованиях к пользователям, что для доступа к пулу этот навык должен отсутствовать или быть не равным 1.

Бонусы и стоимость заданий

С помощью навыка можно поощрить бонусами исполнителей, которые выполнили задание лучше других. Допустим, вы назначаете навык «Классификация картинок» по проценту правильных ответов на контрольные задания. Чтобы выдать бонус исполнителям с навыком 90 и выше, добавьте фильтр по этому навыку на странице Пользователи, затем нажмите кнопку со значком доллара. Укажите, за что именно начислен бонус, и нажмите Выдать.

Можно установить более высокую цену за задание исполнителям с высоким уровнем навыка. Если навык будет публичным, такое динамическое ценообразование мотивирует исполнителей делать задание более качественно, чтобы получить бо́льшую сумму. Диапазон стоимости настраивается в пуле с помощью кнопки +Динамическое ценообразование.

Снижение стоимости разметки

В Толоке есть возможность изменять количество исполнителей для каждого задания в зависимости от того, насколько правильны и согласованы их ответы — динамическое перекрытие. Оно позволяет снизить стоимость разметки пула, не теряя качества. Навык — одна из важнейших деталей этого механизма. Именно он определяет уровень доверия к ответам исполнителя.
 

Чтобы повысить точность расчётов, используйте обновляемый навык. Лучше всего — рассчитанный как процент правильных ответов на контрольные задания. Для динамического перекрытия не подходят тренировочные навыки, а также навыки, назначенные вручную или по совпадению с мнением большинства.

Оценка обучения

После прохождения обучения исполнитель получает навык с именем <название проекта> — training. Значение навыка равно проценту правильных ответов на задания. Тренировочный навык публичный, а значит пользователь может оценить, насколько хорошо он справился. Если уровень навыка достаточный для доступа к основному пулу, исполнитель получит приглашение перейти к выполнению задания, если нет — попробовать свои силы в другом проекте.

У тренировочных навыков есть две важные особенности:

  1. Срок действия навыка — это количество дней, указанное в поле «Сколько последних значений учитывать». Если исполнитель не справился с тренировкой или не выполнил ни одного задания из основного пула в течение этого срока, навык пропадёт автоматически. А это значит, что тренировку придётся проходить заново. Не указывайте слишком маленький срок действия навыка, особенно если запускаете задания не регулярно. Иначе исполнители выучат тренировку наизусть. По этой же причине не стоит использовать тренировочный навык в правилах контроля качества. Лучше создайте новый, он никуда не исчезнет со временем.
  2. Навык относится ко всему проекту. Это значит, что если вы создали в проекте одну тренировку, а затем вторую, то исполнителям, которые уже проходили первую, не будет доступна вторая. Причина в том, что у них уже есть навык <название проекта> — training. Чтобы новое обучение прошли все исполнители, удалите у них тренировочный навык.

Рассылка и уведомления

Иногда нужно отправить сообщение всем исполнителям, которые участвовали в том или ином проекте. Например, если изменилась инструкция или вы решили запустить бонусную программу. Создать список исполнителей для такой рассылки можно с помощью навыка.

Если в вашем проекте уже используется навык, перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → [название навыка] > 0 или не равно «Отсутствует».

Если навыка нет, на странице Пользователи добавьте фильтр по названию проекта и присвойте получившемуся списку пользователей скрытый навык. Например, «Рассылка по классификации = 1».

После этого перейдите в Сообщения, нажмите Написать → Группе → Добавить фильтр → Выбрать свой навык → Рассылка сообщений = 1.

Как видите, навык можно использовать не только в правилах контроля качества. Это универсальный инструмент для работы с исполнителями и один из базовых элементов для умных алгоритмов Толоки: динамического перекрытия и ценообразования, а также агрегации ответов.