Повторное выполнение заданий после блокировки исполнителя
Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:
Написать в чат Написать в Telegram
Используйте это правило, если исполнитель был заблокирован, и вы хотите, чтобы его задания выполнил кто-то еще.
Примечание
Не используйте данное правило в пулах с динамическим перекрытием. Это правило увеличит значение максимального перекрытия.
Когда использовать
Внимание
Применение этого правила может привести к увеличению стоимости пула.
Используйте правило, если по каждому заданию в заданном перекрытии вы хотите получить ответы добросовестных исполнителей.
Ответы заблокированных исполнителей будут учтены, если не отклонить их вручную при помощи отложенной приемки. Чтобы отправить задания этих исполнителей на повторную разметку, настройте правило.
Чтобы выгрузить ответы незаблокированных исполнителей:
- На странице пула справа нажмите Скачать результаты.
- Активируйте опцию Не учитывать ответы заблокированных исполнителей.
- Нажмите Скачать результаты.
Не используйте, если:
- Не хотите, чтобы увеличивалось перекрытие по заданиям.
- Хотите, чтобы окончательный бюджет на разметку пула не превысил стартовый.
- У вас настроено динамическое перекрытие. Это правило увеличит значение максимального перекрытия.
Как настроить
Внимание
Все поля этого правила — обязательные. Если вы не заполните хотя бы одно из них, правило сохранить не получится.
|
Поле |
Описание |
|
Если |
Условие, при котором выполняется действие в поле то:
Чтобы добавить несколько условий, нажмите . |
|
то |
Действие, выполняемое при условии Если:
|
Примеры
Задача: распределить фотографии для датасета по разным категориям. Если исполнитель был заблокирован по одному из правил контроля качества (например, быстрые ответы) или перестал соответствовать навыку, то его ответы не зачтутся и будут переданы на выполнение другому исполнителю.
Повторная отправка заданий при блокировке исполнителя
Если исполнитель заблокирован по одному из правил контроля качества, его задания будут отправлены на повторное выполнение другому исполнителю.
Повторная отправка заданий при несоответствии исполнителя фильтру по навыку
Если исполнитель перестал соответствовать фильтру по навыку, в результате чего его ответы не учтены, его задания будут отправлены на повторное выполнение другому исполнителю.
Повторная отправка заданий при блокировке исполнителя
Если исполнитель заблокирован по одному из правил контроля качества, его задания не будут отправлены на повторное выполнение другому исполнителю.
Повторная отправка заданий при несоответствии исполнителя фильтру по навыку
Если исполнитель перестал соответствовать фильтру по навыку, в результате чего его ответы не учтены, его задания не будут отправлены на повторное выполнение другому исполнителю.
Решение проблем
Какое значение перекрытия лучше установить?
Оптимальное перекрытие — это перекрытие, которое позволяет получить качество ответов, устраивающее заказчика. Для большинства заданий без отложенной приемки достаточно перекрытия от 3 до 5. Если у вас простое задание, скорее всего, вам хватит перекрытия 3. Для заданий с отложенной приемкой установите перекрытие 1.
Можно ли изменить перекрытие после запуска пула?
Да. Установите новое значение перекрытия в настройках пула. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.
Нужно ли создавать навык для каждого пула?
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
-
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
-
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
-
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.
-
-
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.
Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?
Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних исполнителей по Мнению большинства?
Чтобы выполнять действия с исполнителями (назначение навыка, блокировка) на основе мнения большинства, добавьте в пул правило Мнение большинства.
Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется в проектах с готовыми вариантами ответа. Для полей с вводом текста или с загрузкой файлов это правило не используется.
Как в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей?
Для этого есть два способа:
-
Использование действия заблокировать в правилах контроля. В поле Если укажите условие, при котором исполнитель будет заблокирован, и выберите действие заблокировать в поле то.
Пример
Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов меньше 60%, то он будет заблокирован на проекте.
-
Использование навыков и фильтров по навыкам. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.
Пример
Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка.
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.
Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.
Независимые правила, из которых состоит контроль качества. Блок контроля качества в настройках пула позволяет установить правила и настроить их.
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Правило контроля качества, основанное на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Другие ответы считаются неправильными.
Правило контроля качества, которое ограничивает доступ к заданиям исполнителям, которые отвечают слишком быстро.
Правило контроля качества, которое ограничивает доступ к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.
Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее