Настройка пула

Скорее всего, проект настроен неправильно. Белый экран часто появляется при ошибках в интерфейсе задания (например, в JavaScript-коде). Кнопка Далее может не срабатывать, если:

• в выходной спецификации не хватает какого-то поля;

• в свойствах полей указаны недопустимые значения;

• в блоке JavaScript настроена валидация по несуществующему полю.

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Если речь идет о нескольких проектах, то так сделать не получится.

Вы можете перенести все в один проект и в блоках контроля качества использовать параметр Помнить значения. Примеры вы можете посмотреть в статье Контрольные задания.

Для того, чтобы использовать Агрегацию результатов по навыку, вам нужно будет перечислить все возможные значения навыка. Если значений навыка много, то такой способ может оказаться не очень удобным. Возможно, подойдет другой способ агрегации.

Задания из открытого пула доступны всем исполнителям, которые соответствуют установленным фильтрам.

В дополнение к фильтрам вы можете использовать для этой цели ограничение по навыкам.

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение.

Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:

• Получил значение навыка ниже значения в поле Уровень прохождения.

• Не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

С истекшим навыком вашим исполнителям нужно проходить обучение заново.

Задания в пулах по умолчанию доступны для веб-версии Яндекс Заданий и мобильного приложения. Проверьте настройки пула, возможно у вас настроен фильтр: Клиент = Веб-версия Яндекс Заданий

Если исполнитель не соответствует установленным фильтрам, он не увидит задание.

Вы можете протестировать задание в песочнице, добавив нужного пользователя в список доверенных.

Можно, чтобы отобрать исполнителей для пула используйте фильтры.

Вы можете назначить им навык по результатам выполнения заданий в предыдущих пулах. Этот навык укажите в качестве фильтра в новом пуле.

Укажите этот навык в качестве фильтра, а значение оставьте пустым. Это равносильно тому, что навык отсутствует.

Если у исполнителя уже есть навык, то добавить ему этот же навык из интерфейса проверки задания нельзя. Вы можете зайти в профиль исполнителя и отредактировать значение навыка.

Если навык публичный или обучающий, то видят — им приходит сообщение об этом.

Такой возможности нет. Если навык публичный, то исполнитель видит его в своем профиле.

Заказчику недоступна полная информация о каждом конкретном исполнителе. Например, заказчик не видит дату рождения, пол, фамилию и имя. При этом фильтры по дате рождения и полу в настройках пула ему доступны, поскольку они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации пользователей.

Вы можете использовать для этого правило Контрольные задания:

1. Загрузите файл с заданиями при помощи Умного смешивания.

2. Укажите student в качестве правильного ответа на вопрос. Остальные вопросы не учитывайте (оставьте поля пустыми или не ставьте галочку).

3. Добавьте в пул правило Контрольные задания: если процент правильных контрольных ответов = 100, то установить значение навыка Студент = 1.

Настройка блоков контроля качества зависит от типа заданий. Общие рекомендации:

• Обязательно используйте один или несколько способов контроля качества.

• Подсчет быстрых ответов имеет смысл для большинства заданий.

• Если в задании нужно выбрать один из готовых вариантов ответа, его лучше проверить с помощью мнения большинства или контрольных заданий.

• Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

• Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. В этом случае составьте контрольные задания для проверки качества работы исполнителей.

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Если по каким-то причинам процесс разметки завершился неудачно, свяжитесь со службой поддержки. Для этого на вкладке контрольных заданий или на странице пула нажмите кнопку Написать в поддержку. После решения проблемы вы сможете заказать разметку контрольных заданий снова.

Чтобы новые страницы с заданиями стали доступны всем исполнителям, в том числе тем, которые уже выполнили часть заданий в пуле:

1. Остановите пул.

2. Загрузите файл с новыми контрольными заданиями.

3. Запустите пул.

Для открытого пула мы не рекомендуем делать контрольные задания из уже выполненных заданий другого типа. Так как исполнители, которые уже дали на них ответы, не смогут повторно выполнить такие задания как контрольные. Чтобы эти исполнители смогли продолжить выполнять страницы с заданиями, контрольные задания в пуле должны быть новыми.

Правило Контрольные задания начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете учитывать отеты:

• на обучающие и контрольные задания (параметр Количество ответов);
• только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, вычисляется процент правильных и неправильных ответов и выполняется действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

• Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

  • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

  • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

  Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.

• Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

  Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.

Действительно, такое правило выглядит слишком строго. Даже самый внимательный исполнитель может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Яндекс Заданиях исполнителей, которые систематически проваливают проверку капчей.

Частота показа капчи настраивается в пуле:

• Нет — не показывать капчу.

• Низкая — показывать капчу каждые 20 страниц заданий.

• Средняя / Высокая — показывать капчу каждые 10 страниц заданий.

Капча обычно используется в простых проектах с автоприемкой: классификация, категоризация, поиск информации. Это те проекты, в которых мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и тех исполнителей, которые небрежно выполняют задания.

Частота показа капчи настраивается в пуле:

• Нет — не показывать капчу.

• Низкая — показывать капчу каждые 20 страниц заданий.

• Средняя / Высокая — показывать капчу каждые 10 страниц заданий.

Процент правильных ответов зависит от того, как часто исполнитель ошибается при вводе капчи. Учитывается количество вводов капчи, указанное в поле Учитывать последних вводов капчи. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило. Подробнее см. в разделе Капча.

Обучающие и контрольные задания соответствуют спецификации проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

Подробнее см. в разделе Использование экзаменов.

Да, в настройках быстрых ответов указывается время за выполнение одной страницы с заданиями.

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

К сожалению, да, может. Поэтому мы рекомендуем перед основным заданием делать обучение или экзамен, чтобы до основного пула допускались только те, кто хорошо прошел предыдущий этап отбора.

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для исполнителей, имеющих определенный навык — для этого используйте фильтры.

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Если исполнителю уже начислены деньги за задания, то обратно их не вернуть.

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных исполнителей на повторное выполнение другим исполнителям — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле вы можете назначить навык, который будет определять результат экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить исполнителей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

Нет, но вы можете создать пул с обучающими заданиями на базе основного:

1. В поле Тип пула выберите Тренировка.
2. Включите опцию Отложенная приемка заданий.
3. Укажите количество дней на проверку в поле Срок проверки в днях.

Нет, не видят.

Если вы передаете тексты во входные данные, то достаточно загрузить в пул два разных задания. В одном из них в поле INPUT:<имя входного поля> вы передадите первый вариант текста, в другом — второй вариант. А если текст в самом шаблоне задания в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Вы можете назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Нет, исполнители не знают о блокировке.

В поле Учитывать последних ответов на контрольные задания указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то для настройки правила по вашей логике укажите 3 в параметре Количество проверенных ответов.

Чтобы выполнять действия с исполнителями (назначение навыка, блокировка) на основе мнения большинства, добавьте в пул правило Мнение большинства.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется в проектах с готовыми вариантами ответа. Для полей с вводом текста или с загрузкой файлов это правило не используется.

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном.

Для этого текст нужно нормализовать с помощью JavaScript:

1. Удалить пробелы, знаки препинания, специальные символы и заглавные буквы.
2. Записать результат в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

Это общее количество ответов на контрольные вопросы.

Для этого есть два способа:

1. Использование действия заблокировать в правилах контроля. В поле Если укажите условие, при котором исполнитель будет заблокирован, и выберите действие заблокировать в поле то.

   Пример

   

   Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов меньше 60%, то он будет заблокирован на проекте.

2. Использование навыков и фильтров по навыкам. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.

   Пример

   

   Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка.

Возможные причины:

• Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.

• Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства исполнителей.

• Слишком много исполнителей заблокированы. Сделайте правила контроля качества мягче.

• Мотивируйте исполнителей, назначив публичный навык и динамическое ценообразование.

• Постарайтесь повысить рейтинг проекта, чтобы ваше задание оказалось выше в списке заданий у исполнителей.

• Отрегулируйте соотношение скорости и качества.

• Установите более высокий приоритет пула среди всех пулов проекта.

Оптимальное перекрытие — это перекрытие, которое позволяет получить качество ответов, устраивающее заказчика. Для большинства заданий без отложенной приемки достаточно перекрытия от 3 до 5. Если у вас простое задание, скорее всего, вам хватит перекрытия 3. Для заданий с отложенной приемкой установите перекрытие 1.

Да. Установите новое значение перекрытия в настройках пула. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Да, такое может произойти. Необходимо установить достаточный интервал закрытия пула.

В этом случае, если у вас не наберется 3 одинаковых ответа для задания, то ни один из исполнителей не будет считаться ни плохим, ни хорошим. Система не будет знать, кто из исполнителей ошибся.

А если вы установите Перекрытие = 3 и Считать большинством = 2, то два исполнителя, у которых совпали ответы, будут считаться хорошими. Третий исполнитель, ответ которого отличается, будет считаться плохим.

Да, можно. Настройте динамическое перекрытие.

Чтобы одно и то же задание выполнило несколько разных исполнителей, используется перекрытие. Его значение устанавливается в настройках пула.

В индикаторе выполнения пула указано количество страниц заданий с учетом перекрытия. Если перекрытие больше единицы, то количество страниц заданий будет отличаться от общего количества заданий.