Обзор

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат Написать в Telegram

Чтобы улучшить качество ответов, используйте фильтры для подбора исполнителей и добавьте обучение.

Отбор исполнителей

Фильтры

Профиль исполнителя (возраст, пол, образование, гражданство, знание языков).
Вычислимые данные (тип устройства, операционная система, бразуер).
Навыки выполнения определенных заданий.
Соотношение скорости и качества.

Пример фильтра

Обучение и тренировка

Правильные ответы + подсказки.
Исполнители, прошедшие тренировку, переходят к экзамену.

Использование экзаменов

Отбор исполнителей по проценту правильных ответов.
Доступ к оплачиваемым заданиям получают исполнители с определенным процентом правильных ответов.

Многоуровневая проверка качества

Контроль качества

Перекрытие (включая динамическое перекрытие).
Контрольные задания.
Мнение большинства.
Проверка ответов с помощью других исполнителей.

Антифрод

Блокировка недобросовестных исполнителей.
Анализ поведения.
Технологии для выявления всех типов нарушений.

Защита вашего проекта

В Яндекс Заданиях есть система для блокировки недобросовестных исполнителей, однако контроль качества — общая ответственность платформы и заказчика. Заказчик отвечает за качество контроля в своем проекте и за защиту своих данных. Проекты требуют индивидуального подхода при настройке контроля качества для достижения лучшего результата.

Чтобы защитить проект от недобросовестных исполнителей, вы можете использовать правила контроля качества:

Блокировка за быстрые ответы.
Блокировка за пропуск заданий.
Ограничение количества заданий, которое исполнитель может выполнить в пуле за 24 часа.

Примеры правил контроля качества

Быстрые ответы

Исполнитель, отправивший страницу заданий быстрее чем за 10 секунд будет заблокирован и не сможет выполнять ваши задания.

Пропущенные задания

Исполнитель, пропустивший 2 страницы заданий подряд, будет заблокирован и не сможет выполнять задания этого пула в течение 5 дней.

Получение качественных результатов

Агрегация результатов

Метрики оценки

Точность.
Согласованность.
Уверенность.

Перераспределение заданий

Задания могут быть отправлены на повторное выполнение в одном из случаев:

Ответ на задание отклонен.
Точность ответов низкая.
Ответы от заблокированных исполнителей удалены.

Основные сценарии работы

Проверка результатов

Контрольные задания — присвойте навык на основе ответов в контрольных заданиях и исключите исполнителей, которые часто отвечают неправильно.
Мнение большинства — оцените согласованность ответов на одно и то же задание.
Результаты проверки — произведите действия в зависимости от количества принятых и отклоненных заданий.

Выполнение заданий разными исполнителями

Заработок — ограничьте сумму, которую исполнитель может заработать в пуле в пуле за 24 часа.
Выполненные задания — ограничьте количество заданий, которое исполнитель может выполнить в пуле за 24 часа.

Предотвращение случайных ответов и защита от роботов

Быстрые ответы — установите минимальное время на выполнение страницы заданий.
Пропущенные страницы заданий — исключите исполнителей, которые пропускают слишком много заданий подряд.

Повторное выполнение заданий

Перераспределите задания, выполненные заблокированными исполнителями. Если исполнитель заблокирован, все выполненные им задания могут быть повторно выполнены другими исполнителями.
Обработка отклоненных и принятых заданий — установите правила выдачи отклоненных заданий другим исполнителям.

Технологии для управления качеством

Используйте платформу как вычислительный ресурс с помощью технологий управления качеством.

Методы контроля качества

В Яндекс Заданиях есть различные подходы, которые помогают улучшить качество выполнения каждого проекта:

Отложенная проверка.
Обучение и тестирование исполнителей на основе заданий.
Контрольные задания для мониторинга качества.
Продвинутые методы агрегации.
Система защиты от недобросовестных исполнителей.

Многоуровневый отбор исполнителей

Фильтры по знанию языков, возрасту, полу, региону, навыкам и другим критериям.
Тренировка, экзамен и реабилитация для поиска исполнителей, подходящих для вашего задания.

Интеллектуальные механизмы подбора

Запатентованная система подбора, которая учитывает предпочтения заказчиков и исполнителей:

Пригласите в проект наиболее подходящих исполнителей.
Предложите исполнителям интересные проекты, которые им понравятся.

Что дальше

См. также

Настройка контроля качества.

Решение проблем

Настройка контроля качества

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Общие рекомендации:

Обязательно используйте один или несколько способов контроля качества.
Подсчет быстрых ответов имеет смысл для большинства заданий.
Если в задании нужно выбрать один из готовых вариантов ответа, его лучше проверить с помощью мнения большинства или контрольных заданий.
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. В этом случае составьте контрольные задания для проверки качества работы исполнителей.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
- Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
- Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Учитывать последних ответов на контрольные задания.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Учитывать последних ответов на контрольные задания в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Настраивал контроль качества, затем скопировал требования к исполнителям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

Может ли один исполнитель попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Если настроить установку навыка со значением 1 при условиях Учитывать последних значений = 10 и Процент принятых ответов >= 75, то исполнителю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 пункт навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

В правиле Быстрые ответы время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение одной страницы с заданиями.

Как можно протестировать исполнителей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи?

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для исполнителей, имеющих определенный навык — для этого используйте фильтры.

Я хочу сделать тренировку и экзамен, где бы проверялось соответствие вводимого текста с эталоном, но они не всегда правильно сравниваются. Как это можно реализовать?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном.

Для этого текст нужно нормализовать с помощью JavaScript:

Удалить пробелы, знаки препинания, специальные символы и заглавные буквы.
Записать результат в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа — отложенная приемка.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле Учитывать последних ответов на контрольные задания я хочу поставить 3, но система выдает ошибку, что значение слишком маленькое. Возможно ли так сделать, не увеличивая количества заданий до пяти?

В поле Учитывать последних ответов на контрольные задания указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то для настройки правила по вашей логике укажите 3 в параметре Количество проверенных ответов.

Мне нужно сравнить два варианта текста и я хочу половине исполнителей показывать один вариант, а половине — другой (по принципу A/B-тестирования). Как это сделать в Яндекс Заданиях?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул два разных задания. В одном из них в поле INPUT:<имя входного поля> вы передадите первый вариант текста, в другом — второй вариант. А если текст в самом шаблоне задания в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Вы можете назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Контрольные задания

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

правильно оценить качество его ответов не получится;
исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример

Размер пула	Процент контрольных заданий	Оценка	Подробности
Большой пул	1% контрольных заданий	Хорошо	В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.
Маленький пул	1% контрольных заданий	Плохо	В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.
Маленький пул	10% контрольных заданий	Хорошо	В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило Контрольные задания начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете учитывать отеты:

на обучающие и контрольные задания (параметр Количество ответов);
только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, вычисляется процент правильных и неправильных ответов и выполняется действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Учитывать последних ответов на контрольные задания. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания соответствуют спецификации проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как исполнители научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить исполнителям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

Подробнее см. в разделе Использование экзаменов.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания, или мы можем загрузить их отдельно?

Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить данные и выберите способ распределения заданий Умное смешивание. При этом вы можете расположить задания в любом порядке и загрузить их отдельными файлами или одним файлом.

Как сделать два активных обучающих пула: первый для тренировки, а второй для решения о доступе к рабочему пулу?

Первый пул сделайте на базе обучающего пула. А второй — на базе основного и укажите тип пула Экзамен. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле вы можете назначить навык, который будет определять результат экзамена и служить допуском в основной пул. Например: Если количество ответов ≥ 10 , то установить навык из поля <экзаменационный навык> % правильных ответов.

В требованиях к исполнителям экзаменационного пула укажите: <экзаменационный навык> <80 или = отсутствует>.

Установите в основном пуле фильтр: <экзаменационный навык> >=80 и <основной навык> >=70 или = отсутствует>. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо исполнители справляются с вашим заданием.

Я создал обучение, в котором одно задание с подсказкой. Исполнителю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить исполнителей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

В разделе условий на контрольные вопросы поле Количество контрольных ответов — это общее количество ответов на контрольные вопросы или количество верных ответов на контрольные вопросы?

Это общее количество ответов на контрольные вопросы.

В обучающем пуле возможна отложенная приемка?

Нет, но вы можете создать пул с обучающими заданиями на базе основного:

В поле Тип пула выберите Тренировка.
Включите опцию Отложенная приемка заданий.
Укажите количество дней на проверку в поле Срок проверки в днях.

Исполнители видят, что какой-то вопрос является контрольным?

Нет, не видят.

Блокировка

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если исполнителю уже начислены деньги за задания, то обратно их не вернуть.

Если я блокирую исполнителей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли исполнителям о блокировке?

Нет, исполнители не знают о блокировке.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов выберите опцию Не учитывать ответы заблокированных пользователей — из результатов удалятся ответы заблокированных в момент выгрузки исполнителей. Также вы можете отправить все ответы заблокированных исполнителей на повторное выполнение другим исполнителям — для этого используйте Повторное выполнение заданий после блокировки исполнителя.

Как в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей?

Для этого есть два способа:

Использование действия заблокировать в правилах контроля. В поле Если укажите условие, при котором исполнитель будет заблокирован, и выберите действие заблокировать в поле то.

Пример

Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов меньше 60%, то он будет заблокирован на проекте.
Использование навыков и фильтров по навыкам. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.

Пример

Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка.

Мнение большинства

В пуле установлено перекрытие и настроено мнение большинства. Недобросовестный исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед основным заданием делать обучение или экзамен, чтобы до основного пула допускались только те, кто хорошо прошел предыдущий этап отбора.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества Мнение большинства учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних исполнителей по Мнению большинства?

Чтобы выполнять действия с исполнителями (назначение навыка, блокировка) на основе мнения большинства, добавьте в пул правило Мнение большинства.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется в проектах с готовыми вариантами ответа. Для полей с вводом текста или с загрузкой файлов это правило не используется.

Скорость выполнения заданий

Почему упала скорость выполнения пула?

Возможные причины:

Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.
Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства исполнителей.
Слишком много исполнителей заблокированы. Сделайте правила контроля качества мягче.

Как ускорить выполнение заданий пула?

Мотивируйте исполнителей, назначив публичный навык и динамическое ценообразование.
Постарайтесь повысить рейтинг проекта, чтобы ваше задание оказалось выше в списке заданий у исполнителей.
Отрегулируйте соотношение скорости и качества.
Установите более высокий приоритет пула среди всех пулов проекта.

Написать в службу поддержки

Была ли статья полезна?

Настройка ценообразования

Настройка контроля качества