Подсказки об ошибках
При создании и настройке проектов и пулов часто возникают ситуации, которые негативно влияют на скорость и качество разметки:
-
Большое количество заданий, не выполненных за отведенное время.
-
Исполнители несколько раз подряд пропускают одни и те же задания.
-
Исполнители не начали размечать пул в течение определенного времени после запуска.
-
Контрольные задания давно не обновлялись.
-
Высокий процент правильных ответов на контрольные задания у всех исполнителей.
-
Другие проблемы с разметкой.
Чтобы вы могли быстро найти и исправить ошибки, в интерфейсе есть подсказки о них.
Подсказки в списке проектов
-
Перейдите на страницу Проекты. Если в проекте есть ошибки, под его названием будет надпись Есть ошибки.
Скриншот
-
Чтобы найти проекты с ошибками, выберите одно из значений фильтра Ошибка:
-
Не выбрана — отображаются все проекты.
-
Любая — отображаются только проекты с любыми ошибками.
-
Большое количество просроченных заданий относительно сделанных — большое количество заданий, не выполненных за отведенное время.
-
Есть таски, которые пропускали много раз — исполнители несколько раз пропускали одни и те же задания.
-
Пул не начали размечать после запуска — исполнители не начали выполнять задания после запуска разметки.
-
Недостаточно ханипотов для продожения разметки — недостаточное количество контрольных заданий при использовании способа распределения заданий Умное смешивание.
-
Подсказки на странице проекта
-
Перейдите на страницу проекта. Над названием проекта отображается полный список ошибок, которые есть в пулах проекта.
Скриншот
-
Чтобы найти пулы с ошибками, на вкладке Пулы выберите одно из значений фильтра Ошибка:
-
Не выбрана — отображаются все пулы.
-
Любая — отображаются только пулы с любыми ошибками.
-
Просроченные задания > 90% от сделанных заданий — количество заданий, не выполненных за отведенное время, превышает количество выполненных заданий.
-
N раз подряд пропускали один и тот же таск — исполнители несколько раз подряд пропускали одни и те же задания.
Примечание
Подсказка об этой ошибке появляется, если количество пропусков задания превышает значение, которое вычисляется на основе статистики выполнения заданий.
-
Пул не начали размечать N минут после запуска — исполнители не начали выполнять задания в течение определенного времени после запуска разметки.
-
Недостаточно ханипотов для продолжения разметки, не все таски размечены — недостаточное количество контрольных заданий в пуле при использовании способа распределения заданий Умное смешивание.
Скриншот
-
Подсказки на странице пула
-
Перейдите на страницу пула. Над названием пула отображается полный список ошибок, которые есть в пуле.
-
Используйте информацию об ошибках для их исправления.
Решение проблем
Сколько заданий должно быть на странице?
Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.
Как определить время на выполнение задания?
Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.
Сколько контрольных заданий нужно добавлять?
Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.
Почему так
Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.
Доступных страниц не должно быть слишком мало. Иначе:
-
правильно оценить качество его ответов не получится;
-
исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.
Пример
| Размер пула | Процент контрольных заданий | Оценка | Подробности |
|---|---|---|---|
| Большой пул | 1% контрольных заданий | Хорошо | В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц. |
| Маленький пул | 1% контрольных заданий | Плохо | В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу. |
| Маленький пул | 10% контрольных заданий | Хорошо | В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц. |
Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.
Зачем
Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.
Примечание
Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Написать в чат: 
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).
Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.