Частые ошибки заказчиков

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Запуск первого проекта может оказаться непростой задачей. В этом разделе перечислены частые ошибки заказчиков и способы исправления этих ошибок.

Типы ошибок, которые встречаются у заказчиков:

Ошибки в архитектуре проекта

Большая задача без разделения на проекты
  • Вертикальная декомпозиция: разделите задачу на несколько проектов.

  • Горизонтальная декомпозиция: применяйте отложенную приемку с проверкой другими исполнителями.

  • Для большей эффективности комбинируйте оба метода.

    Например, в первом проекте исполнители определяют класс объектов на изображении, во втором — выделяют области с этими объектами. Правильность их ответов проверяют другие исполнители в третьем проекте.

Подробнее в разделе Декомпозиция заданий.

У проекта длинная и сложная инструкция
  • Подготовьте простую и короткую инструкцию для исполнителей — не длиннее страницы А4.

  • Предложите исполнителям выполнить простую задачу. Не ждите готовых выводов.

    Плохой пример: «Соответствует ли это изображение инструкции?»

    Хороший пример: «Есть ли на этом изображении люди?»

Подробнее в разделе Написание инструкции.

Высокий порог входа: сложное обучение и строгий отбор исполнителей
  • Сделайте обучение понятным для исполнителей.

  • Установите оптимальные критерии прохождения обучения.

  • Используйте те фильтры, которые действительно необходимы.

Ошибки в интерфейсе задания

Задание не работает: не нажимаются кнопки, не отображаются картинки
  • Создайте задания в песочнице и попробуйте выполнить их самостоятельно.

  • Запустите проект для ограниченной аудитории исполнителей и проведите анализ обратной связи.

Неудобный интерфейс: ненужные элементы, пустые места, неочевидное оформление

Совет

Попробуйте создать интерфейс с помощью Конструктора шаблонов.

  • Используйте готовые пресеты проектов.

  • Создавайте задания с простым интерфейсом и рационально используйте пространство. Уберите необязательные и дублирующие элементы.

  • Добавляйте горячие клавиши. Например, горячие клавиши можно назначить для запуска или остановки видео.

  • Если вы запускаете задания, которые понадобится выполнять в мобильных приложениях, адаптируйте интерфейс.

    Подробнее в разделе Адаптировать задание для мобильных устройств.

Действия исполнителя не проверяются

Исполнитель может отправить на проверку некорректно заполненные или пустые поля выходных данных, в заданиях с медиаконтентом может отправить ответ, не включая видео или аудио.

Способы решения:

  • Чтобы проверять действия исполнителя, используйте валидацию. Например, убедитесь, что исполнитель запустил проигрывание медиаконтента или воспроизвел его полностью.

  • С помощью регулярных выражений убедитесь, что выходные данные имеют нужный формат. Например, проверьте формат ссылки или номера телефона.

  • Сведите к минимуму взаимодействие исполнителя с внешними ресурсами.

    Важно

    Есть ограничения на задания с переходом на внешние сайты.

    Если вы используете ссылки на внешние ресурсы, убедитесь, что исполнитель перешел по ним.

Ошибки в загрузке заданий

Неправильный формат, кодировка или структура файла с заданиями
  • Используйте правильный формат файла с заданиями.

  • Применяйте готовые шаблоны файлов. Их можно найти на странице пула.

Слишком много заданий на странице
  • Размещайте задания таким образом, чтобы выполнение одной страницы заданий занимало не более 5 минут, а лучше 1–2 минуты. Как правило, на одной странице можно размещать 20–40 простых заданий, 5–10 заданий средней сложности или 1–2 сложных задания.

  • Используйте «умное смешивание». Алгоритм сам распределит основные, обучающие и контрольные задания на странице.

Некорректное распределение контрольных заданий

Проверьте контрольные задания в предпросмотре пула. Убедитесь, что они верно отображаются и выполнение одной страницы заданий не занимает много времени.

Ошибки в настройке контроля качества

Некорректная настройка фильтров

С помощью фильтров можно отсеять тех исполнителей, которым не подходят ваши задания:

  • Используйте таргетинги по языку и региону — в Яндекс Заданиях есть исполнители из разных стран.

  • Отбирайте исполнителей по данным профиля, техническим характеристикам их устройств или навыкам.

Подробнее в разделе Фильтры.

Некорректная настройка правил контроля качества

Установите правила контроля качества

  • Учитывайте, какой тип приемки будет использоваться:

    • Для заданий с автоприемкой лучшими правилами контроля качества являются контрольные задания, Мнение большинства, Быстрые ответы, Повторное выполнение заданий после блокировки исполнителя.

    • Для заданий с отложенной приемкой: быстрые ответы, Результаты проверки.

    Подробнее в разделе Правила контроля качества

  • Выбирайте и комбинируйте правила в зависимости от содержания вашего проекта. Примеры выбора правил приведены в туториалах для популярных задач.

  • Указывайте причину бана (она видна только вам) и причину отклонения заданий (ее увидят исполнители).

Настройте правила контроля качества

  • Избегайте выбора взаимоисключающих настроек.

    Например, в пуле установлено перекрытие 3, а в правиле контроля качества Мнение большинства указано, что считать большинством нужно 5 ответов на задание. Тогда при перекрытии равном 3, не наберется количество ответов, необходимое для расчета мнения большинства.

  • Проверьте, будет ли правило работать так, как вы задумали. Для этого запустите небольшой пул с примером данных или потренируйтесь в песочнице.

  • Примеры настройки можно посмотреть на страницах из списка правил контроля качества.

Примеры ошибок

Новые исполнители не приходят в проект

В проекте открыт пул, для доступа к которому необходимо пройти обучение, при этом само обучение закрыто.

Способы решения:

  • Если вы остановили обучение специально или открываете его с перерывами, так как не нуждаетесь в большом потоке исполнителей, то все в порядке.

  • Когда разметка на проекте остановлена и вы больше не отбираете исполнителей для экзаменационного пула, который остался открытым, просто закройте его.

  • Если вы не нуждаетесь в регулярной разметке и не хотите, чтобы исполнители проходили обучение зря, закройте пул, с которым связано обучение.

  • В случае если вы не планировали закрывать обучение или не знали, что обучение должно быть открыто, внесите нужные изменения в настройки проекта.

Исполнители уходят из проекта

Причины ошибки:

  • Задания не соответствуют требованиям, поэтому исполнители отказываются их выполнять.

  • Задания слишком сложные.

  • Инструкция сложная и запутанная.

  • Задания не отображаются или отображаются неверно.

Способы решения:

  • Ознакомьтесь с требованиями к заданиям.

  • Декомпозируйте задание.

  • Перепишите инструкцию, чтобы она стала проще и понятнее.

  • Попробуйте выполнить свое задание в предпросмотре пула, а лучше — в песочнице. Убедитесь, что все работает правильно.

Написать в службу поддержки

Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.

Подробнее

Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.

Система мониторинга и контроля, которая позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее

Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.

Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Подробнее

Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.

Способ сочетания заданий и формирования страниц заданий случайным образом так, чтобы задания не повторялись для каждого исполнителя.

Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.

Подробнее

Независимые правила, из которых состоит контроль качества. Блок контроля качества в настройках пула позволяет установить правила и настроить их.

Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее

Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других. Подробнее

Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.

Подробнее

Разделение одного крупного проекта на несколько небольших. После декомпозиции задания становятся проще и выполняются быстрее, а качество ответов возрастает. Подробнее

Формат входных и выходных данных, описываемых в поле Спецификации блока Интерфейс задания при настройке проекта.

Подробнее

Результат выполнения одного задания исполнителем. Ответы на задания могут быть правильными или неправильными. Вы можете заблокировать исполнителей, которые дают слишком много неправильных ответов.

Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.

Подробнее

Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.

Подробнее

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.

Подробнее

Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее

Правило контроля качества, основанное на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Другие ответы считаются неправильными.

Правило контроля качества, которое ограничивает доступ к заданиям исполнителям, которые отвечают слишком быстро.

Подробнее

Правило контроля качества, настройка которого позволяет отправлять задания на повторное выполнение другим исполнителям.

Подробнее

Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.

Преднастроенный проект, содержащий описание, инструкцию, предопределенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.

Правило контроля качества, которое позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.

Подробнее