Сравнение изображений (Side-by-side)

Напишите нам, если не нашли ответ в Справке. Вы можете приложить скриншоты или видео, чтобы ускорить помощь:

Написать в чат  Написать в Telegram

Примечание

Сначала запустите проект в песочнице. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

В этом туториале вы узнаете, как создать проект для попарного сравнения изображений в Яндекс Заданиях. Мы будем использовать пресет проекта, разработанный специально для данного типа разметки данных.

Примеры задач, которые поможет решить этот пресет:

  • Выбор иллюстраций к публикациям или дизайна интерфейса.
  • Тестирование разных вариантов изображений для рекламных объявлений.
  • Определение сходства изображений.

Предположим, у вас есть фотографии с котами и вы хотите понять — это одно и то же изображение или разные. Для этого создадим задание: исполнителю нужно сравнить два фото и выбрать один из вариантов ответа.

Пример готового задания

Перед началом

  • Убедитесь, что вы зарегистрированы в качестве заказчика.

  • Пополните свой счет на странице Профиль. Если вы не уверены в том, какой бюджет потребуется, вы можете рассчитать это позже в процессе работы над проектом.

  • Чтобы использовать в проекте свои изображения, разместите их на фотохостинге или в облачном хранилище, из которого вы сможете получить ссылки на файлы. Подробнее см. в разделе Где разместить файлы.

Создайте проект

Мы рекомендуем использовать пресет проекта, чтобы упростить настройку и получить хорошие результаты.

  1. Нажмите Создать проект на странице Проекты.

    Скриншот

  2. Выберите пресет Пустой шаблон.

  3. Нажмите Использовать решение.

  4. В разделе Общая информация заполните поля:

    • Название для исполнителей — название, которое будет отображаться в списке заданий для исполнителей. Например, вы можете указать название Сравнение изображений.

    • Описание для исполнителей — краткое описание, которое будет отображаться в списке заданий для исполнителей. Например, вы можете указать такое описание: Сравните два изображения и выберите один из вариантов ответа.

    Скриншот

  5. В разделе Интерфейс задания настройте внешний вид задания.

    Примечание

    В этом туториале для создания интерфейса задания используется конструктор шаблонов, но вы можете использовать редактор HTML/JS/CSS для той же цели.

    Для этого проекта воспользуйтесь готовым шаблоном, где уже настроена валидация, горячие клавиши и внешний вид задания. Исполнитель не сможет отправить задание, если не выберет варианта ответа.

    Подробнее см. в Справке конструктора шаблонов.

  6. Чтобы определить, какие данные вы будете передавать исполнителю и получать в ответ, необходимо создать поля входных и выходных данных.

    Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.

    Входные и выходные данные соответствуют интерфейсу задачи, настроенному в конструкторе шаблонов. Убедитесь, что все входные и выходные поля настроены правильно.

    Подробнее читайте в разделе Создание спецификации.

    Поля входных данных, которые используются в проекте:

    • first_image — ссылка на первое изображение;
    • second_image — ссылка на второе изображение.

    В поле выходных данных result будет записан ответ исполнителя.

    Входные поля
    {
      "first_image": {
        "type": "url",
        "hidden": false,
        "required": true
      },
      "second_image": {
        "type": "url",
        "hidden": false,
        "required": true
      }
    }
    
    Выходные поля
    {
      "result": {
        "type": "string",
        "hidden": false,
        "required": true
      }
    }
    
  7. В редакторе Инструкция для исполнителей введите инструкцию, которую увидят исполнители, когда начнут выполнять ваше задание. Вы можете добавлять в инструкцию текст, таблицы и изображения.

    Вы можете подготовить инструкцию в формате HTML и вставить ее в редактор. Чтобы переключиться в режим HTML, нажмите <>.

    Совет

    При написании инструкции помните, что исполнители заранее ничего не знают о ваших заданиях. Убедитесь, что инструкция понятна, но не слишком многословна.

  8. Нажмите кнопку Сохранить справа вверху.

Подробнее о настройке проекта читайте в разделе Создание проекта.

Добавьте пул заданий

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Нажмите Создать новый пул на странице проекта.

    Скриншот

  2. Заполните поле Название пула. Название пула будет видно только вам на странице проекта.

  3. При необходимости отключите опцию Использовать описание проекта и заполните поле Публичное описание. В этом случае в списке заданий для исполнителей будет отображаться описание пула вместо описания проекта.

    1. Нажмите + Приватный комментарий, чтобы добавить описание, которое будет видно только вам на странице проекта.

  4. В блоке Аудитория добавьте фильтры для отбора исполнителей:

    1. Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.

      Скриншот

    2. Задания в пулах по умолчанию будут доступны для веб-версии Яндекс Заданий и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Яндекс Заданий или Мобильные Яндекс Задания.

    3. Отключите опцию В моих заданиях может содержаться шокирующий или порнографический контент, если ваш пул их не содержит.

    4. С помощью настройки Соотношение скорости и качества вы можете установить количество исполнителей, которые увидят ваши задания. Переместите ползунок вправо, чтобы заблокировать доступ к заданиям для исполнителей с недостаточно высоким рейтингом.

  5. В блоке Цена установите цену за страницу заданий и перекрытие.

    1. В поле Цена за страницу заданий, ₽ установите цену за страницу заданий.

      Обратите внимание на индикатор Интерес исполнителей к цене. Он показывает, насколько цена за страницу заданий соответствует ожиданиям исполнителей. Если интерес невелик, вы можете повысить цену, чтобы привлечь больше исполнителей. Если интерес высокий, вы можете снизить цену, чтобы сэкономить деньги.

      Как определить справедливую цену

      Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

      Вы можете зарегистрироваться в Яндекс Заданиях как исполнитель и узнать, сколько платят другие заказчики за задания.

      Вы также можете настроить динамическое ценообразование.

    2. Задайте перекрытие в поле Перекрытие. Для этого проекта достаточно перекрытия, равного 3.

      Вы также можете настроить динамическое перекрытие.

  6. Нажмите Показать расширенные настройки и укажите Время на страницу заданий, с в разделе Дополнительные настройки.

    Указанного времени должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 1200 секунд.

  7. Нажмите кнопку Создать пул.

Настройте контроль качества

Блоки контроля качества позволяют отсеивать недобросовестных исполнителей. Вы можете настраивать контроль качества как в проекте, так и в пуле.

Внимание

Настройки контроля качества в проекте будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

При клонировании проекта настройки контроля качества проекта не переносятся.

  1. Перейдите к редактированию пула (кнопка в верхнем правом углу страницы) и в блоке Контроль качества нажмите Добавить правило контроля качества.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Аудитория нажмите Скопировать настройки другого пула.

    Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.

    Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

    Ограничение

    При клонировании проекта настройки контроля качества не переносятся.

  2. Чтобы отсеять исполнителей, которые слишком часто ошибаются при выполнении контрольных заданий, выберите Добавить правило контроля качестваКонтрольные задания.

    Скриншот

    Если исполнитель дал не меньше 5 ответов на контрольные задания и доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.

    Правило будет работать, если вы указали правильные ответы для контрольных заданий.

  3. Чтобы отсеять исполнителей, которые слишком быстро отвечают, добавьте правило контроля Добавить правило контроля качестваБыстрые ответы.

    Значение параметра Минимальное время на страницу зависит от количества заданий на этой странице. Для выполнения одного задания в этом проекте достаточно 2–4 секунды. Значит, на страницу с 10-ю заданиями может хватить 20–30 секунд.

    Один раз можно ошибиться неумышленно, а вот после 2–3 подобных случаев вы можете заблокировать исполнителя на какое-то время.

    Скриншот

    Если исполнитель выполнит две страницы заданий быстрее чем за 20 секунд, ему будет ограничен доступ к пулу и он не сможет выполнять ваши задания 10 дней.

    Внимание

    Ответы заблокированных исполнителей будут учтены, если не отклонить их вручную при помощи отложенной приемки. Чтобы отправить задания этих исполнителей на повторную разметку, настройте правило Повторное выполнение заданий после блокировки.

Загрузите задания

  1. Нажмите кнопку Загрузить данные на странице пула. В открывшемся окне вы можете скачать шаблон файла с заданиями.

  2. Добавьте входные данные в файл с заданиями. Для этого проекта файл с заданиями должен содержать два параметра: INPUT:first_image и INPUT:second_image. Значения этих параметров — ссылки на изображения.

    Пример
    INPUT:first_image INPUT:second_image
    https://storage.yandexcloud.net/my-bucket/1.jpg https://storage.yandexcloud.net/my-bucket/11.jpg
    https://storage.yandexcloud.net/my-bucket/2.jpg https://storage.yandexcloud.net/my-bucket/22.jpg
    https://storage.yandexcloud.net/my-bucket/3.jpg https://storage.yandexcloud.net/my-bucket/33.jpg
    
  3. Прикрепите файл с заданиями.

  4. Нажмите кнопку Продолжить.

  5. Выберите способ распределения заданий по страницам Умное смешивание и укажите количество заданий на странице. Например: 9 основных и 1 контрольное.

    Что такое умное смешивание?

    Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.

  6. Нажмите кнопку Разделить задания на страницы.

  7. Нажмите кнопку Предпросмотр, чтобы убедиться, что ваши задания отображаются правильно.

  8. Используйте контрольные задания, чтобы повысить качество выполнения заданий исполнителями.

    Инструкция
    1. Перейдите к разметке заданий.

    2. Выберите поля для использования.

    3. Выберите правильные ответы на задание.

    4. Нажмите Сохранить и перейти к следующему или Пропустить задание.

    5. Нажмите Сохранить все контрольные задания.

    Совет

    Для больших пулов (более 1000 задач) мы рекомендуем добавлять в пул не менее 1% от общего числа заданий, то есть на 1000 заданий нужно добавить минимум 10 контрольных. Для небольших пулов (около 100 задач) вам нужно контролировать 10% задач.

Запустите пул

  1. Убедитесь, что вы пополнили свой счет.

  2. Нажмите кнопку Запустить разметку. Пул станет доступным для исполнителей.

Получите результаты

  1. Запустите агрегацию результатов, когда пул будет полностью выполнен. Для этого около кнопки Скачать результаты нажмите → Агрегация результатов по методу Дэвида — Скина.

  2. Отслеживайте ход агрегации. Для этого нажмите Скачать результаты → Операции. По завершении нажмите кнопку Скачать.

    Вы получите TSV-файл с результатами разметки:

    • INPUT — данные, которые вы загрузили для разметки.

    • OUTPUT — результат разметки (категория, выбранная исполнителями).

    • CONFIDENCE — значимость ответа в соответствии с моделью Дэвида — Скина.

Решение проблем

Ошибки при загрузке заданий в пул
Как посмотреть лог обработки

Чтобы посмотреть лог обработки, нажмите Подробнее об ошибках загрузки. Лог обработки записан в формате JSON. Объекты внутри result соответствуют номеру строки загружаемого файла. Строки, обработанные с ошибкой, имеют статус "success": false.

Совет

Работать с большим логом удобнее, если скопировать его в текстовый редактор.

Ошибки в заголовках столбцов

Если заголовки столбцов некорректны, файл будет полностью отклонен. В остальных случаях указано количество заданий с ошибками обработки.

Таблица ошибок обработки

"parsing_error_of": "https://tlk.s3.yandex.net/wsdm2020/photos/2d5f63a3184919ce7e3e7068cf93da4b.jpg\t\t", "exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 1, sourceList size = 3)"

Описание

Как исправить

Лишние знаки табуляции. Если в загружаемом файле после данных или ссылки стоит количество разделителей столбцов \t больше, чем задано число столбцов во входных данных, то появится сообщение об ошибке.

Например, когда во входных определен 1 столбец, а в файле после ссылки прописано еще два знака табуляции \t\t, то получится 3 столбца, 2 из которых лишние.

Удалите лишние разделители столбцов, в приведенном выше примере ошибки — оба знака (\t\t).

"exception_msg": "the nameMapping array and the sourceList should be the same size (nameMapping length = 4, sourceList size = 6)"

Описание

Как исправить

Не совпадает количество полей в заголовке и в строке.

Проверьте, что:

  • указано верное количество знаков табуляции в структуре файла;
  • строковые значения, содержащие знак табуляции, заключены в кавычки" ".
"code": "VALUE_REQUIRED", "message": "Value must be present and not equal to null"

Описание

Как исправить

Не указано значение обязательного поля входных данных.

Проверьте, что заполнены все столбцы с обязательными полями входных данных.

"code": "INVALID_URL_SYNTAX", "message": "Value must be in valid url format"

Описание

Как исправить

Данные в поле с типом «ссылка» («url») некорректны.

Проверьте, что все ссылки начинаются с префикса http://, https:// или www.

"exception_msg": "unexpected end of file while reading quoted column beginning on line 2 and ending on line 4"

Описание

Как исправить

В строке стоит непарная кавычка.

Проверьте, что все кавычки экранированы.

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Как определить время на выполнение задания?

Попробуйте выполнить задания сами, попросите своих друзей и коллег. Найдите среднее время выполнения и добавьте к нему 50%.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. А для маленьких пулов — 5–10%.

Почему так

Все контрольные задания показываются исполнителю только один раз. Если вы используете умное смешивание, то определяете, сколько контрольных заданий должно быть на каждой странице. Если на странице одно контрольное задание, то максимальное число страниц, которое может выполнить исполнитель, равно количеству контрольных заданий в пуле. Если вы увеличиваете количество контрольных заданий на странице, во столько же раз снижается число доступных исполнителю страниц.

Доступных страниц не должно быть слишком мало. Иначе:

  • правильно оценить качество его ответов не получится;

  • исполнитель не будет заинтересован выполнять такие задания, так как потратит много времени на изучение инструкций, а получит мало заработка.

Пример
Размер пула Процент контрольных заданий Оценка Подробности
Большой пул 1% контрольных заданий Хорошо В пуле 10 000 заданий, из них 100 контрольных (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 100 страниц.
Маленький пул 1% контрольных заданий Плохо В пуле 100 заданий, из них 1 контрольное (1%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать только 1 страницу.
Маленький пул 10% контрольных заданий Хорошо В пуле 100 заданий, из них 10 контрольных (10%). На одной странице 10 заданий, из них 1 контрольное. Следовательно, один исполнитель может сделать до 10 страниц.

Если в открытом пуле мало контрольных заданий, добавьте новые контрольные задания.

Зачем

Если пул большой, а контрольных заданий мало, может сложиться ситуация, что активным исполнителям, которые сделали много заданий в проекте, перестают показываться новые страницы с заданиями. Это происходит, когда исполнитель выполнил все контрольные задания в пуле.

Примечание

Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания. Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?
  1. Используйте пресет Пустой шаблон.

  2. Для создания интерфейса воспользуйтесь готовым шаблоном, где уже настроена валидация, горячие клавиши и внешний вид задания.

  3. В файле с заданиями укажите ссылки на изображения, которые будут попарно сравниваться:

    • Картинка 1 и Картинка 2.

    • Картинка 1 и Картинка 3.

    • Картинка 2 и Картинка 3.

  4. Обработайте результаты.

Также вы можете изменить проект так, чтобы исполнитель видел сразу 3 картинки и выбирал одну из них.

Написать в службу поддержки

Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.

Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.

Подробнее

Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.

Подробнее

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Формат входных и выходных данных, описываемых в поле Спецификации блока Интерфейс задания при настройке проекта.

Подробнее

Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Подробнее

Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.

Подробнее

Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.

Преднастроенный проект, содержащий описание, инструкцию, предопределенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.

Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.

Подробнее

Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.

Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.

Tab-separated values — текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.

Добавление правильных ответов и подсказок в задания, а также изменение типов заданий.

Подробнее

Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).