Сначала запустите проект в песочнице. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.
В этом туториале вы узнаете, как создать проект для классификации изображений в Яндекс Заданиях. Мы будем использовать пресет, специально разработанный для этого типа проектов.
Классификация изображений относится к типу заданий с несколькими вариантами ответа.
С помощью Яндекс Заданий вы можете распределить изображения по категориям. Исполнители выбирают для каждого изображения одну из категорий. После выполнения проекта вы сможете использовать полученный набор данных в ходе машинного обучения.
Пополните свой счет на странице Профиль. Если вы не уверены в том, какой бюджет потребуется, вы можете рассчитать это позже в процессе работы над проектом.
Создайте проект
Мы рекомендуем использовать пресет проекта, чтобы упростить настройку и получить хорошие результаты.
Нажмите Создать проект на странице Проекты.
Скриншот
Выберите пресет Классификация изображений.
Нажмите Использовать решение.
В разделе Общая информация заполните поля:
Название для исполнителей — название, которое будет отображаться в списке заданий для исполнителей.
Описание для исполнителей — краткое описание, которое будет отображаться в списке заданий для исполнителей.
Скриншот
В разделе Интерфейс задания настройте внешний вид задания.
Примечание
В этом туториале для создания интерфейса задания используется конструктор шаблонов, но вы можете использовать редактор HTML/JS/CSS для той же цели.
Для этого проекта воспользуйтесь готовым шаблоном, где уже настроена валидация, горячие клавиши и внешний вид задания. Исполнитель не сможет отправить задание, если не выберет варианта ответа.
Чтобы определить, какие данные вы будете передавать исполнителю и получать в ответ, необходимо создать поля входных и выходных данных.
Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.
Входные и выходные данные соответствуют интерфейсу задачи, настроенному в конструкторе шаблонов. Убедитесь, что все входные и выходные поля настроены правильно.
Поле входных данных: image — ссылка для загрузки картинки.
Поле выходных данных: result — строка, в которую будет записан ответ исполнителя.
В редакторе Инструкция для исполнителей введите инструкцию, которую увидят исполнители, когда начнут выполнять ваше задание. Вы можете добавлять в инструкцию текст, таблицы и изображения.
Вы можете подготовить инструкцию в формате HTML и вставить ее в редактор. Чтобы переключиться в режим HTML, нажмите <>.
Совет
При написании инструкции помните, что исполнители заранее ничего не знают о ваших заданиях. Убедитесь, что инструкция понятна, но не слишком многословна.
Нажмите кнопку Сохранить справа вверху.
Подробнее о настройке проекта читайте в разделе Создание проекта.
Добавьте пул заданий
Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.
Нажмите Создать новый пул на странице проекта.
Скриншот
Заполните поле Название пула. Название пула будет видно только вам на странице проекта.
При необходимости отключите опцию Использовать описание проекта и заполните поле Публичное описание. В этом случае в списке заданий для исполнителей будет отображаться описание пула вместо описания проекта.
Нажмите + Приватный комментарий, чтобы добавить описание, которое будет видно только вам на странице проекта.
В блоке Аудитория добавьте фильтры для отбора исполнителей:
Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.
Скриншот
Задания в пулах по умолчанию будут доступны для веб-версии Яндекс Заданий и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Яндекс Заданий или Мобильные Яндекс Задания.
Отключите опцию В моих заданиях может содержаться шокирующий или порнографический контент, если ваш пул их не содержит.
С помощью настройки Соотношение скорости и качества вы можете установить количество исполнителей, которые увидят ваши задания. Переместите ползунок вправо, чтобы заблокировать доступ к заданиям для исполнителей с недостаточно высоким рейтингом.
В блоке Цена установите цену за страницу заданий и перекрытие.
В поле Цена за страницу заданий, ₽ установите цену за страницу заданий.
Обратите внимание на индикатор Интерес исполнителей к цене. Он показывает, насколько цена за страницу заданий соответствует ожиданиям исполнителей. Если интерес невелик, вы можете повысить цену, чтобы привлечь больше исполнителей. Если интерес высокий, вы можете снизить цену, чтобы сэкономить деньги.
Как определить справедливую цену
Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.
Вы можете зарегистрироваться в Яндекс Заданиях как исполнитель и узнать, сколько платят другие заказчики за задания.
Перейдите к редактированию пула (кнопка в верхнем правом углу страницы) и в блоке Контроль качества нажмите Добавить правило контроля качества.
Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Аудитория нажмите Скопировать настройки другого пула.
Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.
Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.
Чтобы отсеять исполнителей, которые слишком часто ошибаются при выполнении контрольных заданий, выберите Добавить правило контроля качества → Контрольные задания.
Скриншот
Если исполнитель дал не меньше 5 ответов на контрольные задания и доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.
Правило будет работать, если вы указали правильные ответы для контрольных заданий.
Чтобы отсеять исполнителей, которые слишком быстро отвечают, добавьте правило контроля Добавить правило контроля качества → Быстрые ответы.
Значение параметра Минимальное время на страницу зависит от количества заданий на этой странице. Для выполнения одного задания в этом проекте достаточно 2–4 секунды. Значит, на страницу с 10-ю заданиями может хватить 20–30 секунд.
Один раз можно ошибиться неумышленно, а вот после 2–3 подобных случаев вы можете заблокировать исполнителя на какое-то время.
Скриншот
Если исполнитель выполнит две страницы заданий быстрее чем за 20 секунд, ему будет ограничен доступ к пулу и он не сможет выполнять ваши задания 10 дней.
Внимание
Ответы заблокированных исполнителей будут учтены, если не отклонить их вручную при помощи отложенной приемки. Чтобы отправить задания этих исполнителей на повторную разметку, настройте правило Повторное выполнение заданий после блокировки.
Добавьте блок Мнение большинства. Это правило устанавливает в качестве верного ответа самый популярный.
С помощью него вы можете отсеивать исполнителей, дающих неправильные ответы. Вы можете заблокировать исполнителя на 1 день, если он правильно ответил менее чем на 60% заданий. Если в значении параметра Считать большинством указано 2, это означает, что два совпавших ответа считаются правильными.
Загрузите задания
Нажмите кнопку Загрузить данные на странице пула. В открывшемся окне вы можете скачать шаблон файла с заданиями.
Добавьте в файл входные данные. Для этого типа проекта файл с заданиями должен иметь один параметр. Его название INPUT:image, а значения являются ссылками на изображения.
Нажмите Сохранить и перейти к следующему или Пропустить задание.
Нажмите Сохранить все контрольные задания.
Совет
Для больших пулов (более 1000 задач) мы рекомендуем добавлять в пул не менее 1% от общего числа заданий, то есть на 1000 заданий нужно добавить минимум 10 контрольных. Для небольших пулов (около 100 задач) вам нужно контролировать 10% задач.
Нажмите кнопку Запустить разметку. Пул станет доступным для исполнителей.
Отслеживайте статистику на страницах пула и проекта по мере выполнения заданий.
Получите результаты
Запустите агрегацию результатов, когда пул будет полностью выполнен. Для этого около кнопки Скачать результаты нажмите → Агрегация результатов по методу Дэвида — Скина.
Отслеживайте ход агрегации. Для этого нажмите Скачать результаты → Операции. По завершении нажмите кнопку Скачать.
Вы получите TSV-файл с результатами разметки:
INPUT — данные, которые вы загрузили для разметки.
OUTPUT — результат разметки (категория, выбранная исполнителями).
Если картинки, аудио или видео с Яндекс Диска не отображаются в инструкции или на странице задания, убедитесь, что вы правильно подключили Диск и загрузили файлы.
Частые ошибки при подключении Диска и загрузке файлов
В настройках проекта в поле Входные данные указан тип ссылка. Необходимо выбрать тип строка.
В файле с заданиями указаны абсолютные ссылки на файлы для заданий. Необходимо вставить ссылку вида <уникальное имя>/<путь и имя файла>. Например: yadisk/image1.jpg или yadisk/photos/image1.png.
Фото с Яндекс Диска используются в инструкции к заданию в мобильном приложении. Чтобы фото отобразилось в инструкции, используйте только прямые ссылки.
Файлы удалены или находятся не в той папке на Диске, на которую ведет ссылка.
OAuth-токен не активен. Обновите токен на странице Интеграция.
Чтобы файлы, загруженные на Яндекс Диск (картинки, аудио, видео), отображались у исполнителя, нужно:
Подключить Яндекс Диск в профиле.
Установить тип строка для поля входных данных.
Вставлять ссылку на файл при помощи компонента proxy.
Почему при загрузке задания, в котором нужно просмотреть изображение и написать фидбэк, появляется ошибка синтаксиса?
Ошибка будет возникать, если на вход ожидается тип URL, а приходит строка.
Причин может быть две:
Входное поле имеет тип "ссылка".
Пул работает на неактуальной версии проекта. То есть создан до того, как вы изменили тип входного поля.
Почему в задании с классификацией фотографий, если на странице больше 5-ти фотографий, то Яндекс Задания разделяет их на 2 страницы?
Загруженные ссылки на картинки в файле Яндекс Задания разделит на страницы в зависимости от того, какой способ распределения заданий вы выбрали. Подробнее читайте на странице Способы распределения заданий.
Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.
Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.
Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.
Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Результат выполнения одного задания исполнителем. Ответы на задания могут быть правильными или неправильными. Вы можете заблокировать исполнителей, которые дают слишком много неправильных ответов.
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).
Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.
Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.
Tab-separated values — текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.
Добавление правильных ответов и подсказок в задания, а также изменение типов заданий.