Сначала запустите проект в песочнице. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.
В этом туториале вы узнаете, как создать проект для распознавания объектов в Яндекс Заданиях. Мы будем использовать пресет, специально разработанный для этого типа проектов.
Распознавание объектов относится к типу заданий с использованием редактора для выбора области на изображении.
Исполнители смотрят на изображение и находят объекты, которые нужно обозначить. После выполнения проекта вы сможете использовать полученный набор данных в ходе машинного обучения.
Пополните свой счет на странице Профиль. Если вы не уверены в том, какой бюджет потребуется, вы можете рассчитать это позже в процессе работы над проектом.
Создайте проект
Мы рекомендуем использовать пресет проекта, чтобы упростить настройку и получить хорошие результаты.
Нажмите Создать проект на странице Проекты.
Скриншот
Выберите пресет Выделение областей на изображении.
Нажмите Использовать решение.
В разделе Общая информация заполните поля:
Название для исполнителей — название, которое будет отображаться в списке заданий для исполнителей.
Описание для исполнителей — краткое описание, которое будет отображаться в списке заданий для исполнителей.
Скриншот
В разделе Интерфейс задания настройте внешний вид задания.
Примечание
В этом туториале для создания интерфейса задания используется конструктор шаблонов, но вы можете использовать редактор HTML/JS/CSS для той же цели.
Для этого проекта воспользуйтесь готовым шаблоном, где уже настроена валидация, горячие клавиши и внешний вид задания. Исполнитель не сможет отправить задание, если не выберет варианта ответа.
Чтобы определить, какие данные вы будете передавать исполнителю и получать в ответ, необходимо создать поля входных и выходных данных.
Чтобы увидеть поля входных и выходных данных, нажмите Показать спецификации.
Входные и выходные данные соответствуют интерфейсу задачи, настроенному в конструкторе шаблонов. Убедитесь, что все входные и выходные поля настроены правильно.
Поле входных данных — ссылка image для загрузки картинки.
Измените тип данных на строку, чтобы использовать ссылки на свои файлы или загружать картинки, хранящиеся на Яндекс Диске.
Поле выходных данных — поле result с типом json, в которое будет записан объект JSON c координатами точек.
Добавьте поле выходных данных — обязательная строка breed, в которую будет записана порода собаки, указанная исполнителем.
Графический режим
JSON
В редакторе Инструкция для исполнителей введите инструкцию, которую увидят исполнители, когда начнут выполнять ваше задание. Вы можете добавлять в инструкцию текст, таблицы и изображения.
Вы можете подготовить инструкцию в формате HTML и вставить ее в редактор. Чтобы переключиться в режим HTML, нажмите <>.
Совет
При написании инструкции помните, что исполнители заранее ничего не знают о ваших заданиях. Убедитесь, что инструкция понятна, но не слишком многословна.
Нажмите кнопку Сохранить справа вверху.
Подробнее о настройке проекта читайте в разделе Создание проекта.
Добавьте пул заданий
Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.
Нажмите Создать новый пул на странице проекта.
Скриншот
Заполните поле Название пула. Название пула будет видно только вам на странице проекта.
При необходимости отключите опцию Использовать описание проекта и заполните поле Публичное описание. В этом случае в списке заданий для исполнителей будет отображаться описание пула вместо описания проекта.
Нажмите + Приватный комментарий, чтобы добавить описание, которое будет видно только вам на странице проекта.
В блоке Аудитория добавьте фильтры для отбора исполнителей:
Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.
Скриншот
Задания в пулах по умолчанию будут доступны для веб-версии Яндекс Заданий и мобильного приложения. Если вы хотите изменить настройки по умолчанию и ограничить видимость задачи для любой из версий, добавьте фильтр Клиент и выберите нужное значение: Веб-версия Яндекс Заданий или Мобильные Яндекс Задания.
Отключите опцию В моих заданиях может содержаться шокирующий или порнографический контент, если ваш пул их не содержит.
С помощью настройки Соотношение скорости и качества вы можете установить количество исполнителей, которые увидят ваши задания. Переместите ползунок вправо, чтобы заблокировать доступ к заданиям для исполнителей с недостаточно высоким рейтингом.
В блоке Цена установите цену за страницу заданий и перекрытие.
В поле Цена за страницу заданий, ₽ установите цену за страницу заданий.
Обратите внимание на индикатор Интерес исполнителей к цене. Он показывает, насколько цена за страницу заданий соответствует ожиданиям исполнителей. Если интерес невелик, вы можете повысить цену, чтобы привлечь больше исполнителей. Если интерес высокий, вы можете снизить цену, чтобы сэкономить деньги.
Как определить справедливую цену
Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.
Вы можете зарегистрироваться в Яндекс Заданиях как исполнитель и узнать, сколько платят другие заказчики за задания.
Включите опцию Отложенная приемка заданий и укажите количество дней на проверку в поле Срок проверки в днях.
Что такое отложенная приемка?
Отложенная приемка позволяет вам просматривать выполненные страницы заданий перед тем, как принять их и заплатить исполнителю. Задания, выполненные в несоответствии с инструкцией, можно отклонять. Максимальный срок проверки устанавливается в поле Срок проверки.
Нажмите Показать расширенные настройки и укажите Время на страницу заданий, с в разделе Дополнительные настройки.
Указанного времени должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 1200 секунд.
Нажмите кнопку Создать пул.
Нажмите кнопку Загрузить данные на странице пула. В открывшемся окне вы можете скачать шаблон файла с заданиями.
Добавьте в файл входные данные. Для этого типа проекта файл с заданиями должен иметь один параметр. Его название INPUT:image, а значения являются ссылками на изображения.
Перейдите к редактированию пула (кнопка в верхнем правом углу страницы) и в блоке Контроль качества нажмите Добавить правило контроля качества.
Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Аудитория нажмите Скопировать настройки другого пула.
Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.
Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.
Чтобы отсеять исполнителей, которые слишком быстро отвечают, добавьте правило контроля Быстрые ответы. Вы можете оставить без изменений настройки по умолчанию или поменять их в соответствии со своим проектом.
Добавьте правило Результаты проверки и заполните его параметры.
Скриншот
Если более 50% ответов исполнителя будут отклонены, он будет заблокирован и не сможет выполнять ваши задания в течение 15 дней.
Отсортируйте изображения, на которых есть искомый объект.
Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.
Выделение объекта на изображениях.
Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.
Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приемки. Описание правил и примеры.
Проверка выделения объектов.
Создайте задание, используя шаблон по выделению областей.
Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.
Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.
Запустив полученный пул с перекрытием 3–5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.
Чтобы не допускать к проверке тех исполнителей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.
Сколько будет стоить 2000 картинок с большим количеством объектов выделения разного типа? Как для такого объема работы создать задание?
Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 1 ₽.
Возьмите за основу пресет Распознавание объектов и выделение областей. Пошаговое руководство по созданию проекта такого типа вы найдете на этой странице.
Редактор, который используется в пресете, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).
Какие входные данные при разметке объектов на изображении: координаты объекта относительно изображения или координаты объекта в окне исполнителя Яндекс Заданий?
Координаты относительно самого изображения.
Как в стандартном пресете с редактором для выделения областей использовать контрольные и обучающие задания?
В стандартном пресете для выделения областей использовать контрольные задания не получится. Для того, чтобы ответ засчитался как верный, выделенный исполнителем объект должен в точности совпасть с эталоном. А это практически невозможно. Поэтому в файле с заданиями оставьте поле GOLDEN пустым или просто удалите все столбцы, кроме INPUT.
Использование обучения и основного пула с типом Тренировка в проекте по выделению областей на картинке не принесет результата, так как для правильного ответа необходимо, чтобы выделение исполнителя полностью совпало с эталоном. А это практически невозможно.
Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.
Для предварительного отбора исполнителей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.
Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.
Правило контроля качества, которое ограничивает количество страниц заданий, которые может выполнить один исполнитель (с учетом перекрытия). Это позволяет выбрать большее количество исполнителей.
Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.
Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.
Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.
Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).