Туториалы для популярных задач

  1. Перед началом
  2. Список примеров
  3. Решение проблем

Туториалы позволят вам научиться размещать задания в Яндекс.Толоке. Выберите туториал, который больше всего похож на вашу задачу.

Перед началом

Вы должны быть зарегистрированы в качестве заказчика. Рекомендуем проходить туториалы в песочнице.

Список примеров

  • Изображения
  • Видео
    • Классификация видео — тип задания с выбором из конечного числа вариантов ответа. Например, модерация контента, оценка видео на наличие шумов и дефектов или распределение видео по заданным категориям.
  • Аудио
    • Транскрипция аудио — исполнитель получает аудиозапись и должен набрать текст, который слышит. Проверку таких заданий можно поручить исполнителям как задание классификации.
    • Запись речи — исполнитель получает фразу или отрывок текста, который нужно записать на диктофон и приложить аудиофайл в качестве ответа. Такие задания удобнее запускать в мобильном приложении для Android и для iOS.
  • Тексты
  • Обогащение данных
    • Опросы — установите требования к респондентам и изучите общественное мнение.
    • Бизнес-информация (пример с декомпозицией) — тип задания по поиску и обработке релевантных данных. Например, найти похожую обувь в интернет-магазине или определить, какой из найденных объектов больше похож на исходный.
  • Полевые задачи

    Полевые задания пользователи выполняют в мобильном приложении для Android и iOS.

    • Сбор офлайн-данных — исполнитель получает точку на карте, куда нужно прийти и проверить наличие чего-либо и сфотографировать.
    • Мониторинг цен — исполнитель приходит по адресу, фотографирует фасад магазина, товар и ценник на него.
    • Мониторинг товаров — исполнитель приходит по адресу, фотографирует фасад магазина, находит соответствующую категорию товаров и фотографирует стеллаж с товарами определенного бренда.
    • Сбор данных: Организации — исполнитель приходит по адресу, фотографирует фасад организации, внутри фотографирует объект с разных сторон.
    • Контроль уличных объектов — исполнитель приходит на точку, проверяет наличие объекта на улице, фотографирует его со всех сторон и табличку с адресом.

Если вы не нашли подходящий пример, воспользуйтесь общей инструкцией по запуску и настройке проекта.

Вы также можете обратиться к нам или нашим партнерам за помощью в запуске проекта целиком или отдельных шагов, например в разметке заданий.

Посмотрите список открытых размеченных датасетов на сайте Яндекс.Толоки. Возможно, для вашей задачи уже собраны все необходимые данные.

Узнайте про настройку ценообразования и посмотрите примеры стоимости различных типов заданий.

Решение проблем

Настройка задания с картинками
Какой шаблон выбирать, чтобы исполнители отмечали только нерелевантные товары в выдаче?

Такое задание можно сделать на основе шаблона по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».

Как разметить элементы на веб-страницах?
Сгенерируйте скриншоты страниц и вручную разметьте на них области, используя шаблон «Выделение областей на изображении».
Как в image-annotation добавить горячую клавишу для добавления многоугольника?
Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:
onKey: function(key) {
    var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

    if (key === 'D') {
      el.click();
      el.classList.add('image-annotation-editor__shape_active')
    }
Скопировано
Как размечать треугольники, чтобы они сами замыкались при выставлении последней точки?

Для замыкания используйте горячую клавишу C.

Вы также можете воспользоваться библиотекой, чтобы настроить горячие клавиши под свои задачи.

Как создать задачу с выделением областей на изображении?
Задачу с выделением областей на изображении с помощью Толоки рекомендуем решать в трёх проектах:
  1. Сортировка изображений, на которых есть объект.
    1. Создайте задание, используя шаблон «Классификация изображений».
    2. Отсортируйте изображения, на которых есть искомый объект.
    3. Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.
  2. Выделение объекта на изображениях.
    1. Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.
    2. Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.
  3. Проверка выделения объектов.
    1. Создайте задание, используя шаблон по выделению областей.
    2. Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.
    3. Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.
    Запустив полученный пул с перекрытием 3-5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.

    Чтобы не допускать к проверке тех пользователей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.

Задание по выделению областей на картинке: что делать исполнителю, если на картинке нет предмета, который он должен выделить?
Основные варианты решения:
  • Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.
  • Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.
  • Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.
Сколько будет стоить 2000 картинок с большим количеством объектов выделения разного типа? Как для такого объема работы создать задание?

Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0.01$.

Возьмите за основу шаблон «Выделение областей на изображении». Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.

Редактор, который используется в шаблоне, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как реализовать выделение 3-х разных областей на картинке? На скриншоте страницы товара нужно выделить название, изображение, цену.

Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Какие входные данные при разметке объектов на изображении: координаты объекта относительно изображения или координаты объекта в окне пользователя Толоки?

Координаты относительно самого изображения.

Как в стандартном шаблоне с редактором для выделения областей использовать контрольные задания?

В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс.Диска?
Проблема в шаблоне задания. Проверьте, что:
  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
  • В компоненте в шаблоне задания используется выражение proxy.
  • Формат относительных ссылок в TSV-файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.
Подробная инструкция и видео на странице Использование файлов с Яндекс.Диска.
Как в стандартном шаблоне с редактором для выделения областей использовать контрольные и обучающие задания?

В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.

Использование обучения и основного пула с типом Тренировка в проекте по выделению областей на картинке не принесет результата, так как для правильного ответа необходимо, чтобы выделение пользователя полностью совпало с эталоном. А это практически невозможно.

Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.

Для предварительного отбора пользователей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?
  1. Используйте шаблон изображений «Попарное сравнение изображений».
  2. В TSV файле укажите ссылки на сравниваемые картинки.
  3. В файле создайте задания, в которых все картинки будут попарно сравниваться:
    • Картинка 1 и Картинка 2

    • Картинка 1 и Картинка 3

    • Картинка 2 и Картинка 3
  4. Обработайте результаты.

Также вы можете изменить проект так, чтобы пользователь видел сразу 3 картинки и выбирал одну из них.

Настройка задания «Анализ тональности и модерация контента»
Как классифицировать тексты по смыслам?

Задание по классификации текстов можно представить как текст и радиобаттоны. Либо текст и чекбоксы, если тематик несколько.

Рекомендуем взять за основу шаблон «Классификация текстов».

Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.

Как сделать задание, в котором на входе и выходе текстовые поля?

Вы можете посмотреть, как реализован шаблон «Расшифровка аудиозаписей» — выходным полем которого является строка. В шаблоне «Распознавание текста с изображения» можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.

Настройка задания с аудио и видео
Можно ли разместить в инструкции видео или аудиоплеер?
Нет, но вы можете разместить ссылку на них.
Как в задании записать текст на диктофон одним аудифайлом, чтобы текст надиктовало около 1 тыс. человек?

Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от пользователя установки отдельного диктофона.

Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.

Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в TSV-файл. О создании файла и его структуре можно прочитать в Руководстве.

В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.

Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.

Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.

Как сделать так, чтобы при нажатии на изображение оно увеличивалось максимально?

Добавьте к компоненту для вставки картинки параметры real-size=true и screenshot=true.

Как сделать задание, в котором исполнитель должен просматривать видео с Яндекс.Диска?

Для создания задания возьмите за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс.Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция об этом в нашем блоге.

Как в задание добавить видео, которое размещено на Яндекс.Диске?

Можно взять за основу шаблон для разметки видео.

Чтобы разместить ваши видеоролики на Яндекс.Диске, его нужно подключить и настроить проект.

Подробная видеоинструкция есть в нашем блоге.

Настройка задания «Сбор данных»
Как создать простой опрос без вариантов, в котором пользователь сам должен написать свой вариант ответа?
  1. Создать проект из пустого шаблона.
  2. Напишите свой вопрос в блоке HTML.
  3. Если ответ должен быть развёрнутый, то добавьте нужное количество компонентов для ввода текста.
  4. Если ответ должен быть коротким, то добавьте нужное количество компонентов для ввода строки.
  5. Для каждого из компонентов придумайте своё название (name) и создайте соответствующее количество выходных полей с типом строка с таким же названием. В них будут записываться ответы.
  6. Сделайте все выходные поля обязательными.
  7. Входное поле сделайте техническим. Оно будет использоваться только для создания TSV-файла с заданиями.
  8. Придумайте название входному полю и укажите для него тип строка, как это сделано в пошаговом руководстве по созданию опроса.
Как сделать опрос из одного вопроса с помощью готового шаблона под опросы?

В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.

Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.

У меня есть сложное задание и я хочу понять: как его разбить, чтобы получить качественные результаты?

Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить пользователям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.

Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $

Используйте шаблон Выделение областей на изображении. Через редактор из этого шаблона можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Можно ли в полевом задании ограничить источник получения фото только камерой, чтобы исполнитель никак не мог загрузить фото откуда-то ещё?

Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true.

В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true. В этом случае система не позволит воспользоваться картинками без геотегов.

Подробнее о настройке компонента для загрузки картинки .