Глоссарий
А
API Яндекс Заданий
Программный интерфейс (API) Яндекс Заданий предоставляет набор инструментов — классов, процедур, функций, структур и констант — для взаимодействия с другими компьютерными программами. Он позволяет создавать задания и получать ответы от пользователей.
Запросы к API Яндекс Заданий выполняются по протоколу HTTPS. Сервис возвращает данные в формате JSON. Подробнее
J
JSON
JavaScript Object Notation — формат, использующийся для хранения и передачи структурированных данных.
Т
TSV
Tab-separated values — текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.
Активные исполнители
Исполнители с доступом к пулу, которые брали задания за последний час.
Архивный пул
Пул, отправленный в архив. Такой пул недоступен для запуска и редактирования, а также для выполнения отложенной приемки. Пул автоматически архивируется, если в течение месяца в нем не совершались никакие действия. В архивном пуле можно просмотреть статистику пула, скачать данные пула и склонировать пул.
Б
Блокировка исполнителя
Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N
и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее
Бонус
Дополнительная выплата исполнителям за хорошее выполнение заданий. Бонусы повышают мотивацию и заставляют исполнителей более внимательно относиться к вашим заданиям. Вы можете начислить бонусы одному или нескольким исполнителям (помимо платы за выполненные задания). Сумма бонуса может составлять от 0,005 до 10 000 рублей одному исполнителю единовременно. Подробнее
Быстрые ответы (правило контроля качества)
Правило контроля качества, которое ограничивает доступ к заданиям исполнителям, которые отвечают слишком быстро.
Применяется, чтобы:
- приостанавливать доступ исполнителям, которые отвечают недобросовестно (в этом случае установите время, достаточное для выполнения страницы заданий с помощью случайных ответов);
- обеспечить защиту от роботов (в этом случае времени на выполнение страницы заданий должно быть в 2 раза меньше).
В
Вариант расстановки элементов (layout — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов для расположения элементов в интерфейсе, например в виде колонок или side-by-side. Список вариантов расстановки
Взявшиеся исполнители
Число исполнителей, которые выполнили хотя бы одну страницу заданий.
Внутренние данные (используется в конструкторе шаблонов)
Данные, доступные только изнутри задания. В результаты они не записываются. Их можно использовать для расчетов или хранения промежуточных значений. Для доступа к внутренним данным используйте компонент data.internal
конструктора шаблонов.
Входные и выходные данные
Формат входных и выходных данных, описываемых в поле Спецификации блока Интерфейс задания при настройке проекта.
-
Входные данные (input) — это исходные данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям. Для доступа к входным данным используйте компонент
data.input
конструктора шаблонов. -
Выходные данные (output) — это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы. Для доступа к выходным данным используйте компонент
data.output
конструктора шаблонов.
Подробнее о работе с данными в инструкции Чтение и запись документации конструктора шаблонов.
Выборочная проверка мнением большинства
Опция, позволяющая выборочно увеличить перекрытие для некоторых заданий. Это позволяет экономить средства и ускорить выполнение пула. Подробнее
Выполненные задания (правило контроля качества)
Правило контроля качества, которое ограничивает количество страниц заданий, которые может выполнить один исполнитель (с учетом перекрытия). Это позволяет выбрать большее количество исполнителей.
Г
Готовые наборы защиты
Наборы правил контроля качества с настройками по умолчанию, доступные в блоке Контроль качества настроек пула. Есть три основных набора правил контроля качества: начальный, базовый и продвинутый.
Д
Действие (action — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов, выполняющих действия, например, открыть ссылку, вывести сообщение, воспроизвести видео. Некоторые компоненты работают с данными, например могут менять значение с true
на false
. Список действий
Декомпозиция
Разделение одного крупного проекта на несколько небольших. После декомпозиции задания становятся проще и выполняются быстрее, а качество ответов возрастает. Подробнее
Динамическое перекрытие (incremental relabeling, IRL)
Перекрытие, которое позволяет изменять количество исполнителей, которые должны выполнить каждое задание пула в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы. Значение динамического перекрытия увеличивается при уменьшении уверенности в результатах и наоборот.
Динамическое ценообразование
Возможность дополнительно установить цены, которые зависят от навыка исполнителя. Это позволяет платить больше тем исполнителям, у кого более высокий навык. Подробнее
З
Задание
Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.
Задание состоит из отдельного элемента, требующего разметки, например, классификация фото или модерация комментария. Является фрагментом веб-страницы, в котором могут быть размещены различные объекты: картинки, текст, поля ввода и т. д. Исполнитель читает инструкцию к заданию, выполняет его и вводит ответы. Интерфейс заданий можно создавать в конструкторе шаблонов.
Заработок (правило контроля качества)
Правило контроля качества, которое ограничивает заработок исполнителя в пуле в течение суток, чтобы получить ответы как можно большего числа исполнителей и обеспечить защиту от роботов.
И
Инструкция
Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.
Интерфейс задания
Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.
Исполнитель
Человек, выполняющий задания в Яндекс Заданиях и получающий за это оплату. Все вместе исполнители обычно называются «крауд» (коллектив, толпа).
К
Капча
Тип автоматизированного теста, который помогает определить, является ли исполнитель человеком. Ограничивает доступ к заданиям исполнителям, которые неправильно ввели капчу несколько раз подряд. Это помогает защититься от роботов.
Комиссия
Процент от стоимости заданий, который взимается с заказчика за использование Яндекс Заданий.
Компонент (используется в конструкторе шаблонов)
JSON-объекты с заданной структурой, которые помогают составить интерфейс задания. Компоненты делятся на категории в зависимости от назначения, например поля для ввода данных, условия или действия. Название компонента указывается в свойстве type
в формате <категория>.<имя>
. Cписок компонентов
Контроль качества
Система мониторинга и контроля, которая позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее
Контрольное задание (gold question, honeypot, benchmark task)
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.
Помимо контрольных заданий, бывают основные и обучающие задания.
Конфигурация
Описание вашего интерфейса в формате JSON. Так же называется панель в редакторе, где вы пишете этот код.
Краудсорсинг
Способ получения информации или услуги от большой распределенной группы людей. Эти люди выполняют очень маленькие задания, но их совместная работа может иметь ценный результат. Например, они могут классифицировать изображения по категориям, а полученные данные можно потом использовать для улучшения поисковых или рекомендательных систем.
М
Мнение большинства (правило контроля качества)
Правило контроля качества, основанное на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Другие ответы считаются неправильными.
Н
Навык
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее
Неполная страница
Последняя страница, на которую не хватило нужного количества основных заданий. Формируется, если невыполненных основных заданий осталось меньше минимума. При этом количество контрольных и обучающих заданий должно быть полным. Неполную страницу заданий можно включить при загрузке заданий при помощи «умного смешивания».
О
Обучающее задание
Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.
Обучающие задания можно использовать в бесплатных обучающих пулах, чтобы отбирать исполнителей, прошедших обучение.
Также их можно использовать в обычных пулах в качестве контрольных заданий с подсказками. Например, можно отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.
Обучающий пул
Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.
Чтобы повысить качество результатов, вы можете добавить обучающий пул и отобрать только тех исполнителей, которые успешно прошли обучение. Подробнее
Оптическое распознавание символов (OCR)
Преобразование изображений с напечатанным или рукописным текстом в машиночитаемый текст. В качестве изображения может использоваться сканированный документ, фотография документа или субтитры на изображении.
Основное задание
Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.
Помимо этого бывают контрольные (содержащие правильные ответы) и обучающие (содержащие правильные ответы и подсказки) задания.
Ответ на задание
Результат выполнения одного задания исполнителем. Ответы на задания могут быть правильными или неправильными. Вы можете заблокировать исполнителей, которые дают слишком много неправильных ответов.
Ответ на страницу заданий
Результат выполнения страницы заданий исполнителем. Ответы на страницу заданий могут быть правильными или неправильными. Вы можете отклонить неправильные ответы, используя отложенную приемку, или даже заблокировать исполнителей, которые дают слишком много неправильных ответов.
Отложенная приемка заданий
Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.
Отображаемый элемент (view — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов для создания визуальных элементов интерфейса. Это могут быть, например, текст, список, аудио-плеер или картинка. Список отображаемых элементов
П
Перекрытие
Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
Персонализированный прогноз качества
Прогноз в реальном времени о том, как исполнители будут выполнять ваше задание. Персонализированный прогноз качества строится на основе большого объема накопленной информации о том, как исполнитель вел себя в системе, как другие исполнители справлялись с вашим заданием, и что из себя представляет само задание.
Песочница
Тестовая среда Яндекс Заданий. Протестируйте в ней настройки проекта в качестве исполнителя. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.
Плагин (plugin — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов для работы с дополнительными функциями. Например, plugin.hotkeys
позволяет настроить горячие клавиши. Список плагинов
Повторное выполнение заданий после блокировки исполнителя (правило контроля качества)
Правило контроля качества, настройка которого позволяет отправлять задания на повторное выполнение другим исполнителям.
Задания будут перенаправлены, если:
- исполнитель заблокирован по одному из правил контроля качества (например, контрольные задания, мнение большинства);
- изменился навык исполнителя (например, у исполнителя уменьшилось значение навыка и он перестал соответствовать фильтру по навыку).
Все задания, которые сделал исполнитель в пуле, перенаправляются другим. Выдаются задания только заблокированных исполнителей, но не тех, чей доступ временно приостановлен.
Поле для ввода данных (field — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов, создающих поля для ввода данных, например текстовые поля или выпадающие списки. Список полей для ввода данных
Полевое задание
Задание, которое выполняется на местности с использованием мобильного приложения. Чаще всего, оно содержит точку на карте, куда нужно прийти, проверить наличие чего-либо и сфотографировать.
Правило контроля качества
Независимые правила, из которых состоит контроль качества. Блок контроля качества в настройках пула позволяет установить правила и настроить их.
Пресет проекта
Преднастроенный проект, содержащий описание, инструкцию, предопределенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.
Проект
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, инструкции и входные и выходные данные, общие для всех пулов входящих в этот проект.
Пропуск заданий (правило контроля качества)
Правило контроля качества, которое ограничивает доступ к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.
Пул
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.
Р
Разметка данных
Добавление информативных тегов к данным. Например, указание того, что на фото есть определенные объекты (светофоры, автомобили, пешеходы), транскрипция аудиофайлов, классификация текстовых или видеофайлов и другая подобная информация.
Разметка заданий
Добавление правильных ответов и подсказок в задания, а также изменение типов заданий.
Можно сделать обычное задание контрольным, если добавить правильный ответ, или обучающим, указав правильный ответ и подсказку. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания». Подробнее
Реабилитационный пул
Пул, который помогает исполнителям, допустившим ошибки, улучшить навык и вернуться к выполнению задания.
Результаты проверки (правило контроля качества)
Правило контроля качества, которое позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
С
Сохранение порядка заданий
Распределение страниц с заданиями в пуле в том же порядке, в котором они были записаны в загруженном файле. При этом задания внутри этих страниц произвольно перемешиваются.
Список языков для перевода
Набор языков, который используется, в разделе Перевод на другие языки в настройках проекта, на которые можно перевести интерфейс проекта.
Срок проверки
Количество дней на проверку ответов исполнителей вручную.
Страница заданий
Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.
Например, на одну страницу можно добавить четыре изображения, или она может состоять из одного задания. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Лучше не создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.
Тренировка
Основной пул, который состоит только из обучающих заданий и может иметь нулевую стоимость. Используйте его, чтобы натренировать исполнителей перед выполнением реальных задач, если функциональность обучающего пула вам не подходит.
Тренировочный навык
Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка — <название проекта> - training
. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.
Тренировочный навык один на весь проект. Если вы создаете новые обучающие пулы, то в них будет использоваться тот же навык. Подробнее
У
Умное смешивание
Способ сочетания заданий и формирования страниц заданий случайным образом так, чтобы задания не повторялись для каждого исполнителя.
Условие (condition — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов для проверки, соответствует ли выражение заданному условию. Нужны, например, для проверки, что поле с текстом заполнено. Список условий
Ф
Файл с заданиями
Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.
Фильтры
Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.
Фильтры используются в настройках пула (в блоке Аудитория), на странице Пользователи и при отправке сообщений группе пользователей. Подробнее
Х
Хелпер (helper — тип компонента конструктора шаблонов)
Категория компонентов, используемых в конструкторе шаблонов для вспомогательных операций, например работы с массивами. Список хелперов
Э
Экзамен
Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других. Подробнее
JSON-объекты с заданной структурой, которые помогают составить интерфейс задания. Компоненты делятся на категории в зависимости от назначения, например поля для ввода данных, условия или действия. Название компонента указывается в свойстве type
в формате <категория>.<имя>
. Cписок компонентов
Набор данных, которые нужно разметить в проекте. Можно использовать настройки пула для выбора исполнителей, установки цены за задание и добавления правил контроля качества. Задания в пуле объединены общими свойствами (например, настройки отбора исполнителей, плата за страницу заданий) и отправляются на выполнение единовременно.
Параметр настройки пула, который позволяет проверять ответы и при этом платить только за правильные ответы и не платить за задания, которые исполнители сделали некачественно.
Определенная цель для разметки. Например, модерация комментариев, классификация изображений, транскрипция аудиозаписей или еще что-то.
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Навыки используются для отбора исполнителей в пуле. Подробнее
Группа из нескольких заданий, ответы на которые должен отправить исполнитель за один раз.
Количество исполнителей, которые должны выполнить каждое задание пула. Перекрытие используется для того, чтобы убедиться, что результатам можно доверять.
Категория компонентов, используемых в конструкторе шаблонов, создающих поля для ввода данных, например текстовые поля или выпадающие списки. Список полей для ввода данных
Категория компонентов, используемых в конструкторе шаблонов для проверки, соответствует ли выражение заданному условию. Нужны, например, для проверки, что поле с текстом заполнено. Список условий
Категория компонентов, используемых в конструкторе шаблонов, выполняющих действия, например, открыть ссылку, вывести сообщение, воспроизвести видео. Некоторые компоненты работают с данными, например могут менять значение с true
на false
. Список действий
Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.
Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. В контроле качества и при расчете навыков учитывается только первый ответ на задание.
Система мониторинга и контроля, которая позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Способ сочетания заданий и формирования страниц заданий случайным образом так, чтобы задания не повторялись для каждого исполнителя.
Файл, содержащий данные, которые нужно разметить. Заказчики используют эти файлы для загрузки заданий. В Яндекс Заданиях поддерживаются файлы в формате TSV.
Вопрос или задача, которое требует ответа от исполнителя в Яндекс Заданиях.
Внешний вид задания для исполнителя и логика обработки ответов. Чаще всего настраивается с помощью конструктора шаблонов.
Формат входных и выходных данных, описываемых в поле Спецификации блока Интерфейс задания при настройке проекта.
Независимые правила, из которых состоит контроль качества. Блок контроля качества в настройках пула позволяет установить правила и настроить их.
Блокировка доступа исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N
и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ. Подробнее
Правило контроля качества, основанное на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Другие ответы считаются неправильными.
Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.
Правило контроля качества, которое ограничивает количество страниц заданий, которые может выполнить один исполнитель (с учетом перекрытия). Это позволяет выбрать большее количество исполнителей.
JavaScript Object Notation — формат, использующийся для хранения и передачи структурированных данных.
Пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.
Tab-separated values — текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.