Как получить статус партнера Толоки

Чтобы стать партнером Толоки, компания или частное лицо должны запускать задания, которые соответствуют:

Чтобы подать заявление на статус партнера Толоки, заполните форму.

Статус партнера выдается на три месяца.

Пять основных показателей качества

Масштабируемость

Толока быстро растет и развивается: появляются новые возможности и функции, каждый день приходят сотни новых пользователей и десятки заказчиков. Мы хотим, чтобы наши партнеры держали высокую планку по качеству результатов, привлекали новых заказчиков и расширяли сотрудничество с прежними. При оценке этого показателя мы учитываем сумму, начисленную исполнителям за выполненные задания или в виде бонусов. Она должна составлять не менее 1000 $ за три месяца начиная с даты направления заявки на присвоение статуса партнера.

Рейтинг проектов

Толока — платформа двусторонняя. Нам важно мнение пользователей о заданиях, которые они выполняют, и о взаимодействии с их авторами. Поэтому мы считаем рейтинг проекта в Толоке одним из главных показателей профессионализма заказчика. Рейтинг проекта — это его суммарная оценка исполнителями по четырем категориям:

  • Желание выполнить аналогичное задание.

  • Понятность инструкции.

  • Удобство интерфейса задания.

  • Общение с заказчиком.

Мы ожидаем, что средний рейтинг проектов, запускавшихся партнером за последний месяц, составит не ниже 4,6 балла.

Требования к заданиям

В Толоке можно размещать любые задания, требующие анализа или создания контента. Важно, чтобы они соответствовали требованиям, описанным в Соглашении с заказчиком. Наш партнер предупредит клиента, что задание не подходит для Толоки, если оно:

  • подразумевает создание или просмотр противозаконных материалов;

  • направлено на рекламу и продвижение сайтов (например, исполнитель должен переходить по ссылкам на указанные сайты или вводить определенные поисковые запросы, просматривать рекламные материалы, оставлять на сайтах отзывы и комментарии);

  • предполагает действия в социальных сетях (например, исполнитель должен размещать, распространять и оценивать записи, участвовать в голосованиях, оставлять комментарии);

  • содержит персональные данные третьих лиц или дает им доступ к аккаунту исполнителя в Толоке.

Если для выполнения задания требуется специальное программное обеспечение, оно должно быть одобрено администраторами Толоки.

Отсутствие массовых жалоб

Толока основана на принципе краудсорсинга. Это значит, что над вашей задачей будут трудиться сотни и тысячи исполнителей. Нам важно, чтобы заказчики ответственно подходили к размещению заданий. Партнеры Толоки должны уметь:

В нашу службу поддержки не должны поступать массовые жалобы от исполнителей на технические ошибки в размещенных вами заданиях, несправедливые отклонения ответов, отсутствие обратной связи или что-либо еще. Массовыми считаются более 10 жалоб в месяц, не менее 80% которых будут признаны администрацией обоснованными.

Соблюдение рекомендаций

В Толоке заказчик всегда может рассчитывать на поддержку, помощь и дружеский совет. Наши администраторы проверяют каждый проект после его запуска, отмечают ошибки и дают рекомендации по его настройке и улучшению. Мы надеемся, что проекты, созданные партнерами, не будут содержать технических ошибок, противоречивых правил контроля качества или запускаться без фильтров.

Мы ожидаем, что партнеры Толоки будут выполнять наши рекомендации:

  • Содержание задания. Для достижения лучших результатов старайтесь разделять большую задачу на несколько наиболее простых и создавать для каждого этапа отдельные проекты. Если задание получится слишком сложными и объемным, его будут выполнять дольше, стоить оно будет дороже, а получить хорошее качество и согласованность ответов станет сложнее.

  • Интерфейс задания. Создавайте простые и удобные интерфейсы, добавляйте горячие клавиши, валидацию ответов. Проверяйте работоспособность проектов и их отображение на экранах компьютеров и мобильных устройств. Используйте песочницу, чтобы отладить задание.

  • Инструкция. Снабжайте задания понятной инструкцией. Опишите все случаи, с которыми может столкнуться исполнитель. Используйте краткие формулировки и простые предложения. Добавьте картинки и скриншоты с примерами. Применяйте списки и форматирование, чтобы облегчить восприятие текста. Если вы используете отложенную приемку, перечислите критерии оценки.

  • Отбор исполнителей. Создайте обучение и экзамен для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов.

  • Стоимость задания. Установите справедливую цену: чем сложнее задание и чем больше времени тратит исполнитель, тем выше должна быть цена. Установите динамическое ценообразование, чтобы поощрить старательных исполнителей.

  • Время на выполнение. Выделите достаточное время на выполнение задания. Спешка снижает качество ответов, поэтому время нужно устанавливать с запасом.

  • Требования к пользователям. В фильтрах обязательно укажите язык, на котором написана инструкция и текст в задании. Добавьте фильтр по навыку и ползунок Соотношение скорости и качества, чтобы над проектом работали только исполнители с высоким рейтингом. Для заданий в мобильных приложениях используйте фильтр Клиент = Мобильная Толока.

  • Контроль качества. Подберите оптимальный набор правил для каждого проекта. Грамотно настроенный контроль качества поможет получать более точные ответы и ограничивать доступ к заданиям тем, кто часто ошибается, расходится с мнением большинства или делает слишком быстро.

  • Контакт с исполнителями. Адекватное общение с исполнителями делает их более заинтересованными, а вам позволяет оперативно находить проблемы в заданиях. Отвечайте на вопросы в личных сообщениях и на форуме.

Больше советов и рекомендаций вы найдете в Вопросах и ответах.

Для отдельных типов заданий в Толоке существуют более конкретные рекомендации. Следуйте этим советам, чтобы получить статус партнера Толоки.

Показатели качества по типам заданий

Полевые задания и выделение области на картинке

Полевые задания выполняют в мобильном приложении. Обычно исполнитель должен прийти по адресу, сделать фотографии или записать видео, а также ответить на вопросы. В заданиях по выделению областей исполнитель должен отметить на картинке область в виде многоугольника или прямоугольника.

Проверка заданий

Обычно в заданиях этих типов устанавливают отложенную приемку, поэтому ответы исполнителей нужно проверять. Для этого есть три способа:

  • Автоматическая проверка. Например, вы написали скрипт, который забирает через API результаты, отправляет ответы на распознавание и проверку, сверяет координаты, а затем возвращает статусы заданий (принять или отклонить) и загружает их в Толоку. Если вы создали такой скрипт или автоматизировали проверку другим способом, — покажите нам, как это работает.

  • Проверочное задание. Выполненные задания можно отдать на проверку другим исполнителям в виде задания в Толоке. При этом важно, чтобы проверочное задание было недоступно исполнителям, которые участвовали в полевом задании.

  • «Умный» шаблон. Например, в полевом задании работает JavaScript, который не позволяет пользователю отправить ответы, если он находится более чем в 1 км от метки на карте.

Приемка заданий

Мы ожидаем, что ваш проект будет настроен таким образом:

  • Средний срок проверки задания — не более 7 календарных дней. А лучше — 2–3 дня.

  • Процент принятых заданий — не менее 75%. Наш опыт показывает, что высокий процент отклоненных заданий — показатель неудачной организации процесса, и это стоит исправить. Чаще всего перед исполнителями стоит слишком объемная и сложная задача, которую можно и нужно разделить на несколько простых.

Классификация

Классификация — это задание с выбором из конечного числа вариантов ответа. Например, модерация комментариев или распределение изображений по заданным категориям.

Контроль качества

Правила позволяют в реальном времени измерять качество ответов исполнителей: устанавливать более высокую стоимость для тех, кто справляется хорошо, и ограничивать доступ к заданиям для тех, кто работает недобросовестно.

  • Используйте в проекте минимум три разных правила контроля, одним из которых обязательно должен быть Контрольный набор.

  • Добавляйте в пул не менее 1% контрольных заданий. Следите за их актуальностью, пополняйте и обновляйте их не реже чем раз в 30 дней. Страницы в интернете очень динамичны, и еще недавно работающая ссылка может показать ошибку 404, а информация на странице — устареть.

Обучение
Никто из нас не любит длинные инструкции. Гораздо проще научиться чему-то на примерах. Обучение поможет пользователям разобраться, как выполнять задание, а вы сможете выбрать тех, кто хорошо с ней справился. Обновляйте обучение не реже чем раз в три месяца. Иначе оно устареет, а исполнители успеют выучить его наизусть.

Дополнительные показатели качества

Динамическое перекрытие

Динамическое перекрытие позволяет экономить деньги, не устанавливая фиксированное перекрытие для всех заданий в пуле. Алгоритм определяет, сколько исполнителей должны разметить задание, чтобы заказчик получил достоверный результат, в зависимости от уровня навыка исполнителей и согласованности их ответов. Подходит для заданий с конечным набором ответов и перекрытием 2–5 (например, классификация).

Отбор исполнителей: обучение — экзамен — реабилитация

У каждого исполнителя свои сильные стороны: один сразу замечает опечатки в тексте, другой любит выделять объекты на картинке, третий без ошибок расшифрует аудиозапись, а четвертый мастерски сыграет роль тайного покупателя. Но любому из них нужно потренироваться, приступая к новой задаче. Добавьте в проект обучение и экзамен (пул контрольных заданий), чтобы выбрать тех, кто справляется успешнее других. Реабилитационный пул поможет исполнителям, допустившим ошибки в разметке, улучшить навык и вернуться к выполнению задания.

Бонусная программа и динамическое ценообразование

За хорошее выполнение заданий исполнителям можно выдавать бонусы или повышать оплату в зависимости от значения навыка. Это мотивирует исполнителей и заставляет их внимательнее относиться к заданиям.

Если ваши проекты соответствуют этим требованиям, мы будем рады сотрудничать с вами и рекомендовать ваши услуги заказчикам.

Подтверждение статуса партнера

Статус партнера Толоки выдается на три месяца. Однако мы можем запросить внеочередное подтверждение вашей квалификации, если обнаружим грубые нарушения правил сервиса или если на ваши задания или заказчиков поступит много жалоб от исполнителей.

За две недели до окончания срока действия статуса:

  • убедитесь, что ваши проекты соответствуют актуальным требованиям;

  • выполните все полученные от администрации сервиса рекомендации и устраните недочеты.

При соблюдении этих условий статус партнера Толоки будет продлен на следующие три месяца. При их нарушении вам может быть отказано в продлении статуса.

Условия и требования, описанные на этой странице, могут быть изменены в одностороннем порядке. В случае критических изменений мы можем запросить внеочередное подтверждение вашей квалификации.