Песочница

Песочница — это тестовая среда Яндекс.Толоки. В ней вы можете протестировать настройки проекта в качестве исполнителя, а затем перенести их в основную версию Яндекс.Толоки и запустить на реальных исполнителей. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

Ограничение. Учтите, что переносятся только настройки проекта и пула, а сами задания и ответы на них не переносятся. Также не переносятся настройки контроля качества для проекта.

Как запустить проект в песочнице

  1. Зарегистрируйтесь в песочнице как заказчик. Для этого перейдите по ссылке.

    Совет. Чтобы не запутаться, используйте тот же Яндекс ID, который вы использовали для регистрации в качестве заказчика в основной версии Яндекс.Толоки.
  2. Запустите и настройте свой проект:

Как выполнить свои задания

Чтобы выполнить свои задания в песочнице:

  1. Зарегистрируйтесь в песочнице как исполнитель (см. инструкцию в документации для исполнителей ).
    Внимание. Авторизация через социальные сети не допускается, зарегистрируйте нового пользователя на Яндексе.
  2. Войдите в песочницу с аккаунта заказчика.

  3. Откройте страницу Пользователи и нажмите Добавить доверенных пользователей.

  4. Нажмите кнопку Добавить пользователя и введите логин созданного исполнителя с учетом регистра букв (заглавные и строчные).

    Только доверенные пользователи получат доступ к вашим заданиям.

    Количество необходимых для тестирования доверенных исполнителей зависит от настройки перекрытия.

    Для тестирования своего проекта в Песочнице поставьте перекрытие 1. При увеличении перекрытия потребуется дополнительно зарегистрировать и добавить аккаунты доверенных пользователей.

    При экспорте проекта в основную версию Яндекс.Толоки можете указать необходимое перекрытие, в соответствии с целями вашего проекта.

  5. Войдите в песочницу с аккаунта исполнителя и протестируйте свои задания. Убедитесь, что кнопки и валидация ответов настроены правильно, оцените время на выполнение задания. Проверьте, как работает отбор пользователей и контроль качества.

Как перенести задание в основную версию Яндекс.Толоки

Чтобы перенести задания из песочницы в основную версию:

  1. Cвяжите аккаунты песочницы и основной версии:

    1. Откройте вкладку Интеграция с внешними сервисами в основной версии на странице профиля и скопируйте OAuth-токен.

    2. Откройте такую же вкладку в песочнице на странице профиля и вставьте скопированный токен в поле OAuth-токен из основной версии Яндекс.Толоки.

  2. Перейдите на страницу проекта в песочнице и нажмите кнопку Действия над проектом → Экспортировать.

  3. Выберите пулы для экспорта и нажмите Экспортировать.

    Если к пулу привязано обучение, то оно экспортируется автоматически.

Решение проблем

Как работать с Песочницей?

Зарегистрируйтесь в роли заказчика в песочнице.

Зарегистрируйтесь с другим аккаунтом в роли исполнителя.

В аккаунте заказчика добавьте исполнителя в список доверенных.

Создайте и запустите задание. Оно появится в списке заданий у ваших доверенных пользователей. Подробнее об этом можно узнать на странице помощи.

Как увидеть свой пул глазами исполнителя?

Чтобы протестировать свое задание, добавьте себя в доверенные исполнители в Песочнице. Для этого на странице Пользователи нажмите Добавить доверенных пользователей. Вводите логин для аккаунта исполнителя с учетом регистра символов.

Достаточно ли одного аккаунта для Песочницы и основной версии Толоки?

Нет, для каждой версии Яндекс.Толоки нужен отдельный аккаунт. Чтобы создать задание в Песочнице, зарегистрируйтесь в ней как заказчик, а чтобы выполнить свое задание, зарегистрируйте еще один аккаунт как исполнитель.

Что делать, если при экспорте проекта из Песочницы возникает ошибка на сервере?
Попробуйте перенести проект без пулов.
Выберите проект для переноса и не указывайте пулы в появившемся окне.
Нажмите Экспортировать.
Если ошибка сохраняется, то обновите токен.
Перейдите в  Яндекс ID.
В разделе История входов и устройства нажмите Выйти на всех устройствах.
Запросите новые токены в Песочнице и основной среде.
Обновите токен в Профиле Песочницы.
Как проверить свой проект в мобильной версии Толоки?

Для этого понадобится специальная версия приложения Толоки для Песочницы. Чтобы её получить, напишите в службу поддержки.

Обновится ли экспортированная из Песочницы копия проекта в основной версии, если внести изменения в оригинал?

Обновить ранее экспортированный проект не получится. Если вы снова клонируете проект из песочницы, то добавится его актуальная копия. Старый проект не изменяется.

Можно ли добавить в исполнители пользователя с недостаточным рейтингом?

Пользователь не видит задание, если он не подходит по фильтру или рейтингу. Вы можете убрать блокирующий фильтр из пула. Чтобы протестировать свое задание, добавьте себя в доверенные исполнители в Песочнице.

Почему ничего не происходит, когда тестовый исполнитель нажимает кнопку Отправить в Песочнице?

Проверьте в предпросмотре пула с аккаунта заказчика, можно ли отправить задание. Если тоже не получится, скорее всего, в вашем проекте ошибка.

Как перенести разметку контрольных заданий из Песочницы в основной пул?

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Вы можете скачать размеченные задания из пула в Песочнице и загрузить их в экспортированный пул.

Чтобы скачать только контрольные задания (если вы размечали в интерфейсе), зайдите в Разметчик, затем на вкладку Контрольные задания и нажмите Скачать.

Почему я не вижу своего задания в Песочнице?

Проверьте, что:

  1. Пул запущен.
  2. Пользователь добавлен в доверенные.
  3. Доверенный пользователь зарегистрирован в песочнице как исполнитель.
  4. Доверенный пользователь не использовал социальные сети при регистрации.
  5. Доверенный исполнитель подходит под установленные фильтры.
Не могу добавить доверенного пользователя

Возможные причины:

  • Пользователь не зарегистрирован в песочнице. Аккаунт, зарегистрированный в основной версии Яндекс.Толоки не подойдет. Убедитесь, что вы указали правильный аккаунт исполнителя в качестве доверенного.
  • Аккаунт исполнителя авторизован через социальные сети. Зарегистрируйте нового пользователя на Яндексе.
Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.