Толока

Краудсорсинг и Толока. Продолжение

24 декабря 2018, 15:53

В предыдущем посте мы рассказывали о том, что такое краудсорсинг и как его используют в Яндексе. Сегодня поговорим о Толоке — нашем главном инструменте для работы с краудом. Давайте посмотрим, как строится работа в сервисе, кто и как может его использовать и в чём преимущества краудсорсинга.

Как устроена Толока

Одно из главных преимуществ краудсорсинга — масштабируемость.  Это значит, что мы можем обучать любое количество людей, что позволяет с лёгкостью расширять или сжимать производство.

В Толоке все организационные процессы, такие как отбор, обучение и контроль качества работы исполнителей, автоматизированы.

Алгоритм обучения людей схож с машинным обучением — большое количество разобранных примеров. Проходя через них, исполнители понимают логику выполнения задачи. После этого они проходят экзамен, который показывает, насколько человек разобрался в задаче и настроил свою внутреннюю нейронную сеть для её решения. На выходе остаются только те исполнители, которые справились со всеми этапами, то есть получили нужные навыки. Потратив минимум усилий на отбор, мы получаем большое количество обученных людей, готовых выполнять задание. При таком подходе подготовка 100 или 1000 человек требует столько же усилий, сколько и подготовка одного специалиста.

Обучение исполнителей

Типы заданий

Благодаря гибкому интерфейсу платформа легко адаптируется под нужды заказчика, поэтому там можно размещать разнообразные задания. Мы собрали список самых популярных задач, хотя возможности Толоки им не ограничиваются:

  • Попарное сравнение. Исполнителям предлагают два варианта дизайна или расположения элементов на странице и просят выбрать более привлекательный.
  • Оценка релевантности. В таких заданиях нужно оценить, насколько веб-страница, изображение или видео соответствуют поисковому запросу.
  • Поиск информации. Задача толокеров — найти официальный сайт компании или отдельный элемент на странице, дополнить карточку товара или собрать коллекцию тематических картинок.
  • Копирайтинг. Исполнителей просят составить описание товара или аннотацию к сайту, придумать рекламное объявление, заголовок или написать небольшой текст на заданную тему.
  • Модерация. Задача — проверить комментарии, видеоролики, изображения на наличие спама, «взрослого» контента, мата, оскорблений.
  • Классификация. В таких заданиях нужно распределить организации или товары по категориям, а статьи, видеоролики и картинки — по темам.
  • Расшифровка текстов и аудио. Толокеров просят перепечатать названия блюд из меню ресторана или записать текст аудиозаписи.
  • Выделение областей на картинке. Нужно найти и выделить на картинке указанные объекты.
  • Полевые задания. Исполнители приходят по указанному адресу и проверяют, существует ли организация, фотографируют фасады и вывески зданий или выступают в роли тайных покупателей, оценивая качество работы организации.
  • Опрос. Обычно они проводятся для сбора статистики или впечатлений о работе с каким-то сайтом или приложением.

Преимущества краудсорсинга

Владельцы бизнеса часто боятся переходить на работу с краудом. Их можно понять: руководители привыкли работать с ограниченным количеством исполнителей, знакомых лично. Они сами обучают сотрудников, следят за их развитием, каждый день встречают в офисе, общаются и доверяют им. Поменять этих почти родных людей на обезличенных исполнителей довольно страшно. Неизбежно возникают сомнения, кажется, что это хорошо работает только на чужих задачах. Но наш опыт показывает, что краудсорсинг имеет ряд преимуществ перед штатными сотрудниками:

Преимущества краудсорсинга
  • Толокеры живут в разных часовых поясах и выполняют задания в разное время, поэтому производство идёт без простоев, в режиме 24/7.
  • Такое производство легко масштабируется. Если объёмы работы сокращаются, исполнители просто переключаются на задачи других заказчиков — не нужно никого переобучать или увольнять. Если же объёмы внезапно увеличиваются, несложно обучить и запустить в проект больше исполнителей.
  • Кроме того, выполняя задания, люди делятся своим опытом, помогают заказчику взглянуть на его продукт с точки зрения обычного пользователя.

Толока в цифрах

1000 заданий выполнены за 10 минут, потрачено 2,4$.

Сравнение объектов бок-о-бок

1000 фотографий распределены за 15 минут, потрачено 1,2$.

Классификация объектов по пяти типам

100 фотографий размечены за 6 часов, выделено более 1000 объектов, потрачено 3,6$.

Выделение объектов на изображении

100 записей общей длительностью 25 минут расшифрованы за 20 минут, потрачено 6$.

Расшифровка аудиозаписей

Области применения краудсорсинга

Конечно, далеко не всю работу можно передать в крауд и полностью отказаться от штатных сотрудников, но в компании, наверняка, есть задачи, которые проще, быстрее и дешевле решить с помощью Толоки. Например, разметка изображений, расшифровка аудиозаписей, классификация объектов. Такие, на первый взгляд, простые задачи приводят к реализации глобальных проектов.

Изначально Толока создавалась для решения задач, связанных с машинным обучением. Для этих целей ее можно использовать и сейчас. Например, научить голосового помощника лучше распознавать речь и давать более уместные ответы, помочь поисковой системе максимально точно отвечать на запросы пользователей, обучить систему видеонаблюдения распознавать лица, а беспилотный автомобиль видеть объекты на дороге и правильно на них реагировать.

Для развития компьютерного зрения исполнителей просят выделить объекты на изображении. Это находит применение в компьютерной технике, в медицине для расшифровки снимков и даже в сфере услуг для подсчета количества человек в очереди.

Толока полезна владельцам сайтов, где пользователи могут оставлять комментарии или размещать контент. Исполнители будут выступать в роли модераторов и не пропустят нежелательную и запрещенную информацию.

Колл-центры часто обращаются в Толоку для распознавания речи на аудиозаписях.

Толокеры помогают интернет-магазинам, когда нужно добавить недостающие характеристики или распределить товары в каталоге по категориям.

Многие компании проводят аудит своих продуктов через Толоку. Для этой цели обычно используют опросы

Часто толокеры помогают при выборе названия продукта, рекламы или дизайна новых элементов интерфейса или всего сайта. Это можно делать в виде попарного сравнения, предложив исполнителям выбрать вариант, который им больше нравится.

Пользователи могут выступать в роли тайных покупателей. Они посетят магазин, салон красоты и любую другую организацию и оценят качество обслуживания, напишут отзывы и подкрепят их фотографиями.

Как бы фантастично это ни звучало, мы находимся на пороге новой эры, где искусственный интеллект будет использоваться практически во всех сферах жизни.

Чем более разнообразными и нетривиальными будут способы его применения, тем больше данных понадобится для обучения нейронной сети и больше ручного труда для их сбора. С другой стороны, чем лучше будут обучены алгоритмы, тем больше мелких однообразных задач удастся автоматизировать, освободив от них людей. С этой точки зрения Толока — первый шаг к тому, чтобы на собранных людьми данных обучать модели, автоматизировать процессы и высвобождать ресурсы высококлассных специалистов на решение высокоуровневых задач.