Толока

Краудсорсинг и Толока

Краудсорсинг — это способ организации рабочего процесса, в котором большая высокоуровневая задача делится на множество типовых подзадач. Их выполняет большое количество независимых друг от друга исполнителей. Каждый делает одно или несколько простых заданий, и это приводит к решению высокоуровневой задачи. Иначе говоря, краудсорсинг — это замена экспертизы одного специалиста на «мудрость толпы».

Что такое краудсорсинг?

Можно привести множество примеров, когда крупные компании обращаются к краудсорсингу.

  • Производитель футболок Threadless еженедельно проводит онлайн-конкурс, где любой желающий может представить свой принт. Победители получают денежное вознаграждение, и их дизайн попадает в производство.
  • Проект eBird использует ресурсы любителей для наблюдения за птицами.
  • Японский производитель бытовых товаров Muji собирает от пользователей идеи для новой продукции.
  • Википедия создается силами волонтеров по всему миру.
  • Даже NASA работает с краудом для анализа снимков космических объектов.

В блоге мы расскажем, как построена работа с краудом в Яндексе, для чего нужна платформа Толока и как ее могут использовать для решения своих задач другие компании.

Краудсорсинг в Яндексе

В Яндексе работа с краудом началась примерно 10 лет назад, когда для ранжирования результатов поиска стали использовать машинное обучение. Тогда в Яндексе появились асессоры — удаленные сотрудники со сдельной оплатой труда. Они оценивали качество поисковой выдачи. Отсюда и название: assessment по-английски — «оценка». На основании полученных данных автоматические алгоритмы обучались ранжировать результаты поиска, то есть выстраивать их по соответствию запросу.

Вскоре мы поняли, что чем больше данных удастся собрать, тем лучше будет работать модель, а значит, поисковая система будет лучше отвечать на запросы пользователей. Но если данные собирают люди — значит, нам нужно больше людей.

И вот здесь начались сложности. Людей надо отбирать, нанимать, контролировать, мотивировать… А для этого нужны руководители, кураторы, HR-менеджеры, количество которых должно расти с увеличением числа сотрудников. В результате за большим количеством управленческих задач наша главная задача — сбор данных — отходит на второй план.

Когда мы это поняли, начали перестраивать рабочие процессы так, чтобы главным критерием была масштабируемость. Задачи дробятся на множество мелких и дальше распределяются по уровням компетенций. Каждый более высокий уровень пирамиды занимается только тем, что нельзя сделать на более низком уровне.

Универсальная схема масштабирования

На вершине этой пирамиды находятся сотрудники, которые работают в офисе полный рабочий день. Их совсем немного, они управляют производственными цепочками, в которых задействованы тысячи человек.

Наши асессоры теперь не только оценивают релевантность поисковой выдачи, но и выполняют более сложные высокоуровневые задачи, занимаются внутренними проектами. Самые активные и талантливые из них становятся кураторами. Они помогают в работе другим асессорам, обучают, консультируют и проверяют их работу.

Остальные, более простые задачи мы передаём в Толоку. Изначально эта краудсорсинговая платформа создавалась для нужд Яндекса, но сейчас любой желающий может зарегистрироваться как заказчик и размещать свои задания.

Всего в сервисе зарегистрировано больше двух миллионов исполнителей — толокеров. Каждый день 15–20 тысяч человек выполняют здесь сотни разных заданий. Можно сказать, это крупный город, где Толока является градообразующим предприятием.

Мы продолжаем работать над тем, чтобы все новые и новые задачи спускались ниже по пирамиде от асессоров в Толоку, а затем автоматизировались. По такой схеме организуется и масштабируется производство в самых разных направлениях Яндекса: копирайтинге, техподдержке, модерации, маркетинговых исследованиях, ручном тестировании, выборе дизайна, переводах и так далее.

О том, как устроена Толока, как и для чего её можно использовать, в чём преимущество краудсорсинга перед штатными сотрудниками мы расскажем в следующем посте.