Всем привет!

Мы иногда пишем про знаковые статистические достижения активно рисующих народных картографов. Но, как оказалось, очень редко рассказываем в этом ключе про активность народных модераторов, а качественная модерация не менее важна чем непосредственно рисование.

Исправлять ситуацию начнем в этом посте и впредь постараемся писать про модераторов регулярнее.

Пока в Народной карте нет отдельных статистических инструментов для модераторов, кроме счетчика задач, промодерированных сегодня (каждый модератор видит число правок, разобранных лично им).

Чтобы понять общую картину активности народных модераторов, мы посмотрели данные с начала 2018 года и ниже поделимся некоторыми выводами. 

Ситуация с модерацией правок народных картографов очень сильно различается не только в разных странах, но и от региона к региону. В этом посте примеры и цифры будут касаться России (а интересными фактами о модерации в других странах мы поделимся отдельно).

В Народной карте есть топ пользователей, один из его основных плюсов заключается в простоте: считается только один параметр — количество правок. Когда мы подумали о статистике применительно к модерации, то поняли, что одним критерием обойтись явно не получится: «стили» модерации и зоны модерации очень сильно отличаются.

Можно выделить три основных подхода:

·         считать количество промодерированных задач

·         считать регулярность и полноту модерации

·         считать качество модерации

Ограничения первого подхода понятны — число задач в очереди модерации напрямую зависит от размера зоны модерации и активности пользователей. В небольшой зоне за неделю может быть меньше задач на модерацию, чем в большой за сутки. Если в зоне проходит совред или появляется 2-3 активных пользователя, число задач в очереди может вырасти на порядок.

Особенности второго подхода почти обратные. В небольшой зоне не очень сложно модерировать 100% задач, заходя на сервис раз в день. Количество правок невелико, а «сложные» случаи, требующие уточнений или проверки по дополнительным источникам — встречаются редко. Если речь идёт про модерацию целого региона с большой активностью, то разбор половины правок в нём потребует заметно больше времени. А это очень важный критерий, поскольку скорость попадания внесенных изменений в продукты Яндекса сейчас особенно важна.
Самым объективным показателем регулярности модерации оказалась доля правок, которая разбирается народными модераторами. Не секрет, что сотрудники картографического производства приглядывают за зонами, где народных модераторов нет, также коллеги разбирают задачи в зонах, где они излишне «стареют». Уже несколько дней ожидания модерации сейчас — очень большой срок. Но практически всегда местный модератор, проживающий сам в регионе или хорошо его знающий, следящий за изменениями в нём не только на карте, но и в жизни — самый лучший человек для проверки правок.

«Качество» модерации — показывает долю промодерированных правок, где ни живые люди, ни алгоритмы внутри картографического производства не нашли ошибок. В этом посте подробно этот подход обсуждать не будем: ошибки, конечно, встречаются у всех живых людей, но если говорить именно об ошибках при модерации, то их число очень мало относительно общего числа правок.

Выше мы говорили о больших различиях между регионами с точки зрения модерации, и переходя от теории к практике, давайте посмотрим на карту народной модерации России. Она основана на применении второго из описанных выше подходов к подсчету статистики и показывает долю правок по регионам, которая проверена народными модераторами. На карте отражены данные за только что закончившийся сентябрь.

Цвет региона отражает долю правок, которую проверили народные модераторы, цифра обозначает эту долю в процентах. Карта дает достаточно наглядное представление о характере модерации в регионах. Явным образом выделяется «пояс» регионов в Центральном, Приволжском и Уральском федеральных округах с активными народными модераторами.

Но важно отметить, что сравнивать между собой регионы только по цвету не всегда корректно. К примеру, сравним два региона Южного федерального округа: Краснодарский край и Калмыкию: процент разбора народными модераторами в Калмыкии выше в 4.5 раза — 31% против 7%. Но количество задач, попавших в очередь модерации в Краснодарском крае — больше почти в 100 раз.

Для понимания масштабов активности в регионах мы приводим ещё одну карту (данные также за сентябрь).

Цвет региона показывает количество задач в очередях модерации. Чем больше правок — тем более зеленый цвет имеет регион. Обращаем внимание, что на карте отражено количество правок, попадающих в очереди, а не общее их число, сделанное в регионе. Правки народных модераторов и экспертов в соответствующих слоях не проходят модерацию, а сразу попадают на проверку в картографическое производство и на данной карте не учитываются.