Клуб Народной карты

Статистика модераторской активности: регионы РФ

akbars
3 октября, 16:43

Всем привет!

Мы иногда пишем про знаковые статистические достижения активно рисующих народных картографов. Но, как оказалось, очень редко рассказываем в этом ключе про активность народных модераторов, а качественная модерация не менее важна чем непосредственно рисование.

Исправлять ситуацию начнем в этом посте и впредь постараемся писать про модераторов регулярнее.

Пока в Народной карте нет отдельных статистических инструментов для модераторов, кроме счетчика задач, промодерированных сегодня (каждый модератор видит число правок, разобранных лично им).

Чтобы понять общую картину активности народных модераторов, мы посмотрели данные с начала 2018 года и ниже поделимся некоторыми выводами. 

Ситуация с модерацией правок народных картографов очень сильно различается не только в разных странах, но и от региона к региону. В этом посте примеры и цифры будут касаться России (а интересными фактами о модерации в других странах мы поделимся отдельно).

В Народной карте есть топ пользователей, один из его основных плюсов заключается в простоте: считается только один параметр — количество правок. Когда мы подумали о статистике применительно к модерации, то поняли, что одним критерием обойтись явно не получится: «стили» модерации и зоны модерации очень сильно отличаются.

Можно выделить три основных подхода:

·         считать количество промодерированных задач

·         считать регулярность и полноту модерации

·         считать качество модерации

Ограничения первого подхода понятны — число задач в очереди модерации напрямую зависит от размера зоны модерации и активности пользователей. В небольшой зоне за неделю может быть меньше задач на модерацию, чем в большой за сутки. Если в зоне проходит совред или появляется 2-3 активных пользователя, число задач в очереди может вырасти на порядок.

Особенности второго подхода почти обратные. В небольшой зоне не очень сложно модерировать 100% задач, заходя на сервис раз в день. Количество правок невелико, а «сложные» случаи, требующие уточнений или проверки по дополнительным источникам — встречаются редко. Если речь идёт про модерацию целого региона с большой активностью, то разбор половины правок в нём потребует заметно больше времени. А это очень важный критерий, поскольку скорость попадания внесенных изменений в продукты Яндекса сейчас особенно важна.
Самым объективным показателем регулярности модерации оказалась доля правок, которая разбирается народными модераторами. Не секрет, что сотрудники картографического производства приглядывают за зонами, где народных модераторов нет, также коллеги разбирают задачи в зонах, где они излишне «стареют». Уже несколько дней ожидания модерации сейчас — очень большой срок. Но практически всегда местный модератор, проживающий сам в регионе или хорошо его знающий, следящий за изменениями в нём не только на карте, но и в жизни — самый лучший человек для проверки правок.

«Качество» модерации — показывает долю промодерированных правок, где ни живые люди, ни алгоритмы внутри картографического производства не нашли ошибок. В этом посте подробно этот подход обсуждать не будем: ошибки, конечно, встречаются у всех живых людей, но если говорить именно об ошибках при модерации, то их число очень мало относительно общего числа правок.

Выше мы говорили о больших различиях между регионами с точки зрения модерации, и переходя от теории к практике, давайте посмотрим на карту народной модерации России. Она основана на применении второго из описанных выше подходов к подсчету статистики и показывает долю правок по регионам, которая проверена народными модераторами. На карте отражены данные за только что закончившийся сентябрь.

Цвет региона отражает долю правок, которую проверили народные модераторы, цифра обозначает эту долю в процентах. Карта дает достаточно наглядное представление о характере модерации в регионах. Явным образом выделяется «пояс» регионов в Центральном, Приволжском и Уральском федеральных округах с активными народными модераторами.

Но важно отметить, что сравнивать между собой регионы только по цвету не всегда корректно. К примеру, сравним два региона Южного федерального округа: Краснодарский край и Калмыкию: процент разбора народными модераторами в Калмыкии выше в 4.5 раза — 31% против 7%. Но количество задач, попавших в очередь модерации в Краснодарском крае — больше почти в 100 раз.

Для понимания масштабов активности в регионах мы приводим ещё одну карту (данные также за сентябрь).

Цвет региона показывает количество задач в очередях модерации. Чем больше правок — тем более зеленый цвет имеет регион. Обращаем внимание, что на карте отражено количество правок, попадающих в очереди, а не общее их число, сделанное в регионе. Правки народных модераторов и экспертов в соответствующих слоях не проходят модерацию, а сразу попадают на проверку в картографическое производство и на данной карте не учитываются.

Продолжение разговора о модераторской активности и статистике — в следующих сериях. Поговорим о ситуации за пределами России, а также о достижениях конкретных народных модераторов.

15 комментариев
Интересная статистика.
хех, Крым потеряли...
podmotal,
Россия большая страна.
podmotal,
зато пропагандистам нет к чему придраться. Хотя... Они всегда придумают, какую гадость рассказать. А то рассказывать о том, какой плохой Яндекс, они любят.
Котик,
да я не о пропаганде, а о том, что в Крыму тоже есть народные модераторы, которые трудятся не покладая сил, и вот им может быть  слегка обидно, что про них забыли.
akbars
Сотрудник Яндекса4 октября, 13:45
podmotal,
верю, что читатели поста не будут искать политический подтекст в границах обрезки скриншотов.
Но раз вопрос о народных модераторах в Крыму поднят, то можно сказать, что доля народной модерации в Крыму - 1%. 
При этом число правок в регионе очень большое, примерно как в соседнем Краснодарском крае - по числу правок, попадающих на модерацию, Крым в пятерке лидеров по стране.
Курская область 99% это Вам не хухры-мухры.
Наше старе село
3 октября, 21:35
MaXsus.sl,
Правильнее "Вухры-Мохры"
Наше старе село,
Я это на своем "Курском" диалекте :)
Наше старе село
3 октября, 23:18
MaXsus.sl,
Недавно узнал, что на Суджанщине совсем другой говор, чем на остальной Курщине с южнорусским говором. И улицы там в селах именованы соответственно, как видно на НЯК
Наше старе село
3 октября, 21:34
А Крым и Курилы?
akbars
Сотрудник Яндекса4 октября, 13:47
Наше старе село,
про Крым ответил выше.
Курилы являются частью Сахалинской области и статистика по ним общая, при этом львиная доля правок в регионе делается на "основном" острове - Сахалине.
Обновлено 4 октября, 14:19
если сравнить цвета на двух схемах, то Удмуртия, Екб, Пермь и Тверь самый топ: и правок много, и модерация не спит
Обновлено 4 октября, 10:40
akbars
Сотрудник Яндекса4 октября, 13:49
manwithmap,
и Нижегородская область ещё.
Кажется, пора мне брать в модерацию вторую половину Татарстана, чтобы исправить показатели.