Клуб Народной карты

Народная модерация в 2018 году

akbars
24 января, 13:57

Всем привет!

Мы хотим подвести итоги народной модерации на сервисе в 2018-м году. Достижения отдельных народных модераторов были выделены в соответствующей номинации еще в декабре, в этом же посте в основном будут более общие цифры, удачные примеры модерации в разных зонах.

Главное в модерации — это, конечно, ее качество. Если описывать математически, это вероятность того, что допущенная ошибка будет замечена и исправлена (причем, если в правке с ошибкой есть полезная составляющая, то не путем отката), а корректно сделанная правка не будет отклонена.

И если оценивать цифры (и усреднять) — качество народной модерации на сервисе в 2018 году было очень высоким. Ошибки при модерации встречаются, совсем без них, наверное, невозможно, но статистика говорит, что на общем фоне доля ошибок очень мала — десятые доли процента. Основная причина ошибок при модерации — невнимательность, когда ошибка в правке остается незамеченной, и такая правка принимается. Другая, существенно более редкая, причина — это незнание отдельных аспектов Правил. В основном речь не про базовые стандарты, а про специфические моменты, которые встречаются нечасто, и в ходе собственного рисования модератор с ними может не сталкиваться вовсе. Для привлечения внимания к таким моментам разработаны, помимо прочего, тесты на знание Правил, которые перед получением прав проходят кандидаты в модераторы. Тесты, кстати, также нововведение 2018 года.

Помимо качества, двумя главными критериями хорошей модерации являются полнота и регулярность. Оба этих критерия «работают» на скорость проверки правок и, как следствие, попадания правок на карту. На основании именно этих критериев мы номинировали и награждали народных модераторов по итогам 2018 года, и победители в этих номинациях показали результат практически идеальный.
С точки зрения полноты это 97-98% правок, разбираемых местными народными модераторами.
С точки зрения регулярности — это модерация своих зон буквально каждый день (2-3 дня без модерации за год можно не учитывать). И все эти результаты — с учетом того, что у народного модератора, как и у всех, бывают отпуска, болезни, а то и просто временное отсутствие интернета.

Помимо победителей номинации «Модератор года», есть немало народных модераторов, у которых статистические показатели немного скромнее с точки зрения математики, но отличные с точки зрения модерации своих зон. Тех, кто в среднем модерирует 6 дней в неделю и чаще, — десятки (и это по итогам года, то есть за большой срок).

Приводим список лидеров по показателю регулярности, мы посчитали число дней 2018 года, когда модерировались правки. Очевидно, что этот показатель является корректным только для достаточно больших зон модерации, где новые правки есть каждый день.

ddr2504 — 364 дня
Fullback и WOG69 — 363 дня
ДимОлегыч — 362 дня
nogo1986 — 352 дня
ekbmap — 348 дней
vladimir-atyuska — 337 дней
Руслан — 335 дней
Alexxegorov — 331 день
Tim — 329 дней
megabitНикита Юшков и BeTaJIb — 327 дней

Если говорить про полноту модерации, то, помимо отмеченных Пермского края, Самарской и Нижегородской областей, есть немало регионов в России, Украине и Казахстане, где полнота разбора местными модераторами также очень высока. В лидерах:
республики Дагестан, Марий Эл, Удмуртия; Кировская, Курская, Саратовская, Свердловская, Смоленская, Тверская области в России, Житомирская и Луганская области в Украине, Актюбинская, Алматинская и Западно-Казахстанская области в Казахстане. В Беларуси наиболее активны модераторы Гродненской области, но и в ней полнота локальной модерации составляет меньше 50%.

Отдельно стоит отметить регионы, которые модерируют не местные жители, а те модераторы, которым эти регионы по тем или иным причинам интересны (кто-то там часто бывает, для кого-то это малая родина, а кому-то просто интересна страна или регион — ведь работа с картой позволяет узнать о местности много нового). В России чаще всего это регионы Сибири и Востока (например, Еврейская АО и Тыва), а среди стран, которые мы не делили на регионы и рассматривали целиком, безоговорочным лидером является Эстония.

Если регулярность модерации определяется только возможностями самого модератора, то полнота — еще и слоями, на которые выданы права. Цифры в 97-98%, приведенные выше, учитывают все слои объектов. Однако «массовость» как рисования, так и модерации очень сильно отличается от слоя к слою.

Так, здания — самый популярный слой на НЯК, в нем делается больше всего правок. Но это же и один из самых простых слоев — обычно рисовать домики без ошибок народные картографы учатся быстро, получают статус эксперта, и первичную модерацию правки таких пользователей больше не проходят. Поэтому в очередях модерации больше всего правок — в слое дорог, который заметно сложнее зданий.

Мы посмотрели на слои, с которых чаще всего начинали новые модераторы в 2018 году. На первом месте с большим отрывом — здания, далее, с близкими результатами, — адреса и подъезды, на четвертом месте — дороги.

А вообще, если говорить о комплексной модерации, то подавляющее большинство правок в очередях модерации приходится на 8 слоев: дороги (39%), здания (22%), адреса (10%), места (7%), растительность (6%), гидрография (3%), подъезды и территории (по 2%). И чтобы следить за порядком на карте в своем регионе, следует ориентироваться прежде всего на модерацию в этих слоях.

Особняком стоят транспортные слои. Зачастую и рисование, и модерация в них является основным интересом пользователей на сервисе, а потому немало модераторов (в том числе и тех, кто получил права в прошлом году), которые модерируют только транспорт.

А часть слоев, наоборот, являются «смежными», правки в них соседствуют при рисовании. При модерации также удобнее разбирать эти слои вместе (рекомендуем и при запросе прав указывать эти слои вместе):

 — слои, имеющие отношение к маршрутизации (дороги, условия движения, парковки);

 — слои, имеющие отношение к адресации (адреса и подъезды);

 — слои, относящиеся к «зонированию» местности (территории и заборы).

А вот права на слои растительности и гидрографии и так (как показывают результаты прошлого года) чаще всего просят вместе.

В завершение поста мы хотим еще раз поблагодарить за продуктивную модерацию всех, кто проверял правки на Народной карте в 2018 году и (все-таки не получилось удержаться от личных достижений) привести список лидеров по общему количеству разобранных заданий на модерацию (учитывались как правки, так и жалобы с запросами на удаление): WOG69, ДимОлегыч, Fullback, alexfox, Yet another Forrest, Манъ, nogo1986, coolbuck, ekbmap, manwithmap, Вова Ш., Вайнон, Lex, megabit, mshibankov, Alexxegorov — каждый из них промодерировал более 30 тысяч заданий!

24 комментария
Павел 1985
24 января, 15:07
Молодцы! :)
А для меня 2018 год стал значимым в области стройки.
Открытие различных развязок в моем регионе дало очень плотное сотрудничество с отделом маршрутизации. Очень много приходилось получать информации выезжая на место и снимать все там детально для переноса на карту.


Отдельное спасибо Сергею Художникову за оперативность блокировки и еще кучу всяких плюшек :)
akbars
Сотрудник Яндекса24 января, 16:54
MaXiMyS,
строительство и открытие Крымского моста, конечно увеличило динамику дорожного строительства и в регионе в целом. Так что спасибо большое за оперативные обновления карты.
Сколько в Житомирской области рисуют не модераторы? Неужели так много?
Семён Федотов
24 января, 18:34
Котик,
бывает по 100 правок в день, но очень нерегулярно — околодвух трёх раз в месяц. Но стараюсь разобрать сразу же, не откладывая.
Семён Федотов,
местные рисуют?
Семён Федотов
24 января, 21:49
Котик,
не могу дать точный ответ на этот вопрос, поскольку не интересовался. Но в общем — чаще те, которые знают местность, чем зашедшие на Житомирщину «просто где-то порисовать».
vol.stepanenko2012
29 января, 02:00
Семён Федотов,
А что будете делать, когда Житомирскую область отменят и будет, например, Киевский регион? Будете править новые территории?
Обновлено 29 января, 02:01
Семён Федотов
29 января, 02:31
vol.stepanenko2012,
как «что»? Модерировать, конечно же!
Нда, правки по условиям движения висят по несколько дней, а дороги апрувятся довольно таки быстро
Никита Юшков
25 января, 02:12
gvgvlg,
потому что по дорогам Вы эксперт, правки первичную модерацию проходят автоматически, а вот условия движения "летят" к нам, и по ним частенько возникают вопросы, поэтому эти правки остаются в очереди подольше (к примеру, вчера на уточнение ушёл вопрос одному из местных модераторов от меня, так как по снимкам ситуация была неоднозначна). Но в целом в ближайшую неделю задержек более дня не должно быть в Волгоградской и Саратовской области (у меня каникулы =) ).
Никита Юшков,
 Ок. молча только не отклоняйте (просьба ко всем)
Неожиданно что я есть в этом списке :)
Никита Юшков
25 января, 02:13
✌BeTaJIb,
аналогично)
Все молодцы!  Процветания.
(плетел дпльше)
qr2100 (AS VLG)
26 января, 10:20
Пожелание. Можно сделать тесты доступными для модераторов всё время? Чтобы можно было самого себя проверять постоянно.
akbars
Сотрудник Яндекса28 января, 10:22
qr2100 (AS VLG),
сейчас в тестах некоторый запас вопросов, написанных "вручную". В ряде слоёв он больше, чем количество вопросов в тесте, и при повторных прохождениях тестов набор вопросов будет разный, тем не менее, доступность вопросов в определенной степени снижает надежность тестов как инструмента контроля знаний. 
Впрочем, важность и самоконтроля знания Правил тоже важна, мы подумаем, как дать всем желающим и такую возможность. Будем рады и вашим предложениям в этом контексте.
ну наконец-то попал хоть в какой-то рейтинг)))
Эх все это конечно хорошо, но облом с командировками от 2-до 25 дней, валят всю мою статистику. Даже в этом посте если приглядеться на карту у Курской области 99% разбора :)



akbars
Сотрудник Яндекса30 января, 13:31
MaXsus.sl,
видимо в то время, которое учтено на скриншоте - было мало командировок (или много интернета и времени в командировках).
akbars,
в командировках бывает интернет (не всегда) но компьютера или планшета (на худой конец) под рукой нету.
vladimir-atyuska
5 февраля, 17:36
Ну круто ) 
vladimir-atyuska
15 февраля, 17:51
Посылка получена. еще не вскрывал ) 
Спасибо за подарки! :)