Клуб Народной карты

Правки Домового 14-15 января

Яблоко
28 января, 15:36

Приветствую! 14 и 15 января Домовой нарисовал огромное количество жилых домиков, в каждом регионе обработав по нескольку населённых пунктов. Думаю, если не все, то большинство так или иначе столкнулось с результатами его деятельности — жилыми зданиями были отмечены водоёмы, разрушенные сараи, вагоны поездов и изгибы рельефа в карьерах…

Возник резонный вопрос — а что со всем этим ужасом делать? Посовещавшись в чате telegram среди народных картографов было принято решение ничего не трогать, так как, если верить этому посту, за его трудами следят, и рано или поздно сотрудники всё исправят, как надо.

Но время шло, и сейчас, спустя почти две недели, большая часть работ Домового так и не исправлена, а та, что исправлена — по большей части, дело рук самих народных картографов. Судя по всему, расправляться с этим придётся самим пользователям народной карты, но, раз так, зачем было давать автоподтверждение Домовому, почему не пропустить все его правки через народных модераторов?

И что делать теперь?

Пишу пост с целью узнать мнение коллег по этому поводу, и услышать увидеть комментарии от сотрудников.

15 комментариев
akbars
Сотрудник Яндекса28 января, 15:36
Основные замечания к "работе" Домового в рамках большой заливки, о которой идет речь в посте были следующие:
 - Домовой не проставляет высоту
 - Домовой распознал все жилыми зданиями, на самом деле многие из этих зданий - не жилые
 - Домовой "криво" распознал часть зданий
 - Домовой распознал в качестве зданий не здания, а другие объекты.


Что мы делали с этими замечаниями?
 - у ряда зданий был изменен тип, в основном - на "постройку, сооружение" и "промышленность", но и другие категории тоже встречаются. Где-то тип менялся автоматически (ориентировались на размеры зданий, на нахождение зданий на определенных территориях), где-то вручную. 
 - обнаруженные баги самой детекции мы используем для обучения Домового. Ряд таких объектов отредактирован или удален при проверках.
Помощь народных картографов, как в корректировке типа зданий, так и их геометрии, также была очень велика, спасибо всем, кто вносил исправления, а также оставлял фидбек (особенно по поводу геометрии объектов).
akbars,
а я все эти правки, что попали в зону моего интереса пропустил, думая, что не стоит мешать настройке ИИ. Но видимо я ошибся. Теперь буду копать историю и выяснять что там так или не так было. :-)
akbars
Сотрудник Яндекса29 января, 13:15
dikiy,
в полной мере ИИ сам себя не настроит, вернее не дообучит, к сожалению.
6 ч. раб. день
28 января, 16:01
Земельные участки , то бишь огороды , были размечены "жилыми" зданиями.
Исправят? Ахаха наивный) 
Сергей,
в моём регионе несколько аутсорсеров появилось по следам Домового спустя несколько дней, мне было удобно по их следам проставлять адреса, получая таким образом готовую карту)
kirill1303,
Да у них все что не домик то жилой. 
Две недели при таком масштабном количестве правок — не срок. Скорее всего, на ревизию правок Домового уйдут месяцы, и, скорее всего, в реальности силами сотрудников получится проверить далеко не 100% всех правок. 
Мне представляется, что работа Домового в первую очередь будет оцениваться по результатам именно его правок, а не по конечному состоянию объектов, которые впоследствии были исправлены другими пользователями. Но, тем не менее, такие уточняющие правки могут быть использованы для совершенствования алгоритма распознавания зданий.
Поэтому я считаю, что не только не нужно стесняться исправлять объекты Домового, но это нужно делать обязательно, и желательно дополнительно сообщать о самых вопиющих его косяках, когда зданием обозначаются объекты, очевидно таковыми не являющиеся.
Если я ошибаюсь, пусть сотрудники меня поправят.
akbars
Сотрудник Яндекса29 января, 13:11
☭Okclick,
выявить правки геометрии зданий, нарисованных Домовым (в течение какого-то периода после распознавания) - можно. Так что качество работы нейросети оценивается не только по тем объектам, которые были загружены. 
Мы собираем фидбек об ошибочных распознаваниях, чтобы дообучить на этих данных Домового и уменьшить количество таких ошибок в дальнейшем.
Так что основное содержание комментария - абсолютно справедливое.
Ещё добавлю, что важно не смешивать в одну кучу разные ошибки Домового. Так, основное - это определение геометрии, и именно тут возможно дообучение алгоритма.
Вопрос правильной простановки типа - отдельная задача, которую скорее всего будет проще решать исходя не из геометрии здания как таковой, а других факторов (размеров здания, расположения его на определенной территории).
akbars,
По следам домового пустили аутсорсеров, которые в свою очередь не могут отличить снесённое здание от обычного, постройки от жилых зданий и т. д.  Откровенный бред домового они немного почистили, но тут же создают подобное, например несуществующее здание . 
Огороды, грузовики, вагоны, хоккейные коробки, газоны.
корабли
Жилые цеха заводов, складские помещения универбазы и воздушные дома (не существующие в реальности).

Последний раз такой урон по городу Шумерля (Чувашия) наносил робот в начале 2018г.), который на пятиэтажки расставлял номера двухэтажных бараков (снесенных в 2010-2015) Шумерлинского комбината автофургонов и Горьковской ЖД.
Уже несколько месяцев рисую Англию. По карте дорог, которую когда-то нарисовал Робот. Так вот, лучше бы их вообще не было, чем пытаться переложить и переименовать то, что там нарисовано. Особенно места, где он одну и ту же трассу нарисовал по нескольку раз и она получилась косичкой в сто пересечений на квадратный метр, да еще с ограничениями движений на половине перекрестков. Сотрудники-то могут просто это удалить, а простым пользователям все эти кусочки надо куда-то переложить, чтобы нарисовать чистую красивую дорогу. То же касается и русл рек и групп озер и зон растительности и границ населенных пунктов.
Поэтому, если там еще и здания отрисуются как видит Домовой, то ахтунг будет полный, потому что там нет ни одного ровного здания, особенно это качается старых городов типа Оксфорда и Кембриджа, где здания исторические и исправлять тогда придется вообще каждое.
Обновлено 1 февраля, 10:13
Эос,
 Полностью с Вами согласен. Я отрисовываю Северную Ирландию. Ни одной дороги ровно по карте нет. Один город Антрим чего стоит. Да и Белфаст не лучше.