Правки Домового 14-15 января

Яблоко

28 января 2019, 15:36

Приветствую! 14 и 15 января Домовой нарисовал огромное количество жилых домиков, в каждом регионе обработав по нескольку населённых пунктов. Думаю, если не все, то большинство так или иначе столкнулось с результатами его деятельности — жилыми зданиями были отмечены водоёмы, разрушенные сараи, вагоны поездов и изгибы рельефа в карьерах…

Возник резонный вопрос — а что со всем этим ужасом делать? Посовещавшись в чате telegram среди народных картографов было принято решение ничего не трогать, так как, если верить этому посту, за его трудами следят, и рано или поздно сотрудники всё исправят, как надо.

Но время шло, и сейчас, спустя почти две недели, большая часть работ Домового так и не исправлена, а та, что исправлена — по большей части, дело рук самих народных картографов. Судя по всему, расправляться с этим придётся самим пользователям народной карты, но, раз так, зачем было давать автоподтверждение Домовому, почему не пропустить все его правки через народных модераторов?

И что делать теперь?

Пишу пост с целью узнать мнение коллег по этому поводу, и ~~услышать~~ увидеть комментарии от сотрудников.

15 комментариев

Авторизуйтесь, чтобы оставить комментарий

Lobov Sergey

Сотрудник Яндекса28 января 2019, 15:36

Основные замечания к "работе" Домового в рамках большой заливки, о которой идет речь в посте были следующие:
- Домовой не проставляет высоту
- Домовой распознал все жилыми зданиями, на самом деле многие из этих зданий - не жилые
- Домовой "криво" распознал часть зданий
- Домовой распознал в качестве зданий не здания, а другие объекты.

Что мы делали с этими замечаниями?
- у ряда зданий был изменен тип, в основном - на "постройку, сооружение" и "промышленность", но и другие категории тоже встречаются. Где-то тип менялся автоматически (ориентировались на размеры зданий, на нахождение зданий на определенных территориях), где-то вручную.
- обнаруженные баги самой детекции мы используем для обучения Домового. Ряд таких объектов отредактирован или удален при проверках.
Помощь народных картографов, как в корректировке типа зданий, так и их геометрии, также была очень велика, спасибо всем, кто вносил исправления, а также оставлял фидбек (особенно по поводу геометрии объектов).

dikiy

29 января 2019, 13:06

Lobov Sergey,

а я все эти правки, что попали в зону моего интереса пропустил, думая, что не стоит мешать настройке ИИ. Но видимо я ошибся. Теперь буду копать историю и выяснять что там так или не так было. :-)

Lobov Sergey

Сотрудник Яндекса29 января 2019, 13:15

dikiy,

в полной мере ИИ сам себя не настроит, вернее не дообучит, к сожалению.

☭ Капита ль Мар

28 января 2019, 16:01

Земельные участки , то бишь огороды , были размечены "жилыми" зданиями.

Сергей

28 января 2019, 16:07

Исправят? Ахаха наивный)

kirill1303

28 января 2019, 20:46

Сергей,

в моём регионе несколько аутсорсеров появилось по следам Домового спустя несколько дней, мне было удобно по их следам проставлять адреса, получая таким образом готовую карту)

Сергей

28 января 2019, 20:52

kirill1303,

Да у них все что не домик то жилой.

☭Okclick

28 января 2019, 16:56

Две недели при таком масштабном количестве правок — не срок. Скорее всего, на ревизию правок Домового уйдут месяцы, и, скорее всего, в реальности силами сотрудников получится проверить далеко не 100% всех правок.
Мне представляется, что работа Домового в первую очередь будет оцениваться по результатам именно его правок, а не по конечному состоянию объектов, которые впоследствии были исправлены другими пользователями. Но, тем не менее, такие уточняющие правки могут быть использованы для совершенствования алгоритма распознавания зданий.
Поэтому я считаю, что не только не нужно стесняться исправлять объекты Домового, но это нужно делать обязательно, и желательно дополнительно сообщать о самых вопиющих его косяках, когда зданием обозначаются объекты, очевидно таковыми не являющиеся.
Если я ошибаюсь, пусть сотрудники меня поправят.

Lobov Sergey

Сотрудник Яндекса29 января 2019, 13:11

☭Okclick,

выявить правки геометрии зданий, нарисованных Домовым (в течение какого-то периода после распознавания) - можно. Так что качество работы нейросети оценивается не только по тем объектам, которые были загружены.
Мы собираем фидбек об ошибочных распознаваниях, чтобы дообучить на этих данных Домового и уменьшить количество таких ошибок в дальнейшем.
Так что основное содержание комментария - абсолютно справедливое.
Ещё добавлю, что важно не смешивать в одну кучу разные ошибки Домового. Так, основное - это определение геометрии, и именно тут возможно дообучение алгоритма.
Вопрос правильной простановки типа - отдельная задача, которую скорее всего будет проще решать исходя не из геометрии здания как таковой, а других факторов (размеров здания, расположения его на определенной территории).

Talai

29 января 2019, 17:27

Lobov Sergey,

По следам домового пустили аутсорсеров, которые в свою очередь не могут отличить снесённое здание от обычного, постройки от жилых зданий и т. д. Откровенный бред домового они немного почистили, но тут же создают подобное, например несуществующее здание .

bob

29 января 2019, 12:51

Огороды, грузовики, вагоны, хоккейные коробки, газоны.

bob

31 января 2019, 12:19

корабли

Андрей А.

30 января 2019, 19:11

Жилые цеха заводов, складские помещения универбазы и воздушные дома (не существующие в реальности).

Последний раз такой урон по городу Шумерля (Чувашия) наносил робот в начале 2018г.), который на пятиэтажки расставлял номера двухэтажных бараков (снесенных в 2010-2015) Шумерлинского комбината автофургонов и Горьковской ЖД.

Эос

1 февраля 2019, 10:12

Уже несколько месяцев рисую Англию. По карте дорог, которую когда-то нарисовал Робот. Так вот, лучше бы их вообще не было, чем пытаться переложить и переименовать то, что там нарисовано. Особенно места, где он одну и ту же трассу нарисовал по нескольку раз и она получилась косичкой в сто пересечений на квадратный метр, да еще с ограничениями движений на половине перекрестков. Сотрудники-то могут просто это удалить, а простым пользователям все эти кусочки надо куда-то переложить, чтобы нарисовать чистую красивую дорогу. То же касается и русл рек и групп озер и зон растительности и границ населенных пунктов.
Поэтому, если там еще и здания отрисуются как видит Домовой, то ахтунг будет полный, потому что там нет ни одного ровного здания, особенно это качается старых городов типа Оксфорда и Кембриджа, где здания исторические и исправлять тогда придется вообще каждое.

Обновлено 1 февраля 2019, 10:13

Никита Тутынин

16 февраля 2019, 18:28

Эос,

Полностью с Вами согласен. Я отрисовываю Северную Ирландию. Ни одной дороги ровно по карте нет. Один город Антрим чего стоит. Да и Белфаст не лучше.