Клуб Народной карты

Интеграция Народной карты со Справочником. Текущий статус

akbars
14 декабря 2018, 10:17

Всем привет!

Два месяца назад в Клубе был опубликован пост про взаимодействие Справочника организаций и Народной карты. В нем мы, в частности, обещали регулярно делиться новостями, и текущий пост — как раз про это.

Сегодня мы расскажем про уже сделанное в процессе интеграции Народной карты и Справочника, а также немного про будущее.

Интеграция со Справочником проще в том, что затрагивает только один слой объектов — «Места». А сложнее в том, что изначальные отличия в форматах данных и способах работы с ними — очень велики, в отличие от приведенных выше примеров.

Работа с организациями — это лишь часть комплексного редактирования карты, когда одновременно делаются правки в нескольких слоях объектов. Поэтому важным принципом, в рамках которого мы работаем над интеграцией, — остается сохранение удобного редактирования организаций в Народной карте, несмотря на звучащие иногда призывы «пусть все организации правятся в Справочнике».

Далее пройдемся по отдельным составляющим общего процесса:

Объекты в целом

Важно помнить, что в двух базах данных могут различаться не только данные о конкретных объектах, но и сами наборы объектов: объекты слоя «Места» в Народной карте и карточки Справочника. Последнее различие приводит к ряду сложностей.

В предыдущем посте мы рассказывали о каналах информации, по которым данные об организациях поступают в Справочник. В большинстве случаев изменения, информация о которых получена, вносятся непосредственно в карточки Справочника. Народная карта отличается тем, что изменения вносятся в наши «собственные» объекты, и как следствие могут возникнуть сложности с синхронизацией данных.

Объекты НЯК и Справочника могут соотноситься следующим образом:

·         Есть объект НЯК и карточка Справочника относящиеся к одной организации (организация открыта и работает), они привязаны друг к другу, причем эта связь — единственная для обоих объектов. Вариант, когда есть объект НЯК, а соответствующей карточки в Справочнике нет, можно отнести сюда же, поскольку в рамках ежедневной синхронизации такая карточка в Справочнике появится. Это идеальный вариант, именно к нему мы стремимся в большинстве случаев.

·         Есть карточка Справочника, но нет соответствующего объекта НЯК. Таких организаций очень много, далеко не все из них мы хотим показывать на подложке карты. Вариант синхронизации, когда сотни тысяч подобных объектов будут загружены на НЯК — не идеальный: карта, особенно в крупных городах, просто «утонет» в большом количестве «коммерческих организаций, фирм».

·         Также встречаются иные комбинации объектов НЯК и карточек Справочника, как правило все они содержат ошибки, которые мы стараемся находить и исправлять. Это подготовительная работа для введения обратной синхронизации объектов Справочника и Народной карты. Ниже подробно рассказано про четыре самых распространенных вида подобных ошибочных комбинаций, которые или уже исправлены, или находятся в процессе исправления.

1.       Ошибочная привязка. Это ситуация, когда к карточке Справочника привязаны один или несколько объектов НЯК и это разные организации. Как такие случаи могли появиться? Например, в результате ошибочной привязки при редактировании организации. Или при изменении карточки Справочника без изменения привязки. Или могли ошибиться алгоритмы. В таких случаях в идеале нужно определить неверную привязку и удалить ее, а если не получается — удалить обе привязки, что, скорее всего, приведет к устранению ошибки в Картах. Эта работа сейчас в процессе.

2.       Дублирующая привязка. Это ситуация, когда к карточке Справочника привязано больше одного объекта НЯК и это одна организация (в отличие от предыдущего пункта). Нередко в Народной карте организация бывает размечена подробно, отдельными точками показаны отдельные корпуса, отделения больниц, факультеты университетов и т. п. В Справочнике же не всегда существуют отдельные карточки для разных подразделений организации, иногда бывает только одна. В таких случаях нужно разделить такие привязки, чтобы в Справочнике могли появиться отдельные карточки, объединенные в сеть.

3.       Объекты-дубли в НЯК. Это ситуация, когда одной организации в Справочнике соответствуют несколько объектов в НЯК, относящиеся именно к этой организации. В отличие от п. 2 здесь речь об идентичных объектах Народной карты. Например, в Народной карте размечены одинаковыми объектами несколько корпусов одной организации: это объекты или с одинаковым названием и с одинаковой категорией, или не имеющие названия (и тоже с одинаковой категорией). Немало таких объектов было размечено еще до 2015 года, в Старой Народной карте. Такие объекты-дубли удаляются, сохраняется один объект. Если для одной организации есть один именованный объект и несколько неименованных той же категории — сохраняется именованный. Если все объекты или названы одинаково, или безымянные — сохраняется один из объектов. Эта работа сейчас в процессе.

4.       Закрытые организации. Это основной минус базы организаций Народной карты. Большое количество организаций, которые прекратили свое существование, но остались на НЯК и имеют состояние «Открыто». Удалить в Народной карте все организации, карточки Справочника у которых закрыты, — простой, но неидеальный вариант. Во-первых, в Справочнике, несмотря на различные методы проверки статуса организации, есть ошибки. Во-вторых, встречаются, как мы увидели выше, — ошибочные привязки. Работа по исправлению этого типа ошибок сейчас в процессе, но ведется она осторожно, с проверкой подозрительных случаев. Мы стараемся удалить все неактуальное, но при этом не удалить лишнего. Ошибки тем не менее, встречаются, отчасти это ошибки базы Справочника, а отчасти — опять же ошибки привязок объектов НЯК и карточек Справочника.

Отдельно стоит отметить, что сейчас не все организации НЯК привязаны к карточкам Справочника. Если организация есть и в Народной карте, и в Справочнике, то за тем, чтобы на карте в конечных сервисах не образовывалось дублей, следят алгоритмы. В рамках интеграции планируется сделать каждую организацию НЯК привязанной к соответствующей карточке Справочника — без этого не получится синхронизировать информацию.

Для понимания масштаба скажем, что количество организаций, которых касаются вышеописанные изменения, исчисляется десятками тысяч.

Координаты объектов

Этот пункт и все последующие мы рассмотрим только для варианта корректно привязанных организаций из НЯК и Справочника.

Координаты организации могут меняться, уточняться. Если изменение сделано в Народной карте, о нем станет известно Справочнику, и в общем случае это может изменить координаты карточки. Если изменение сделано в карточке Справочника (например, по фидбеку пользователей Карт), то до недавнего времени об этом Народная карта не узнавала. В рамках реализации обратной синхронизации эти изменения (после их проверки в Справочнике) будут отражаться и в Народной карте. Эти алгоритмы уже реализованы, и для части категорий изменений координаты синхронизируются в обе стороны полноценно. Пока это буквально несколько категорий. Мы смотрим за изменениями и уточняем алгоритмы. Для большого количества категорий синхронизация введена «наполовину», для небольших расхождений по координатам. В последнее время на Народной карте можно было встретить правки Агента Справочника, который двигал пои на несколько метров в рамках контура здания. Возникали и вопросы, зачем такие «бессмысленные» правки. Сама подвижка на 2 или 3 метра, действительно, не меняет карту принципиально, она делалась именно для синхронизации данных Народной карты и Справочника, и теперь координаты у таких пои в двух базах — одинаковые. В перспективе такая синхронизация будет реализована для большинства категорий.

Названия объектов

И в Справочнике, и в Народной карте есть три типа названий: официальное, для подписи на карте и синоним. Для подписи в карточке объекта используется первое, для подписи на карте — второе, для поиска — третье (или третьи, если синонимов много).

Исторически принципы формирования названия в Народной карте и Справочнике заметно отличались, особенно сильные различия — в названиях для подписи. Связано это с тем, что названия для подписи имеют разную «природу». В НЯК это названия для подложки карты, а подобные названия в Справочнике изначально были ориентированы на использование в поисковой выдаче. Как следствие, местами различаются нормы формирования таких названий. Добавляет сложностей и использование в Справочнике информации из разных источников и большой (по сравнению с Народной картой) поток изменений.

Полноценной синхронизации названий для подписи сейчас нет, поскольку для ее включения необходимо «свести» как нормы формирования таких названий, так и имеющиеся наборы названий. Оба этих «сведения» сейчас идут параллельно. Мы стараемся, чтобы синхронизация как Правил, так и самих названий не затянулась (поэтому, например, невозможно вручную «разобрать» все различающиеся названия для подписи и выбрать наиболее подходящее).

В результате описанных выше процессов сейчас для некоторых объектов меняются подписи на подложке карты. Это как раз одно из мест, где интеграция проходит болезненно, поскольку в ряде случаев названия объектов на подложке меняются, у некоторых организаций — больше одного раза. Мы работаем над тем, чтобы конечный пул названий был корректным для всех мест, где эти названия используются.

Контактные атрибуты

Телефон, почта, сайт, режим работы — это, пожалуй, наиболее простые по формату и вариативности атрибуты организаций. В отличие от названий они гораздо легче поддаются унификации, у Справочника большой опыт работы с этими атрибутами и потоком их изменений из разных источников. Для этих атрибутов мы хотим в первую очередь реализовать звучавшее уже в комментариях и чатах предложение не просто о синхронизации, но именно об объединении данных. Правки, вносимые при редактировании этих атрибутов в НЯК, в перспективе будут попадать непосредственно в Справочник, проходить там стандартные процедуры автоматической и ручной проверки и после этого попадать в конечные продукты Яндекса. Сейчас мы готовимся к описанному выше объединению данных.

Ошибки

Любые процедуры в процессе отладки с большой вероятностью могут приводить к ошибкам. Мы настоятельно просим всех народных картографов обо всех ошибках в конечных сервисах Яндекса, связанных с организациями, отправлять фидбек непосредственно в Справочник. Это позволит нам улучшить не только данные, но и процессы, связанные с обработкой потока такого фидбека.

Что дальше?

Выше мы рассказали про те шаги, которые можно заметить (или которые будут заметны после реализации) невооруженным глазом. Помимо них, есть немало процессов, которые не отражаются в данных непосредственно, но обеспечивают возможность «заметных» изменений.

Как мы уже неоднократно писали, процесс интеграции двух очень разных баз — сложный, а местами болезненный. На некоторых этапах приходится идти на временное снижение полноты или качества данных, для того чтобы затем, уже «на общих основаниях», делать лучше общий набор данных (или синхронизированные наборы).

Подобная ситуация уже складывалась в истории Народной карты дважды. Первый раз — в 2015 году, когда одновременно с перезапуском Народной карты мы объединяли данные Народной карты и Яндекс.Карт (да, три с половиной года назад это были абсолютно разные базы данных). Второй — этой весной, когда мы переходили к публикации карты всего мира из Народной карты и аналогичным образом объединяли данные из Народной карты и от поставщиков. 

Третья масштабная интеграция в истории Народной карты в конечном счете также улучшит совокупное качество карты. Надеемся на ваше понимание текущих сложностей и будем и дальше информировать о происходящем. Следите за обновлениями.

86 комментариев
Познавательно
Главные проблемы Справочника находятся в самом Справочнике. Точнее в людях, которые его делают. А в НЯК и ЯК - только последствия этого.
akbars
Сотрудник Яндекса14 декабря 2018, 10:45
.,
проблемы Справочника находятся несомненно в Справочнике в массе своей. Но  проблемы с данными об организациях в Картах - уже выходят за пределы одного только Справочника. Причины такой ситуации частично описаны в тексте поста. А ваш комментарий ситуацию очень сильно упрощает (и как следствие - искажает).
akbars,
проблема в том, что я вношу данные в НЯК правильно. А в ЯК они потом попадают с ошибками
akbars
Сотрудник Яндекса14 декабря 2018, 12:12
.,
давайте уточним для читателей поста (которые в вашем комментарии видят только вырванные из контекста скриншоты, не позволяющие оценить происходящее), что речь про этот объект.
Неправильное название на вашем скриншоте связано с несовершенством алгоритмов автоматической транслитерации с эстонского языка на русский, но не имеет никакого отношения к Справочнику. 
После добавления русского названия ситуация исправилась и на карте объект подписывается правильно.
На будущее, будем благодарны, если вы будете приводить более полную информацию о ситуации (например. ссылку на место на карте).
Ведь вы обращаетесь здесь не в Справочник, а в том числе к читателям поста, иллюстрируя свой тезис. Сейчас же получилось, что реальная ситуация была искажена, а читатели введены в заблуждение.
akbars
Сотрудник Яндекса14 декабря 2018, 12:14
.,
самое забавное, что первый скриншот содержит в себе явную ошибку внесения данных в НЯК:)
Но она тоже не имеет никакого отношения к Справочнику и отображению на картах (поскольку была исправлена при модерации вашей правки).
Обновлено 14 декабря 2018, 12:19
akbars,
Когда вы едете в поезде, который задерживается на перегоне из-за того, что у впереди идущего грузового поезда заклинило в вагоне тормоза - вас интересует, главная или магистральная часть воздухораспределителя вышла из строя ? Не думаю.


А история этого объекта проста - его исправляли несколько месяцев. Частями. Сначала по наводке Михаила, с мой подачи, исправили название в карточке. Но не исправили подпись на карте ЯК.  Потом по наводке Анны исправили и подпись. Это длилось 3 месяца.



Что касается транслитерации - не думаю, что написание названия объекта с маленькой буквы, прописано в каких-то правилах транслитерации. Да и любой программный алгоритм - это дело рук человека.
akbars,
В чём конкретно ошибка ? Что-бы я знал на будущее
akbars,
Вы меня извините, но мне проще вообще не именовать объекты, чем созерцать результаты и потом 3 месяца воевать за исправление.
Ссылка на обьект в НЯК
Обновлено 14 декабря 2018, 13:35
akbars
Сотрудник Яндекса14 декабря 2018, 13:36
.,
во внесении названия для подписи в отсутствие официального. Собственно, в истории правок видно исправление этой ошибки.
akbars,
Не было подтверждения данных, что это официальное название. Как нет его и сейчас, к слову.
akbars
Сотрудник Яндекса14 декабря 2018, 13:48
.,
пока вы пишете о самой проблеме с отображением объекта на Картах (то есть о сути проблемы), детали могут никого не интересовать. 
Как только вы начинаете делать утверждения о причинах возникновения проблемы, то есть погружаетесь в детали, эти самые детали начинают быть интересными.
В терминах вашей железнодорожной аналогии: пока вы говорите о самой задержке, то причины не важны, важен факт наличия этой задержки и то, что она является проблемой для пассажиров. Но если вы начинаете рассуждать о поломках воздухораспределителя, акцент разговора перемещается уже на него, и становится важно, насколько ваши утверждения про части воздухораспределителя имеют отношение к истине.
На этом предлагаю закончить обсуждение зоопарка в Пярну, к теме поста он прямого отношения не имеет, как мы выяснили. 
.,
Похоже что в Справочнике нет формализации и правил. Пиши что душе угодно :) Ну или никто их не выполняет
hermansochi,
Возможно. Если-бы это всё оставалось внутри Справочника - и разговора-бы не было. Чужие проблемы мало кого волнуют. А так получается что мои, ваши и остальных коллег объекты в итоге превращаются в ЯК во что-то не всегда вменяемое, то как-то это всё...
akbars
Сотрудник Яндекса14 декабря 2018, 11:17
hermansochi,
тут стоит делить формализацию и правила на части.
Так, в плане работы с атрибутами в Справочнике все хорошо, есть унификация. При этом в Справочнике, действительно, есть проблемы с формализацией названий (в Народной карте тут ситуация лучше). Причины тут в том числе что поток информации в Справочник сложнее (источников и форматов много, в отличие от НЯК). Совместно мы работаем над тем, чтобы стало лучше, но процесс, увы, сложный, а потому небыстрый. Даже с учетом того, что в НЯК накоплен большой опыт по этой части.
hermansochi,
У них есть редакционные нормы: https://yandex.ru/support/sprav/add-company/info-terms.html
Agent Mois,
Которые они сами не очень выполняют? :)
Сергей, мне то что делать с моими объектами? Ждать? А то я пока сижу и наблюдаю как Справочник продолжает развлекаться и искажать данные, но ничего пока не делаю :)
hermansochi,
присоединяюсь к вопросу. Что нам делать, ждать и ничего не трогать?
akbars
Сотрудник Яндекса14 декабря 2018, 11:22
podmotal,
сильно зависит от того, что именно происходит с объектами.
Что делать в общем случае, написано в посте: 
Любые процедуры в процессе отладки с большой вероятностью могут приводить к ошибкам. Мы настоятельно просим всех народных картографов обо всех ошибках в конечных сервисах Яндекса, связанных с организациями, отправлять фидбек непосредственно в Справочник. Это позволит нам улучшить не только данные, но и процессы, связанные с обработкой потока такого фидбека.

Если речь про какую-то специфичную, но неединичную проблему, расскажите про какую именно.
Семён Федотов
14 декабря 2018, 19:36
akbars,
могу назвать «специфичную, но неединичную проблему», но скорее всего вы уже в курсе такого: многие аббревиатуры или названия по типу UA, WOG, ЖГУ и т.д. пишутся либо строчными буквами, либо все буквы строчные кроме первой.  Эти названия отображаются только под иконками на основной карте, в то время кога в карточке всё в порядке.
Сергей Зайцев
14 декабря 2018, 11:03
1) Отучите пожалуйста няк или справочник если делаем привязку мойки как или мусорной площадки не надо задавать официальное имя по типу. Текст мусорная площадка и прочие дают только убогость карте. 
2) Отучите справочник писать аббревиатуры маленькими буквами. Пример: Тэц-3 а надо ТЭЦ-3! Самолёт Миг-17 а надо МИО-17.
3) Телефоны там даже у свежих организаций начинается с 8. А надо с +7. 
akbars
Сотрудник Яндекса14 декабря 2018, 13:54
Сергей Зайцев,
по пунктам:
1. Работаем над этим вопросом.
2. Нормы Справочника тут скорректированы, должно становиться лучше. Со сложными случаями типа МиГов может работать не идеально, но с "нормальными" аббревиатурами - изменения должны быть заметны.
3. Можно 1-2 примера "свежих" организаций? Это не на 8-800 номера? Штатная процедура - изменение "8" на "+7", даже если данные по какому-то из каналов пришли в ошибочном формате.
akbars,
1. создайте единый со справочником список общеупотребительных аббревиатур. А то иногда и там и на НЯК такое пишут :) Примеров в телеграмме была навалом. Я думаю если спросить еще накидают.
2. Про номера 8 800 - сделайте нормой именно 8 800 а не +7 и для НЯК. Я уже писал почему. 99.9% этих номеров работают только по России. И набирать их надо как 8 800. Теоретически можно в России запустить бесплатный номер для всего мира и тогда его нужно будет набирать как +7 800, но на практике ни одного такого примера я не знаю.
Сейчас Агент Справочника не редко сносит POI за пределы контура здания. Является ли это критической ошибкой, требующей исправления?
Не планируется ли корректировка правил размещения POI на границе здания (на входе), а не внутри, как это делается сейчас?
akbars
Сотрудник Яндекса14 декабря 2018, 11:29
nogo1986,
Агент не должен выносить пои за пределы контура. Нужно обратить внимание, что учитывается координата центра иконки. 
Если есть примеры, когда именно центр "вылез" за пределы контура, присылайте их, пожалуйста, будем изучать. Если же вылез край иконки, но центр внутри - то в общем случае это нормальная ситуация (степень вылезания за контур в этом случае зависит и от масштаба)
akbars,
Ниже Кирилл уже привел примеры. От себя еще вот например. При нажатии на здание эти точки не видны в списке организаций.
Обновлено 14 декабря 2018, 12:30
akbars
Сотрудник Яндекса14 декабря 2018, 14:00
nogo1986,
в приведенном примере Агент подвинул точку к краю контура, но не вынес ее за пределы контура, это можно видеть на последних масштабах.
Про отсутствие в списке организаций посмотрим, это ошибка, очевидно.
akbars,
поясните вот эту ситуацию. Агент Справочника отнёс точку глубже в здание. Это  нормально? Или я поступил правильно вернув её к краю?
akbars
Сотрудник Яндекса17 декабря 2018, 17:47
Манъ,
я правильно понимаю, что тут отдельный вход в оптику с улицы?
Если так, то Агент ошибся, твоя правка корректная, по идее тут после твой правки Справочник (и Агент вместе с ним) должен "понять" что правильная координата у входа и больше организацию не "дергать".
akbars,
Всё так. отдельный вход со стороны улицы.
Я конечно не специально, но не легче сделать так, чтобы добавлять не в НЯК организацию из Справочника, а организацию из НЯК в Справочник ? Так и дублей, мне кажется, не будет.
akbars
Сотрудник Яндекса14 декабря 2018, 11:54
Дмитрий,
в общем случае не легче, да и сейчас процесс устроен не как "добавление в НЯК организации из Справочника".
Так, нормальная ситуация, когда в НЯК добавили новую организацию, в Справочнике её нет и Справочник тоже сделал у себя карточку (пока всё так, как вы предлагаете). Далее организация в НЯК не правится в течение года (срок условный, может быть полгода или два года), а в Справочник за это время поступило несколько сигналов об изменениях в этой организации. Например: фидбек от пользователя Яндекс.Карт, изменение в результате звонка в саму организацию и обращение в саппорт Справочника. 
Если не синхронизировать данные - получатся расхождения связанных объектов.
Также ситуация состоит в том, что объем как самих организаций в Справочнике, так и изменений в них - больше, чем в Народной карте. И если пользоваться только базой организаций из НЯК - будут проблемы с полнотой и актуальностью во многих местах.
Если не сложно расскажите пожалуйста как сейчас выглядит идеальный вариант (со стороны сотрудников) синхронизации справочника с НЯК. Я про финальную часть когда вся миграция будет завершена и двум платформам прийдётся существовать вместе.
akbars
Сотрудник Яндекса14 декабря 2018, 12:34
Lex,
спасибо за вопрос. Мы возьмем его в работу и отдельно напишем про тот идеальный мир, к которому хочется стремиться. 
В рамках "быстрого" ответа в комментарии не получится дать полный ответ. Озвученные в посте шаги - не завершат процесс интеграции, это именно что текущий статус, промежуточная стадия большого процесса.
А ещё Справочнику не хватает градации пользователей по степени доверия. Сейчас когда мы правим что-то в Справочнике, точнее пытаемся безуспешно что-то править, он абсолютно не знает нашу экспертизу в НЯК. Все мы для него одинаковые, что вандал, что модератор.
akbars
Сотрудник Яндекса14 декабря 2018, 12:16
nogo1986,
не совсем так. С одной стороны, пользователи НЯК сейчас действительно, не делятся между собой по степени доверенности (уточню, что речь именно про внесение правок в НЯК, а не любым другим способом). Но при этом мы считаем, что вандальных изменений из Народной карты в Справочник не приходит, поскольку синхронизация происходит после модерации правки в Народной карте.
akbars,
Я про правку непосредственно Справочника, минуя НЯК.
akbars
Сотрудник Яндекса14 декабря 2018, 13:59
nogo1986,
спасибо за уточнение, из исходного комментария этот акцент не был очевиден. Тут действительно, хочется начать "видеть" и учитывать опыт народного картографа в рисовании организаций в НЯК, надеюсь, получится это реализовать.
Для начала, спасибо большое, Сергей, за сей длиннопост: ознакомился с содержимым с удовольствием. Далее – в хронологии по прочитанному.

Объекты-дубли в НЯК

В виду некомпетентности отдельновзятых сотрудников Я.Справочника, есть случаи, когда организации с совпадающей информацией ошибочно принимаются за дубли и одна из организаций в итоге исчезает. Пример: ТРК «Семья», на первом этаже которого расположен гипермаркет «Семья». У разных организаций были указаны разные сайты, контактные телефоны и электронные почты и, что главное, режимы работы.  


Закрытые организации
Здесь чуть более развёрнуто и масштабно. Существует проблема систематического удаления организаций в Справочнике из сферы ЖКХ: предположительно, толокеры (здесь в проблему включается Я.Толока) массово, следуя инструкциям сервиса, указывают невозможность сфотографировать режим работы «организаций», к которым относятся детские площадки, спортивные площадки, велопарковки, ТП, ЦТП, ВНС и др, в следствии чего Справочник, сотрудники которого, видимо, считают сей сигнал как об отсутствии таковых объектов (абсурд, но похоже на правду) удаляют карточки таковых «организаций», вследствии чего несмотря на наличие в НЯК (и активную зелёную подсветку при отображении слоя «Места» по привязке к Справочнику) POI таковых исчезают с карты тоже. 
Из вышесказанного выводим 2 проблемы: массовая пропажа объектов коммунального хозяйства и ненаглядность исчезновения карточки Справочника при работе в НЯК.


Помимо этого Справочник не смотря на неоднократные сообщений о том, что организация «снова открылась» после ремонта никак не реагирует (месяц и почти полгода).


Координаты объектов

В Справочнике, на мой взгляд, главная проблема – неадекватно работающий канал связи с фидбэком от пользователей. За два года я уже, кажется, 4 раза сообщал, что отделение Почты России (НЯК), услугами которого я регулярно пользуюсь, находится в другом месте, нежели указано на сайте самой организации. Проблема заключается в том, что фактический и юридический адреса различаются. Повлиять на изменение информации на сайте Почты не могут ни руководитель отделения, ни сотрудники городского главпочтамта. При этом Справочник регулярно утаскивает расположение POI на то, что указано на сайте Почты не смотря на наличие фотоподтверждений обратного. 


Помимо этого, очевидно, летом уходящего года Справочник стал самостоятельно массово изменять расположение POI организаций, устанавливая их на место входа в здание. Из-за этого подхода в ряде случаев несколько POI оказываются в одной точке и все кроме одного перестают отображаться, в то время как в НЯК они расставлены не на местах входа, а на местах расположения внутри зданий, что, на мой взгляд, более информативно (особенно при наличии одного входа во всё здание).


Более того, в настоящее время бот «Агент Справочника» не редко при изменении геометрии устанавливает POI вне периметров зданий. Примеры: первый, второй, третий (и это только из замеченного мной за последнюю неделю в одном микрорайоне).


+ из последнего предложения вытекает вопрос: почему синхронизация планируется в большинстве категорий, а не во всех? 


Названия объектов

Осмелюсь это назвать главным вопросом последнего месяца. Ниже – самые абсурдные изменения.
Детский сад → ДС
ТП → Трансформатор или Подстанция
ПГГПУ → Пггпу (Справочник и без того в официальных названиях постоянно аббревиатуры пишет строчными буквами, приходится по 5-7 раз жаловаться на один и тот же объект)
Есть и подобные неадекватные изменения.


Некорректные названия и, в частности, подписи на карте – это не только боль для лояльных народных картографов, но и временные проблемы для случайных пользователей геосервисов Яндекса, а потому не устаю настоятельно просить максимально ускорить именно этот переходный процесс. 


Помимо этого, на мой взгляд, ввиду недавнего появления нового варианта подписи организаций на Карте (красное всплывающее окно при открытии карточки организации), мне представляется логичным ввести новый вариант названия организации, который в некоторых случаях лучше был бы более коротким, чем для подписи на карте, а в некоторых напротив. Учитывая синхронизацию, сие предложение и для НЯК, и для Я.Справочника.
kirill1303,
Помимо этого Справочник не смотря на неоднократные сообщений о том, что организация «снова открылась» после ремонта никак не реагирует


Время реакции справочника на исправление ошибок на НЯК неприемлемо. Причем непонятно от чего это зависит. По некоторым через несколько дней (недель) приходит письмо что мы проверили ваш фидбек и исправили (или нет), по некоторым не приходит ничего.


Детский сад → ДС
ТП → Трансформатор или Подстанция


ГД - Гостевой дом...
hermansochi,
как уже написал выше, главная, на мой взгляд, проблема Я.Справочника – отсутствие нормальной связи фидбэка с пользователями (вторая проблема – непреднамеренный вандализм некомпетентными сотрудниками). Даже на письмо о (не-)принятии правок по обращению написать отзыв практически нереально из-за чрезмерно сложной формы обратной связи.
akbars
Сотрудник Яндекса14 декабря 2018, 13:57
kirill1303,
спасибо за большой комментарий, разберем примеры и ответим попозже.
akbars,
пока ожидаю ответ на длиннопост выше, добавлю один пункт: война правок по геометрии POI с ботом Агантом Справочника (пример).
akbars,
насколько попозже?( 
akbars,
прошло полтора месяца, а описанные мной проблемы всё ещё актуальны и продолжают негативно влиять на качество данных..
akbars,
два месяца прошло, а в ответ тишина.. Обещанного три года ждут? 
У меня последнее время началась битва с Агентом за точное местоположение точек - как правило киосков с питьевой водой. Я отмечаю точки точно там, где находится киоск и как правило это точки без зданий. Агент начинает их двигать. При этом любая подвижка сразу выносит точку за пределы киоска в силу небольшого размера самого киоска и отсутствия контура здания, на который Агент могу бы ориентироваться. Вот пример. Можно сказать, подвижки для конечных пользователей не критичные, но тем ни менее они ухудшают качество данных, а иногда привносят фактически ошибки. Когда киоск перемещается на другую сторону дороги. Можно запретить справочнику двигать подобные объекты?
Так же есть точки, которые расположены непосредственно там, где находится вход в организацию, но Агент двигает их раз за разом в сторону. И этой войне правок, кажется, нет конца. Можно это как-то остановить?
akbars
Сотрудник Яндекса14 декабря 2018, 12:38
Alexxegorov,
правильно ли я понимаю, что в первом примере про киоски речь про те случаи, когда стоит просто точка, а контура здания нет?
akbars,
Да, именно так. Точка без контура в силу незначительных размеров объекта.
akbars
Сотрудник Яндекса14 декабря 2018, 12:39
Alexxegorov,
последний пример  взяли в работу.
Семён Федотов
14 декабря 2018, 19:39
akbars,
возьмите ещё, пожалуйста, вот этот. Вначале я его создал в ннескольких метрах от реального расположения, затем привязал к объекту в Справочнике и этой же правкой поставил на правильное место. Потом поставил на правильное место ещё раз после того, как робот передвинул его на предыдущее. Потом ещё раз. И ещё раз.
akbars,
как я ожидал, Агент решил настаивать на неверном положении объекта вне здания https://n.maps.yandex.ru/#!/objects/1542773203/history/113942293?z=20&ll=49.194519%2C55.810734&l=nk%23sat
Принялся заново некорректно двигать киоски питьевой воды.
Обновлено 17 декабря 2018, 11:37
akbars
Сотрудник Яндекса17 декабря 2018, 18:05
Alexxegorov,
разбираемся со всеми приведенными примерами (хорошо, что они разнотипные получились).
Идея с сохранением двух баз (НЯК.POI и Справочник) изначально порочна. Синхронизация никогда не будет идеальной. Надо упразднить Справочник и передать все его функции НЯКу. Аргумент о том, что на НЯКе не место каждому POI мне не понятен. Поясните, кому это может повредить.
Пусть в НЯКе у каждого POI будет по карточке или как угодно назовите это. Пусть сотрудники Справочника вносят все правки через функционал НЯКа. Фидбек от пользователей тоже прекрасно правится в НЯКе. И пользователи смогут напрямую править POI. Без того ада, что мы наблюдаем сейчас.
С дорогами ведь справились: пользователь рисует, через неделю навигатор ведёт. Все довольны. Если ошибка - тут же можно исправить. Кто-нибудь слышит стон о дичи, творящейся с дорогами? Нет! Потому, что нет дичи. Всё работает. 
Так сделайте то же самое с POI и будет всем счастье.
Один раз объединить - да будет больно, пару месяцев активно будем править, но зато потом никаких проблем с синхронизацией (которой просто не будет) и вандализмом сотрудников Справочника. 
Естественно, любые правки пользователей должны будут проверяться модераторами НЯК.POI, собственно, как и любые другие правки.


А то, что сейчас - это попытка скрестить ежа с ужом. Суеты много, а результат на данный момент чуть ли не отрицательный.


Понимаю, что никто в Яндексе не станет делать, как я предлагаю, можете удалить этот пост.
mercator2111,
Вообще да. Если бы я был архитектором ЯК, я бы так и поступил. Источник информации должен быть в одной БД. В противном случае всегда будут коллизии. 
Обновлено 14 декабря 2018, 12:55
mercator2111,
соглашусь с необходимостью всё вливать в единую базу, однако мне представляется куда более приоритетным вариант не переноса Справочника в НЯК, а реализации НЯК в качестве прямого визуализатора работы со всеми организациями, у которых есть POI.


Сотрудники Я.Транспорта, например, работают, насколько я понимаю, в интерфейсе, напрямую связанном с НЯК. На мой взгляд, вполне реалистично сделать аналогичный и для Справочника, где и будут прочие атрибуты, которых нет в НЯК. В то же время после завершения эпопеи соединения баз данных, в интерфейс НЯК будет полезным внести и новые параметры на подобии наличие Wi-Fi и возможности безналичной оплаты.
kirill1303,
Ну да, даже такую простую операцию как добавление ссылки на Справочник когда создаешь новое POI на НЯК приходится делать через тернии. 
1. Нужно погуглить в Справочнике есть ли эта POI.
2. Нужно угадать рубрику под которой она будет в НЯК.
3. Нужно попытаться найти место где она поставится (400 метров вроде от адреса, если нет адреса ищем у центра НП).


Кончено такие квесты юзерам нафиг не упали.
В результате новая POI, триггер в справочник и по результату дубль там )
akbars
Сотрудник Яндекса14 декабря 2018, 14:15
kirill1303,
часть поста "Контактные атрибуты" - как раз про "реализацию НЯК в качестве прямого визуализатора". Вернее пробный шаг в этом направлении.
kirill1303,
>в интерфейс НЯК будет полезным внести и новые параметры на подобии наличие Wi-Fi и возможности безналичной оплаты.
Таких атрибутов в Справочнике тысячи. Да и какой смысл полностью дублировать интерфейс Справочника? Ссылка имеется, обозвать её как Расширенное редактирование и пусть в Справочнике пользователь всё делает. По сути для визуализации нужны только координата и Для подписи. Ну и для первоначального добавления все эти "попсовые" поля с телефоном и сайтом.
akbars
Сотрудник Яндекса14 декабря 2018, 14:19
kirill1303,
с Транспортом поступили как раз по сценарию, близкому к предложенному mercator2111. Но нужно понимать, что отдельный редактор транспорта был заметно "проще" Справочника (если бы сравнивать сложность количественно было бы тут корректно, я бы говорил о порядках:)
Добавлю, что лично я прекратил править POI. Я ценю своё время и после того, как по несколько недель добивался переноса нескольких точек на правильное место, просто забил. 
Пусть пользователь ЯК придёт в глухой тупик в поисках нужного места, прогулки на свежем воздухе полезны.
Если что, я за год проезжаю более 50000 км по всей России и мне есть, что исправить на карте.


Был бы нормальный функционал на НЯКе, поправил бы не одну тысячу POI, как уже поправил не одну тысячу дорог.
mercator2111,
Аналогично. База данных есть, возможность есть, желания - нет
akbars
Сотрудник Яндекса14 декабря 2018, 14:14
mercator2111,
в общем случае, конечно, одна база лучше чем две, сложно спорить. Упразднить Справочник, боюсь, не получится, во всяком случае, простым способом. Для этого нужно сначала сделать новый Справочник (в НЯК). Это проект уровня перезапуска Народной карты с объединением двух баз данных (об этом есть в конце поста). Сам перезапуск тогда произошел единомоментно, но готовился почти 2 года.
Поэтому - постепенная интеграция со слиянием двух наборов данных в один там, где это можно сделать (абзац про контактные атрибуты в посте).
akbars,
дайте мне 2 месяца, ресурс на найм программеров, и я это сделаю.  И то, второй месяц беру на багфиксинг.
Крупнейшая IT-компания страны  будет 2 года мучаться со сливом двух баз в одну? Только если у руля проекта некомпетентный человек. 
No offence.
akbars
Сотрудник Яндекса14 декабря 2018, 14:44
mercator2111,
когда говорится про долгие сроки, то дело не в слиянии 2 баз как таковых только с точки зрения объединения данных, и не в интерфейсах для работы. Больше в инфраструктуре для работы с различными потоками данных об организациях, которая "под капотом" у Справочника, который лихо предлагается упразднить. А также в инфраструктуре для публикации таких данных.
"Снаружи" нередко всё выглядит проще, чем есть на самом деле:)

mercator2111,
вот да. Структура базы данных POI весьма примитивная, чего там можно годами ковырять?
akbars,
если есть порочная (но худо-бедно) работающая модель, то рубить хвост по частям, пытаясь поженить неженимое - только оттягивать неизбежный конец. 


С тех пор, как НЯК является поставщиком данных в ЯК, никаких других баз, надстроек и Справочников быть не должно. Это рудименты, от которых чем раньше откажетесь, тем лучше.


Всегда больно рубить то, что когда-то работало. Вот "Из рук в руки" не рубил. Где они сейчас? Из более близкого вам - Рамблер. Когда-то первый поисковик России. Кто-нибудь его помнит?


Яндекс не загнется, конечно, уж больно фундамент крепок. Но для поиска кафе в чужом городе я пользуюсь Гуглкартами. Там почему-то и точки на своих местах, и отзывы нормально работают, и расписание работы актуально.
mercator2111,
Вы в крупных компаниях работали? Там любой чих месяцами обсуждают и согласовывают )
mercator2111,
в гугле как раз полный бардак. Похоже, там после вандалов не убирают.
mercator2111,
в смысле "упразднить" и "передать"? После упразднения Справочника, откуда на НЯКе возьмутся данные обо всех организациях, которые ещё не отмечены (но существуют в Справочнике)? Для этого и делается синхронизация. Чтобы можно было оперировать данными между двумя БД (а в перспективе, возможно, и сделать одну БД). Без синхронизации Вы реально получите "ёжуж". :D
B-Igro,
объединить (читай, добавить в НЯК недостающее), потом упразднить. И все изменения в POI вносить уже в единую базу на основе НЯК.
B-Igro,
Ребята из Справочника приходят, вносят объект в НЯК, он попадает на карту - и все счастливы. Одна база данных, которая будет пополнятся из НЯК. Народными картографами, сотрудниками НЯК, сотрудниками Справочника и т.д.
И все последующие действия с объектом - так-же через НЯК. Открытие, закрытие, добавление/удаление/корректировка данных. От НЯК наверх. Как дерево. Много корней (НЯК), много листьев и веток (пользователи картографических сервисов) и один ствол - Я.Карта

По крайней мере я так понял мысль коллеги.
Обновлено 14 декабря 2018, 16:52
Главный вопрос - этот пост прочтут сотрудники Справочника принимающие решения?
akbars
Сотрудник Яндекса14 декабря 2018, 14:07
hermansochi,
сами посты коллеги из Справочника читают (как минимум в рамках фактчека). 
Содержательное из комментариев мимо коллег не пройдет. Но нужно понимать, что массовые ошибки и основные проблемы - известны. Процесс   интеграции собственно нацелен на их решение. Постепенное.
hermansochi,
это не сотрудникам Справочника показывать надо. Им детей кормить и на Тенерифе ездить надо. Это Волож должен прочитать или кто там сейчас бенефициар Яндекса. Такие решения принимаются на уровне руководства.
Мы настоятельно просим всех народных картографов обо всех ошибках в конечных сервисах Яндекса, связанных с организациями, отправлять фидбек непосредственно в Справочник. 


А можно уточнить, о каких способах связи со Справочником идет речь? Об отправке сообщения непосредственно с Яндекс.карт через пункт "Исправить неточность" или через вот эту форму? Или может есть ещё какие-то способы? Поделитесь, пожалуйста. 
Алексей,
Ух ты, миллион ответов!


Напишу своё мнение по так называемому фидбеку непосредственно в Справочник, т.е. отправки сообщения через пункт "Исправить неточность" на Яндекс.картах. Возможно это был бы неплохой способ обратной связи со Справочником, если бы ни его малоинформативность и одноразовость для пользователя. Поясню что это значит. 1) Малоинформативность - это о том, что в ответном письме от Справочника пользователю приходит крайне малоинформативный и отсюда почти бесполезный текст, в письме сказано лишь принята или отклонена правка по такой-то организации и на этом всё! Какие данные приняты, а какие отклонены не понятно, нужно идти на карту и смотреть изменения самостоятельно. В письме даже не указано какие данные были предложены для  изменения, это хорошо если помнишь какие изменения отправлял, а если таких правок отправляешь много и ответы идут долго, то можно и подзабыть о чем вообще была правка. 2) Одноразовость же заключается в том, что на полученное письмо просто нельзя ответить и что-либо уточнить, для этого придется заново начинать всю процедуру. Короче говоря, обратная связь уже на выполненные действия Справочника пользователю просто не доступна. 


В качестве примера, несколько раз отправлял фидбек по местоположению на карте одного салона связи. Только с N-го раза, после того как я приложил фото этого объекта на местности, точка организации встала на карте на нужное место, НО! при этом у данной организации пропали все данные из карточки (она просто стала пустая!). А на текущий момент уже даже точка с карты пропала, при этом организация то продолжает работать (вносить её заново уже не хочу!). И каждый раз, видя неверно внесенное исправление Справочником, приходилось заново пользоваться этим так называемым фидбеком, вместо того чтобы просто ответить на присланное письмо и указать неточности в исправлениях. 
Обновлено 19 декабря 2018, 06:00
Пусть после завершения объединения сотрудники вместе с добровольцами (на НЯК и Толоке) вручную исправят ошибки в названиях.
Робот постоянно  двигает точки то на линию края контура здания, то вообще за пределы здания. Посмотрите последние ~20 правок, обязательно найдёте такое.
Подвижка на край, на мой взгляд, тоже нежелательна. Она будет провоцировать пользователей рисовать POI на краю здания (именно на краю, то есть примерно на линии края контура). Видел такое у нескольких пользователей.
Обновлено 20 декабря 2018, 09:16
https://n.maps.yandex.ru/#!/objects/1541705426/history/114536178?z=20&ll=45.227713%2C54.192857&l=nk%23sat
И зачем он подвинул точку на край? Там нет входа, это видно по панорамам. На фасаде, повёрнутом на улицу, есть окошечко, а вход, видимо сзади.
https://n.maps.yandex.ru/#!/objects/1541434281/history/114633904?z=20&ll=45.182031%2C54.220829&l=nk%23sat