Клуб Народной карты

Гипотезы об ошибках в Народной карте

akbars
19 октября 2017, 15:14

Всем привет!

Сегодня на Народной карте появилось одно очень важное нововведение, которое позволит сделать лучше жизнь многих пользователей геосервисов Яндекса.

Уже несколько месяцев у нас есть возможность разбирать в Народной карте сообщениях об ошибках от пользователей продуктов Яндекса. «С мест» приходит информация о неточностях и ошибках, но такие сигналы приходят далеко не отовсюду. А если взять крупные города, где ситуация на местности меняется очень быстро, то успеть актуализировать карту становится ещё сложнее.

Поэтому мы решили попробовать определять потенциальные ошибки и неточности на карте автоматически! Для этого нам нужны максимально актуальные данные, и на текущий момент такими данными на сервисе являются снимки с видеорегистраторов.

Начать мы решили с автоматического распознавания скоростных ограничений, они используются при ведении по маршруту как в Навигаторе, так и в МЯК. 

Как всё устроено?

После того, как в народную карту поступает свежая «пачка» снимков с видеорегистраторов, работать с ними начинают теперь не только пользователи, но и алгоритм, который распознаёт на снимках знаки скоростных ограничений, а также значения максимально разрешённой скорости. После этого распознанные значения сравниваются с соответствующим атрибутом у участка дороги, если значения отличаются, формируется гипотеза об ошибке.

Как работать с гипотезами?

Слой гипотез можно включить там же, где и слой сообщений об ошибках от пользователей. Метки гипотез выглядят аналогично, так что можно, включив оба слоя одновременно, работать и с «живыми» сообщениями от пользователей, и с автоматически полученными гипотезами.

Карточка гипотезы выглядит так:

Работа с гипотезами, как видит, также похожа на работу с сообщениями об ошибках. Ссылка «Снимки с видеорегистраторов» открывает нужный снимок, на котором выделен распознанный знак:

По ссылке на объект можно перейти в карточку участка дороги и при необходимости его отредактировать.

Бывают ли ошибочные гипотезы?

Пока бывают, потому они и названы гипотезами, потому гипотезы и нуждаются в проверке. Внутри картографического производства мы тестировали новый инструмент и нашли следующие «подводные камни»:

 — иногда алгоритм путает знак ограничения скорости с похожим знаком ограничения высоты (при проезде под мостами) или весового ограничения

 — иногда алгоритм путает табличку платности парковки с знаком ограничения 

 — иногда алгоритм распознает наклейки со знаками ограничения скорости, наклеенные на транспортные средства — кузова грузовиков или автобусов

 — иногда из идущих почти подряд двух знаков (например последовательно снижающих скорость до 40 и потом 20 км/ч) алгоритм распознаёт только один.

Чтобы таких ошибочных гипотез становилось меньше, мы сделали алгоритм обучаемым. И чем больше гипотез будет разобрано, тем лучше будет формироваться новые гипотезы.

Интересно! Где найти гипотезы?

Гипотезы сейчас можно посмотреть (и поразбирать) в Екатеринбурге, там свежие снимки с видеорегистраторов позволили их сформировать. Будем добавлять гипотезы и в других городах (по мере того, как будут добавляться снимки) и о таких обновлениях будем писать в комментариях к этому посту (желающие — подпишитесь на них).

И немного о Правилах

Тем временем у нас появился новый пункт правил под номером 1.3.4. в разделе «Модерация Народной карты».  Там вы сможете найти подробное описание как работы с сообщениями об ошибках, так и с гипотезами — узнать что они из себя представляют и с чем их едят что с ними можно делать.

Примеры работы над ошибками прилагаются в комплекте :)

Надеемся, что новый подраздел в будущем вам пригодится. Также, всегда можно будет поделиться ссылкой с новичками.

65 комментариев
Крутое нововведение!) Зато достоверные ограничения скорости будут!
И да, теперь нужно отличие гипотез об ошибках и обычных сообщений об ошибках, потому что если включить два слоя, то не поймёшь, что это за ошибка...
akbars
Сотрудник Яндекса19 октября 2017, 15:37
1159,
а зачем? Одинаковые иконки сделаны сознательно.
Если разбирать оба слоя совместно, то в карточке видно - где есть ссылка на видеорегистратор, а где - информация от пользователя.
А если хочется разбирать только пользовательский фидбек или только гипотезы - то можно включить только один слой.
akbars,
было бы круто превьюшку сразу в карточке видеть.
Предлагаю выделать гипотезы другим цветом.
И предлагаю выкинуть все ночные снимки с регистраторов - они все убогие чуть более, чем полностью :)
akbars
Сотрудник Яндекса19 октября 2017, 15:39
Survivor2007,
выше ответил, почему метки одинаковые.
Снимки выкидывать также не хотим. Понимая, что их полезность ниже. чем у дневных, тем не менее констатируем факт, что и она не нулевая.
Наше старе село
19 октября 2017, 15:59
Будут ли снимки с видеорегистраторов Украины?
Обновлено 19 октября 2017, 15:59
akbars
Сотрудник Яндекса19 октября 2017, 16:05
Наше старе село,
в первом приоритете у нас пока крупные города России, дальше будем расширяться.
akbars,
и где же вы снимки брать будете? Думаете вам вся Украина добровольно отдаст?
Котик,
я москаль, и ни одного снимка ещё не отдал клятому яндексу /irony
Наше старе село
19 октября 2017, 16:02
Это сильный удар по конкурентам. Так появятся и все дорожные знаки на ЯК
akbars
Сотрудник Яндекса19 октября 2017, 16:03
Наше старе село,
до всех знаков пока ещё путь не очень близкий, но мы по нему идём. Знаки скорости, и запрещённых разрешенных манёвров по факту уже учитываются.
akbars,
а можно поднять приоритет знаков 5.19.1 и 5.19.2 "Пешеходный переход" и 1.22 "Пешеходный переход"? Гипотеза проверяется по наличию рядом отрисованного на карте пешеходного перехода?
Наше старе село,
нанесут ответный удар: запретят видеорегистраторы в Украине.
Очень интересно. Сразу появились вопросы:
1) Есть ли геопривязка фотографий?
2) Позиция метки гипотезы об ошибке чему-нибудь соответствует с достаточной точностью? Например, положению съёмки первой фотографии из серии.
3) А не могли бы вы сортировать фотографии хронологически? А то сейчас как-то вразнобой.

4) Откуда данные с регистраторов? Будут ли привлекаться обычные пользователи-водители?
akbars
Сотрудник Яндекса19 октября 2017, 16:21
a-zakh,
по пунктам 1, 3, 4 хочу переадресовать к посту о появлении в Народной карте снимков с видеорегистраторов (в тексте текущего поста эта ссылка также есть).
По пункту 2 - серия снимков, к которой переходишь по ссылке из карточки задания - это все имеющиеся снимки, на которые попал знак ограничения скорости. Как правило это 2-3 снимка перед проездом. Метка гипотезы - это примерно вычисленная позиция знака.
a-zakh,
4) Даже не надо обычным пользователям. Вон, Яндекс.Таксистов сколько развелось! Они каждый день колесят по всему городу по непредопределённым маршрутам. Раздать им всем регистраторы — пусть заодно генерируют для нас снимки!
akbars
Сотрудник Яндекса19 октября 2017, 16:39
☭Okclick,
собственно, текущие снимки в том числе от таксистов. Пока мы всё ещё экспериментируем с получением снимков с регистраторов.
akbars,
вы раздайте хотя бы по несколько регистраторов в регионы. Нам же тоже интересно поучаствовать! =)
☭Okclick,
есть страна, в которой Я.Такси официально запрещено, и там особенно напрягутся от фотографий с регистраторов. Ещё больше стран, где такси не работает. Например, Турция вся синяя от треков водителей, а Я.Такси там нет.
Сергей,
пусть с Убером договорятся.
Сергей Зайцев
19 октября 2017, 16:29
Главное чтобы не испортили. 
Помнится раньше в Яндекс.Толоке были задания на проверку подобных снимков со знаками)
akbars
Сотрудник Яндекса19 октября 2017, 16:59
Fabiëns0,
всё так, были. Для того, чтобы случился сегодняшний запуск, потребовалось немало работы большого количества коллег, а также помощь участников проекта Толока.
А когда можно будет указывать направление действия ограничения скорости?
akbars
Сотрудник Яндекса19 октября 2017, 17:56
skssxf,
назвать точных сроков не можем, к сожалению, следите за обновлениями.
skssxf,
Такое бывает? 
fnaq,
В каком смысле бывает? В реальной жизни это именно так: знак ограничения скорости действует для тех автомобилей, которые едут в его направлении, а на противоположный поток не действуют. Но в Яндекс-картах сейчас для однореберных дорог можно установить ограничение на участке только независимо от направления движения, и навигатор будет предупреждать о превышении скорости уже после лежачего полицейского или камеры, например.
skssxf,
Просто я не припоминаю случаев, чтоб в одну сторону ограничение было, а в другую не было. Получается, что так бывает. 
20 метров туда-сюда от лежачего полицейского -- разве принципиально? 
fnaq,
Вот пример. Одна полоса идет в поворот, поэтому там ограничение.
https://n.maps.yandex.ru/#!/objects/1500373746
fnaq,
вот по тем же самым гипотезам - 40 с одной стороны и отсутсвие ограничение с другой стороны
Nautilus,
хочется раздуплить этот участок на два ребра  
Но правило про двухрёберность — не позволяет. 
fnaq,
я бы сказал, что так бывает в большинстве случаев.
Хочу такие фотографии в своём Я.Навигаторе.
А вы запустите программу по панорамам более маленьких городов где снимков с регистраторов не достаточно? 

Lex,
а панорам там достаточно? Если только не на Яндексе.
Обновлено 20 октября 2017, 14:01
Добавлю немного своих идей, тем более последнее время, стало казаться, что к ним прислушиваются :) 
Анализ панорам и регистраторов на скорость- это "маленький шаг" для Яндекса, но это первый шаг по распознаванию всех знаков и разметки, и это очень перспективная идея. Могу лишь пожелать не забрасывать это начинание и развивать пока не научите ИИ распознавать все знаки. 
В чём на мой взгляд ошибка, распознавать надо не с фотографий с видеорегистраторов, а анализировать загруженное видео. В последовательности кадров проще выделить именно дорожные знаки, а не наклейки. Их легче распознать, так как много больше информации присутствует в кадрах. 
В связи с чем предлагаю создать сервис (да хотя бы даже папку на Ядиске) в которую можно было бы загрузить своё видео с регистратора, файлы с геоданными, указать модель (брать данные только от моделей с геоданными) и разрешить Роботу Яндекса проанализировать этот файл на наличие знаков, разметки, да хоть названий магазинов (если видны)
Преобразовать видео в ряд фотографий, где робот в чём-то засомневался и просит помощи и помещать такие фото в фото видеорегистраторов и в гипотезы.
Я представляю, что это сложно, но робота нужно обучать распознавать видео, тем более это потом в будущем пригодится для автопилотов ;)
איש האלוהים
20 октября 2017, 10:37
viazin2012,
👍🏻 
akbars
Сотрудник Яндекса25 октября 2017, 18:38
viazin2012,
спасибо за предложения. Отвечу по основной сути их всех - работать с видео, а не с фото. Идея привлекательна на первый взгляд, и нами при разработке инструмента снимков с видеорегистраторов тоже рассматривалась. В итоге остановились на работе с фото. Проблемы с разпознаванием с видео не основные, а вот вопросы больших объемов "материала" для работы (и далее - качества интернета и т.п.) на этом уровне начинают быть значимыми, когда речь перестаёт идти про один личный регистратор на твоей машине, а начинает - про десятки и сотни устройств. 
Ну а про расширение списка распознаваемых объектов - над ним мы работаем.
akbars,
Можно выдать желающим приложение, которое будет резать видео на кадры оффлайн. Лично мне было бы гораздо удобнее рисовать, если бы была возможность загружать кадры со своего регистратора. Я в основном по нему рисую.
akbars,
Как-то странно читать в 2017 году про вопросы больших объёмов видео, когда ежедневно в интернет загружаются десятки лет видео в качестве до 4К, а иногда и выше. А качество интернета, даже у нас в провинции, позволяет не напрягаясь залить в интернет несколько Гб видео за пару минут. А мощность серверов позволяет играть людям в крутые игры прямо в онлайн получая видеопоток с сервера. Да и использовать для этого я предлагаю "личное" место Яндекс диска. Не хочешь/можешь  - не загружай.
Я конечно вижу проблему с ресурсами, но ни пользователя ни робота никто не торопит на первых парах, пользователь залил, нужные данные предоставил, робот обработал, когда у него появился доступный для этого ресурс процессоров (ночью например или когда там часы малой нагрузки), преобразовал в фото, создал гипотезы и удалил исходник.


Да и оффлайн приложение, как предложили выше, тоже могло бы быть. Но тогда уже не идёт речь о распознавании знаков, как я понимаю. Но хотя бы, создать подходящие кадры для заливки в категорию фото с регистраторов.

viazin2012,
Ну, знаки и по картинкам (без видео) можно распознавать. И я не совсем оффлайновое приложение имел ввиду.
Приложение модет брать файл с данными GPS, затем связаться с сервером, на сервере по треку происходит расчет того, какие кадры нудны (на перекрестках или еще в каких важных местах - почаще, в остальных - пореже), а само видео режется силами ПК пользователя без обращения к серверу. Насколько я понял, сейчас все работает почти так же, просто вместо файла геолокации используется данные GPS , так сказать, в прямом эфире.
Обновлено 28 октября 2017, 21:36
Мощная штука. Надеюсь, все остальные знаки вы тоже потихоньку распознаёте, просто пока не используете. Например, запрет парковки и эвакуатор. Или движение по полосам. Или дорогу для автомобилей.
Только непонятно какое ограничение ставить если оно разное в две стороны
Lex,
Минимальное из
איש האלוהים
20 октября 2017, 10:36
Классно!
Ещё я давно задумывался о том, чтобы появился слой заметок, чтобы дома можно было отметить места, в которые нужно пройтись и проверить информацию, проложить заранее маршрут, и потом всё это было видно в блокноте картографа. Обратная функция блокнота картографа по сути.
alexeyborovik1,
я для этих целей сам блокнот и использую. Правда приходится мухлевать с названиями папок.
Что-то я не вижу нигде никаких гипотез. Отключил слой Сообщений об ошибок, оставил только гипотезы - нигде ничего не вижу. Так должно быть или что-то у меня не так?
Alexxegorov,
Гипотезы только в Екатеринбурге.
nogo1986,
не только. В Новосибирске много.
Что делать с ограничением в 20 км/ч перед "лежачим полицейским"? Вырезать на дороге кусочек и выставлять 20 км/ч или игнорировать, чтобы не мусорить лишней информацией и не заставлять навигатор щёлкать? Пользы, имхо, от этого всё равно нет, лучше создать отдельный объект и предупреждать о нём как камерах.
Я не знаю, каков сейчас механизм обработки скоростей, но я бы предложил следующее: по некоторой дороге проезжает некоторое количество автомобилей с разными скоростями - от 30 до 80 км/ч. На данный момент определена скорость на данном участке как 40 км/ч. Если бОльшая часть автомобилей проезжает данный участок со скоростью, близкой к 60 км/ч, то можно предположить о некорректности указанного скоростного ограничения. Можно создать автоматически инцидент и проверить (по трекам и дополнительно по съемкам с регистраторов). Учитывая, что по одному и тому же участку дороги проедут не 1-2 автомобиля, а 100-200 или более, то усредненные показатели могут быть очень близки к действительности.
Так же было бы не плохо что-то придумать с автоматическим профилированием дорог по трекам - далеко не всегда, при взгляде сверху, понятно состояние дороги.
natalya@anzhir.ru,
это не даст желаемого результата, т.к. если проезд по дороге свободный, то большая часть водителей превышает скорость как раз на те же 10-20 км/ч.
Надеюсь не исправят пока спрашиваю
тут знак начало 20км/ч
https://n.maps.yandex.ru/#!/feedback/56007?z=18&ll=60.589138%2C56.758319&l=nk%23sat
как быть со встречкой, там может быть и нет ограничения?

тут конец 20км/ч
https://n.maps.yandex.ru/#!/feedback/56006?z=18&ll=60.590125%2C56.759982&l=nk%23sat
браковать? но ведь это очень полезная информация, как иначе как дать алгоритму понять, что он не прав?
Обновлено 24 октября 2017, 16:40
Rom Martin,
ставить 20. На встречке, уверен, точно такие же знаки, но даже если нет, всё равно на однорёберных дорогах ставим минимальное ограничение.
☭Okclick,
принято. Более интересен второй вопрос.
Выше даже в списке ошибок робота нет такого варианта.

А информация про место конца ограничения весьма полезна.
Обновлено 24 октября 2017, 17:00
Rom Martin,
нам оба знака в равной степени интересны. Поэтому мне не кажется, что данную ситуацию следует считать ошибочной. Робот увидел знак — робот молодец! А мы уже дальше разберёмся, где начало ограничения, а где его конец. А где вообще ограничивается максимальная масса ТС :)
☭Okclick,
хорошо, исправил оба.
В другом окне создал болото за 100500км от места, оно приклеилось к сообщению об гипотетической скорости, на до бы как-то ограничить район правки.
akbars
Сотрудник Яндекса25 октября 2017, 18:39
Rom Martin,
да, сейчас есть недочёты при связке правок с ошибками или гипотезами. Будем делать лучше.
Андрей Семко
27 октября 2017, 14:36
Очень классное и многообещающее начинание! Молодцы! *большой палец вверх*
в Москве пока не появилось, жаль :(
Олег Павлович Чечулин
1 ноября 2017, 09:50
А знаки типа "Конец зоны всех ограничений" будут распознаваться? :)
Олег Павлович Чечулин,
Здесь более глобальная проблема. Нестандартные ограничения распознаются (как правило понижающие), а вот ошибочно выставленные нестандартные значение на НЯК распознать уже сложнее.
По идее сюда же можно добавить распознавание знаком "Жилая зона" и "Конец жилой зоны" в смысле ограничения 20 км/ч.