Подмосковные пробки в дачный сезон

Сегодня мы выпустили очередное исследование про пробки (архив этих исследований можно найти здесь и здесь). На этот раз оно посвящено дорожному движению в дачный сезон — мы рассмотрели загруженность всех основных подмосковных трасс на протяжении 40 километров от МКАДа. Данные охватывают четыре месяца 2013 года — с мая по август.

Загруженность подмосковных дорог в пятницу вечером

Яндекс.Пробки сохраняют данные о скорости движения на дорогах за последние несколько лет. Это огромный массив — информация записывается каждые четыре минуты. Скажем, фрагмент архива с информацией о скоростях за май и три летних месяца прошлого года занимает около одного терабайта. Для работы с таким объемом данных мы использовали высокопроизводительный кластер на основе модели распределённых вычислений MapReduce, когда данные хранятся на многих серверах, и запросы на вычисления поступают на каждый из них одновременно. Благодаря этому расчёт занял всего несколько часов. Если бы мы считали всё на одной машине, то только для того, чтобы скачать все данные, потребовались бы сутки, а расчёты, видимо, заняли бы недели.

Всего для этого исследования мы построили 252 маршрута — это отдельные участки крупнейших подмосковных трасс в обе стороны. Для каждого маршрута посчитали среднюю скорость в разные периоды времени. Получилось почти восемь миллионов значений скоростей.

Среди прочего, мы выяснили, что с точки зрения транспортной доступности лучше всего иметь дачу по трассе М4 «Дон», Новорижскому, Симферопольскому шоссе или трассе А105 в аэропорт Домодедово. А хуже всего — на Дмитровском шоссе и трассах восточного направления: Егорьевском и Носовихинском шоссе и трассе А102 (на Раменское).

По любому шоссе в субботу доехать до дачи можно быстрее, чем в пятницу. Особенно это заметно на Симферопольском, Киевском и Новорязанском шоссе: там скорость движения по субботам возрастает более чем в полтора раза.

Для большинства дачников немного быстрее возвращаться с дачи утром в понедельник. Но если ваш дом — на Киевском и Калужском шоссе, имейте в виду, что там скорость движения по понедельникам несколько падает.

Подмосковные пробки

Другие интересные факты читайте в нашем исследовании. А если вы часто ездили в прошлом году на дачу — пишите в комментариях подробности, как едет ваше шоссе.

23 комментария
"Для работы с таким объемом данных мы использовали высокопроизводительный кластер на основе модели распределённых вычислений MapReduce, когда данные хранятся на многих серверах, и запросы на вычисления поступают на каждый из них одновременно. Благодаря этому расчёт занял всего несколько часов." - тут у меня возникает вопрос: возможно ли воспользоваться описанной технологией для решения других задач? (Например, мне было бы интересно решать электродинамические задачи).
Stepan R.,
данный подход используется для агрегации и обработки больших объемов данных. Отлично подходит для статистических задач. Если вы сможете сформулировать свою задачу в таком ключе, вам подойдет данный подход.

На моем опыте физические задачи чаще связаны со сложными вичислениями, чем с большим объемом данных, в таком случае необходимо искать другую технологию. Однако, если к решению можно подходить статистически - можно пробовать.
Stepan R.,
Ключевым требованием для применения MapReduce является возможность независимой обработки каждой записи. Так в нашем случае мы могли параллельно обсчитывать данные за каждый момент времени (этот этап называется Map) -- этим обеспечивается отличная масштабируемость, и затем остаётся собрать со всех серверов итог (этап Reduce).
"возможность независимой обработки каждой записи" - вот с этим проблема, т.к. есть единый массив данных. Спасибо за разъяснения.
Комментарий удалён
diana-maistrenko2013
26 ноября 2015, 15:10
sayty-prodvizhenie, надо полагать, вы не собираетесь исправлять эту неполадку? Просто на я.ру много детей, которые мечтают что бы они заработали. Поверьте, я один из достаточно активных пользователей я.ру и знаю, что многие покидают ваш сайт именно из-за того, что не ставятся аватары и уж слишком часто высвечивается "сервис временно недоступен". Кстати, не объясните почему так происходит?
sayty-prodvizhenie2
26 ноября 2015, 15:10
bertie, нет. да и вообще эту тему лучше не поднимать. меня вот забанили. и уволили. и видите сообщения выше удалили. пишу с резервного. вообще вся эта тема про анимированные аватары уходит корнями в массонство и южную мексику. лучше забудьте и не упоминайте о них.
diana-maistrenko2013
26 ноября 2015, 15:10
sayty-prodvizhenie2,
только не говорите мне, пожалуйста, что вас уволили из-за тех комментариев. А что же по-вашему массонство? Просто интересно узнать ваше понимание сиего слова.
bertie, Здравствуйте, обратите внимание, что вы общаетесь с продвижением сайтов, а не с сотрудником Яндекса)
diana-maistrenko2013
26 ноября 2015, 15:10
Алексей,
и вам доброго дня. А не подскажите тогда место, где можно пообщаться с сотрудником Яндекса?
bertie, К вашим услугам, спрашивайте)
diana-maistrenko2013
26 ноября 2015, 15:10
Алексей,
вот пустили слухи, что я.ru собираются закрыть. Одни говорят: "на лето", другие "навсегда", а третьи - что это вообще чушь и шутки. Не проясните ситуацию. Я.ру действительно собираются закрыть? Если да, то на какой период?
Заранее спасибо Вам.
bertie, Если вдруг мы соберёмся закрыть Я.ру, вы узнаете об этом не из слухов. Так что не переживайте.
diana-maistrenko2013
26 ноября 2015, 15:10
Алексей,
хорошо. Мы рассчитываем на вашу порядочность. Да, можно ещё один вопрос?
bertie, Конечно.
sayty-prodvizhenie2
26 ноября 2015, 15:10
bertie, хорошо, я не буду говорить, что уволили. но выше Алексей говорит, что я не сотрудник Яндекса, так что выводы делайте сами... А про массонство вообще запрещено говорить, видите я даже с двумя "с" специально пишу, чтобы ОНИ не вычеслели :D
Любопытно, но полезно только для тех, кто собирается покупать дачу. Если бы была информация по малому бетонному кольцу, то можно было бы понимать, как можно объезжать пробки на твоем направлении.
sayty-prodvizhenie2
26 ноября 2015, 15:10
Какой смысл включать комментарии в блоге, если их тереть???77 Еще раз и сколько не прикармливайте анонсами с глагне, я не приду!!!1
sayty-prodvizhenie2,
Есть комментарии по теме, а есть флуд и троллинг)
sayty-prodvizhenie2
26 ноября 2015, 15:10
Алексей,
правда чтоле О_о? мне никогда не доводилось с этим сталкиваться. всегда казалось, что такое бывает только в легендах. но верю, да.
Зачем вы хотите закрыть я.ry на лето?
Ведь летом все наоборот хотят здесь сидеть,и я в том числе!!!
Не закрывайте я.ry не когда Прошу!!!
sayty-prodvizhenie2
26 ноября 2015, 15:10
ఞAнгелఞ, хорошо, я закрывать не буду.
Великий просветитель
26 ноября 2015, 15:10
Да, дачные дома и villostroy в Москве и области напрямую зависит от пробок. Уж подсобите народу скорее облагородить свои 6 соток)
Что-то в последнее время сервис я.пробки стал сильно запаздывать в отображении результатов. Да и данные в мобильных картах отличаются от того, что в браузере... пичаль