Яндекс научился предсказывать погоду

26 ноября 2015, 12:20
Погода до сих пор влияет на нашу жизнь гораздо сильнее, чем нам, возможно, хотелось бы. Мы начинаем утро с прогноза погоды, а в течение дня жалуемся друг другу на его точность. Раньше люди пытались предсказывать погоду на основе своих наблюдений. Если птицы низко летают, а лягушки громко квакают, будет дождь. Если небо на закате красное — будет ветер. Сейчас для прогнозирования погоды используются чрезвычайно сложные метеорологические модели, которые учитывают большую часть человеческих знаний о поведении жидкостей и газов, — и всё равно прогнозы оказываются неточными. В результате появляются новые погодные приметы: всем известно, что помыть машину — это к дождю.

Современные метеомодели представляют собой сотни тысяч строк кода и задействуют для расчётов самые мощные суперкомпьютеры. В качестве исходных данных они используют практически всю метеорологическую информацию, которую можно собрать, — данные со спутников, профессиональных метеостанций и станций радиозондирования. Тем не менее, прогнозы всё равно могут ошибаться: достаточно переоценить или недооценить значение одного из тысяч факторов, и вот вы уже не взяли с собой зонтик, потому что прогноз не предупредил о дожде. Кроме того, в большинстве случаев прогнозы делаются для города в целом, и даже самым большим городам достаётся всего один прогноз, вне зависимости от размера территории.

Задача прогнозирования погоды достаточно сильно похожа на то, чем занимается Яндекс. Мы стараемся найти закономерности в огромном количестве данных и на основе этого ранжируем сайты, рекомендуем музыку или помогаем ЦЕРНу искать редкие события среди столкновений частиц. Для этого мы используем машинное обучение. И к прогнозированию погоды тоже применили машинное обучение.

Мы разработали уникальную технологию — Метеум. Она умеет строить прогноз погоды с точностью до районов города и даже до отдельных домов. Метеум сочетает классические метеорологические модели и технологии машинного обучения. Это позволяет сконцентрировать машинное обучение на том, чтобы уточнить существующие модели и учесть локальные особенности. А следовательно — давать более точный прогноз и делать меньше ошибок.


В качестве начальной информации Метеум использует данные метеостанций и данные из других источников, которые могут уточнить локальные особенности. Например, от Яндекс.Карт мы получаем данные о том, что находится у человека под ногами — асфальт, трава или, может, песчаный пляж. Всего получается более 9 ТБ данных каждый день. Начальные данные Метеум обрабатывает с помощью традиционных метеомоделей, а результаты — с помощью технологии машинного обучения Матрикснет. Матрикснет постоянно сравнивает прогнозы погоды от разных моделей с реальной погодой за окном и выделяет ситуации, когда нужно, например, взять прогноз осадков из первой модели, скорость ветра — из третьей, температуру рассчитать как линейную комбинацию второй и четвёртой. Всего Матрикснет использует более 10 тысяч различных параметров, в том числе и такие, которые напрямую не воспринимаются как погода — скажем, профиль температуры или высоту пограничного слоя.

Когда пользователь обращается к сервису, Метеум каждый раз рассчитывает новый прогноз. Яндекс.Погода определяет, где человек находится, и показывает свежий прогноз именно для этого места. Можно выбрать любое время и любое место — главное, чтобы был известен его адрес. И посмотреть, что ожидается через час у офиса, вечером — во дворе рядом с домом, а на следующее утро — в аэропорту. Если прогноз оказался неправильным — на него можно пожаловаться, причём не только знакомым, а прямо на сервисе. Пока новая Погода работает в бета-версии, и мы очень рассчитываем на замечания пользователей. Они помогут сделать прогноз точнее.

Прогноз от Метеум появился в веб-версии Яндекс.Погоды, в обновлённом приложении для Android и совсем новой Яндекс.Погоде для iOS. Сейчас он доступен для 36 регионов России, но в дальнейшем география расширится. Полный список регионов, для которых работает Метеум, такой: Москва, Белгородская, Брянская, Владимирская, Воронежская, Ивановская, Калужская, Кировская, Костромская, Курганская, Курская, Липецкая, Московская, Нижегородская, Новгородская, Оренбургская, Орловская, Пензенская, Рязанская, Самарская, Саратовская, Свердловская, Смоленская, Тамбовская, Тверская, Тульская, Тюменская, Ульяновская, Челябинская, Ярославская области, республики Башкортостан, Марий Эл, Мордовия, Татарстан, Удмуртия, Чувашская, Пермский край.
28 комментариев
Подписаться на комментарии к посту
А где же Windows Phone? :(
seven-4-seven,
Присоединяюсь. Банальный поиск для телефонов как сломали, так до сих пор не починят. Возможность делать универсальные приложения для всех устройств уже кучу времени существует, а у них на компьютере/планшете только карты и деньги, которые никто не поддерживает. Что уж говорить о выходе новых приложений? Очень расстраивает отношение такой крупной компании к пользователям windows, windows phone/mobile.
seven-4-seven,
полностью согласен, в Яндексе без уважения относятся ко всеми любимой платформе windows.
frees03,
как бы ни было печально, Windows не всеми любимая платформа. На ней мало пользователей и поэтому ей не уделяют внимания.
Дмитрий Домрачев
26 ноября 2015, 13:11
Что?! А Питер?!
Дмитрий Домрачев,
держи уже обученную модель предсказания погоды в Питере:

String PredictPiterWeather(Date currentDate) {
    return("Пасмурно, возможны осадки");
}
Андрей Лаховский
26 ноября 2015, 14:55
Kobets  Sergey, пять баллов!
Kobets  Sergey, 👍
Удинцев Николай
18 мая 2016, 14:29
Kobets Sergey,
это прекрасно.
А будет ли в будущем возможность использовать информеры для сайтов, показывающие погоду на основе прогноза от Метеум? Для небольших городков сейчас приходится выбирать в информере ближайший город, доступный в вашем списке, а хотелось бы видеть в виджете название родной деревни :)
На Tab S 8.4 не запускается и даже отчёт не создаёт.., просто вылетает в ланчер, Android 5.0.2
А по поводу точности погоды пока не нашёл конкурентов MSN Погоде, странно но точнее америкосов у нас погоду не знают.
виджет забыли
sobaka2@kraslan.ru
26 ноября 2015, 18:52
Чет Яндекс совсем погнал про точность погоды прям до дома:-) Раньше заходил и видел погоду в своем городе, а теперь Я в Москве стал неожиданно, хотя из Красноярска не выезжал последние 4месяца. Яндекс-kozel!
>> Начальные данные Метеум обрабатывает с помощью традиционных метеомоделей
Неужели в Яндексе считается глобальная модель GFS? Звучит сомнительно, поскольку это подменяет работу прогностического центра NCEP, а сотни человеко лет. Могу поверить, что WRF  считается в Яндексе, но неужели у вас есть целый отдел под такую задачу?
battercake,
, будьте проще :)
Мне кажется Яндекс просто анализировал прогнозы нескольких метеослужб, и для каждой местности определил веса - достоверность каждой. Для вычисления "своего" прогноза яндекс будет скрещивать чужие прогнозы. Далее по отзывам пользователей эти веса будут корректироваться. Это не модель, это система массового обслуживания :)
tanianikiti,

Невозможно быть проще, когда выдаются такие красивые обещания. Позже обнаружил более подробное и скромное описание на хабре. Отчасти вы правы, что они собирают данные, но и WRF считают, как я предполагал.
круто.
Знаем, знаем мы их прогнозы, на улице +5, а у них в погоде -30 показывает, а мы все понять не можем если у яндекса -30 то какого мы в пуховике так потеем...
Если теперь будет хотя бы текущую показывать верно, то это реально будет прогресс...
на виджетах для андроида очень мелкий текст и иконки, новая версия 4,00 понравилась
Верните опционально белые иконки для виджета на Андройде. Подавляющее большинство пользовались прозрачным виджетом. А эти цветные иконки и цветной шрифт далеко не со всеми фонами совместимы. И линия эта лишняя по среди виджета. Скорость ветра и давление так же верните. Нигде теперь нет. И зачем половина виджета перегружена информацией про температуру на ближайшие часы? Ну вилка уже указана под температурой. Остальное - лишнее. Раньше виджет был информативный и приятный, а теперь только работа "креативщика"( #вернитестаруюяндекспогоду
Самый достоверный прогноз погоды может быть только там, где есть метеостанция с привязанными к ней координатам, которая выкладывает данные на интернет сервер и где они синхронизируются с плановыми данными. После этого происходит корректировка прогноза по именно этим координатам. Любая метеостанция может охватить ячейку не более 3 x 3 км по прогнозу погоды.
meteo.rf,
метеостанция может показать погоду в текущий момент, но будущее она как определит? кое как предсказать будущее можно только со спутника.
сегодня минус 1 на градуснике а у вас по Самаре с утра минус 5 от куда берете погоду с потолка
Будут ли новые информеры для сайта? Тот же конструктор, например?
Ваши стыдно на сайт ставить.
рекламный ход клевый! ни за что ds не отвечаете. Ни за качество ни за оправдываемость.
Так дизайн навели...Это бред считать модель на сетки высокого разрешения не имея сети проверочных станций
Но обывателям, которые думают большим пальцем а не головой - прокатит
По моему, шутка затянулась. :)
nikolai.ozerow
30 мая, 12:33
 Отлично  как  в  живую  на  компе  смотрится ,  молодцы