Сто баллов интересности: как Яндекс определяет темы года

8 декабря 2016, 07:00

Каждый декабрь мы публикуем список событий, людей и явлений, ставших приметами уходящего года. Итоги года —  популярный жанр: их подводят в телепередачах, на новостных сайтах, в газетах. Особенность нашего списка в том, что он составлен не редакцией, а алгоритмами: туда попадают темы, которые в течение года вызвали у пользователей Яндекса наибольший всплеск интереса.

Логично предположить, что интерес людей к той или иной теме соотносится с количеством поисковых запросов на эту тему. Но выявить темы, характерные для конкретного года, количество запросов не поможет. Список самых популярных тем остаётся примерно одинаковым на протяжении многих лет: люди изо дня в день спрашивают о погоде или о пробках на дорогах.

Поэтому «Темы года» — это не то, о чём много спрашивали в целом, а то, интерес к чему резко вырос в уходящем году. Это может быть новое явление — например, «брекзит» — или уже известный феномен, вновь ставший актуальным. Так произошло с покемонами: они вышли на новый виток популярности после релиза Pokémon Go. Резкий рост числа запросов на ту или иную тему мы называем всплеском.

Всплеск интереса к покемонам спровоцировала игра Pokémon Go, вышедшая 6 июля

Чтобы выявить актуальные темы и упорядочить их по важности, алгоритм проводит анализ всплесков. Сперва он выявляет запросы, которых в определённый момент стало гораздо больше, чем раньше, а затем группирует их по темам. Это не так-то просто: ведь об одном и том же можно спросить совершенно по-разному.

Для начала в группу собираются запросы, которые содержат одно и то же слово или набор слов: допустим, [лабутены песня], [лабутены туфли], [лабутены ленинград], [лабутены купить]. Затем алгоритм смотрит на другие слова, которые встречаются в этих же запросах, и выявляет связи между ними. Благодаря этому можно понять, что слова «клип» и «экспонат» указывают на интерес к песне группы «Ленинград», а слова «купить» и «цена» — к туфлям. Это две разные темы.

Чтобы сделать список тем ещё точнее, алгоритм сравнивает поисковую выдачу по разным запросам из получившихся групп. Запросы, в ответ на которые выдаются одни и те же сайты, скорее всего, относятся к одной теме.

Когда список тем готов, их ранжируют по силе всплеска — разнице между числом запросов до всплеска и на пике интереса к теме. Сила оценивается в баллах от одного до ста. Сравнив баллы, можно выяснить, какая из тем вызвала больший резонанс. Так, очередной сезон «Игры престолов» (100 баллов) интересовал пользователей сильнее, чем выборы в США (75 баллов) и новый айфон (78 баллов).

Всплески используются не только для того, чтобы собрать список важного за год. С их помощью также можно выделять «темы недели» или «темы месяца» — как для всей страны, так и для отдельных регионов. Отчёты о событиях, которые вызывают у людей особый интерес, помогают СМИ сформировать информационную повестку — поэтому мы делимся ими с журналистами через проект «Яндекс для медиа».

Ссылки

Сайт «Темы года в поиске Яндекса» — расскажет, как менялся интерес пользователей к разным людям, событиям и явлениям по всей России и в отдельных регионах.

Тест «В этом году или нет?» — поможет проверить память и понять, насколько ваше восприятие времени совпадает с реальностью.

Набор стикеров «Мемы года» — внесёт разнообразие в диалоги в Telegram.

34 комментария
Очень интересная статья! Мне понравилось. Через несколько лет можно будет посмотреть, какая тема вызвала пик интереса и в какой промежуток времени это происходило:) Кстати, это будет полезно для маркетинга: торговые предприятия смогут узнать, в какое время определенные товары ищут чаще, и будут менять свои цены на то, чтобы повысить спрос.
В общем, это очень полезно и интересно. Спасибо!:)
Интересно, но и несколько жутковато: мы все как под микроскопом у поисковиков..
Света Чистякова
8 декабря 2016, 17:20
Ну вы же понимаете, что данные анонимные? :) Они рассказывают о тенденциях, но никак не о конкретных людях.
bddd2010,
"под микроскопом", но, с другой стороны, Вы же можете не пользоваться интернетом, и не будете под микроскопом ;)))
bddd2010,
Во-первых, как отмечено выше вы можете не пользоваться интернетом. Во -вторых, так ли это плохо? В-третьих, не пользуйтесь поисковиками, набирайте ссылки в адресной строке, если вас уж так пугает яндекс.
пробил "спорт" - нет наиактуальнейшей темы "допинг".
Света Чистякова
8 декабря 2016, 18:46
Не-не, она попала в темы года как «допинговый скандал», в разделе «События». 
Обновлено 8 декабря 2016, 18:47
по поводу отключений электроэнергии в крыму ?
Привет
"Порно" на первом месте, не стоит забывать;)
RomanTurbin,
Порно всегда на первом месте  ,а здесь смотрят на то  , что резко скачнуло в популярности. 
Света Чистякова
9 декабря 2016, 17:38
sonatamoney,
всё так!
Круто, вы молодцы =)
sk8@nikos-avenue.ru
9 декабря 2016, 13:20
почему  так мало комментариев?)
sk8@nikos-avenue.ru,
потому что дизайнер этого "блога" - профессионал и спрятал ссылку на эту страницу среди цветных графиков.
Света Чистякова
10 декабря 2016, 01:40
Вам хотелось бы, чтобы ссылка была более заметна?
Света Чистякова,
на фоне аршинных шрифтов заголовка и категорий строка "Как мы считали" теряется (особенно на экране с разрешением свыше FullHD).
Всем добра и сладостей.
Обновлено 10 декабря 2016, 07:19
Удалённый пользователь
11 декабря 2016, 09:26
А скажите пожалуйста для чего эти графики нужны? Ведь по сути все и так знают, напр: "Какой фильм самый просматриваемый за июль или когда был ажиотаж к сериалу "Физрук" Вы х**йней маетесь. И новости ваши хоть и свежи но желты до безобразия как моча на снегу!
Пока
nikiforov.mihail.dmitrievish.7
11 декабря 2016, 18:15
Ufdyj
Комментарий удалён
m9217777m,
а попытаться написать статьи и закинуть в аддурилки не судьба ?
Почему мистер дудец, в разделе интернет, а не в разделе мемы ?
Света Чистякова
12 декабря 2016, 12:54
Здравствуйте. В раздел «Интернет» попали явления, которые в интернете зародились и там же распространились. В раздел «Мемы» вошли явления, которые пришли не только из Сети, но во многом благодаря ей обрели популярность и претерпели трансформации (фотожабы, демотиваторы и так далее).
Света Чистякова,
НУ поясно. Пасиба
Главное-это изменение сознания людей (в меру их интеллекта) в данный момент времени.
Уже многие осознают,что развал СССР-предательство со стороны Б.Ельцина и его команды.
Европейцы лишились своих традиционных морально-нравственных ценностей,существуя в 
мире "золотого тельца.Мир живет в состоянии непрерывной войны (в том числе идеологической).Но это долго продолжаться не может.Ясно-либо глобальная катастрофа,
либо компромисс и деловое сотрудничество.Меня поражает одно-это бесконечная болтовня
на всех информационных уровнях,которая ни к чему привести не может.Коренные изменения в мире неизбежны.

это точно все верно 

АЛЕЌСѦНДِР̗ ЛЕБЕДЀВ҉
2 января 2017, 07:05
8 вопросов
Вот это память!
Вы помните даже не самые популярные темы года7/8:АЛЕЌСѦНДِР̗ ЛЕБЕДЀВ҉
Обновлено 30 января, 12:27
amorozov@orion.sale
12 января 2017, 18:08
Все замечательно! Отличный проект, но почему нет среди регионов Москвы? То есть это аналитика исключительно по тем регионам, которые можно дифференцированно выбрать или как?)
всем спасибо
Николай
16 мая 2017, 19:36
Супер))