Сто баллов интересности: как Яндекс определяет темы года

8 декабря 2016, 07:00

Каждый декабрь мы публикуем список событий, людей и явлений, ставших приметами уходящего года. Итоги года —  популярный жанр: их подводят в телепередачах, на новостных сайтах, в газетах. Особенность нашего списка в том, что он составлен не редакцией, а алгоритмами: туда попадают темы, которые в течение года вызвали у пользователей Яндекса наибольший всплеск интереса.

Логично предположить, что интерес людей к той или иной теме соотносится с количеством поисковых запросов на эту тему. Но выявить темы, характерные для конкретного года, количество запросов не поможет. Список самых популярных тем остаётся примерно одинаковым на протяжении многих лет: люди изо дня в день спрашивают о погоде или о пробках на дорогах.

Поэтому «Темы года» — это не то, о чём много спрашивали в целом, а то, интерес к чему резко вырос в уходящем году. Это может быть новое явление — например, «брекзит» — или уже известный феномен, вновь ставший актуальным. Так произошло с покемонами: они вышли на новый виток популярности после релиза Pokémon Go. Резкий рост числа запросов на ту или иную тему мы называем всплеском.

Всплеск интереса к покемонам спровоцировала игра Pokémon Go, вышедшая 6 июля

Чтобы выявить актуальные темы и упорядочить их по важности, алгоритм проводит анализ всплесков. Сперва он выявляет запросы, которых в определённый момент стало гораздо больше, чем раньше, а затем группирует их по темам. Это не так-то просто: ведь об одном и том же можно спросить совершенно по-разному.

Для начала в группу собираются запросы, которые содержат одно и то же слово или набор слов: допустим, [лабутены песня], [лабутены туфли], [лабутены ленинград], [лабутены купить]. Затем алгоритм смотрит на другие слова, которые встречаются в этих же запросах, и выявляет связи между ними. Благодаря этому можно понять, что слова «клип» и «экспонат» указывают на интерес к песне группы «Ленинград», а слова «купить» и «цена» — к туфлям. Это две разные темы.

Чтобы сделать список тем ещё точнее, алгоритм сравнивает поисковую выдачу по разным запросам из получившихся групп. Запросы, в ответ на которые выдаются одни и те же сайты, скорее всего, относятся к одной теме.

Когда список тем готов, их ранжируют по силе всплеска — разнице между числом запросов до всплеска и на пике интереса к теме. Сила оценивается в баллах от одного до ста. Сравнив баллы, можно выяснить, какая из тем вызвала больший резонанс. Так, очередной сезон «Игры престолов» (100 баллов) интересовал пользователей сильнее, чем выборы в США (75 баллов) и новый айфон (78 баллов).

Всплески используются не только для того, чтобы собрать список важного за год. С их помощью также можно выделять «темы недели» или «темы месяца» — как для всей страны, так и для отдельных регионов. Отчёты о событиях, которые вызывают у людей особый интерес, помогают СМИ сформировать информационную повестку — поэтому мы делимся ими с журналистами через проект «Яндекс для медиа».

Ссылки

Сайт «Темы года в поиске Яндекса» — расскажет, как менялся интерес пользователей к разным людям, событиям и явлениям по всей России и в отдельных регионах.

Тест «В этом году или нет?» — поможет проверить память и понять, насколько ваше восприятие времени совпадает с реальностью.

Набор стикеров «Мемы года» — внесёт разнообразие в диалоги в Telegram.

33 комментария
Подписаться на комментарии к посту
Очень интересная статья! Мне понравилось. Через несколько лет можно будет посмотреть, какая тема вызвала пик интереса и в какой промежуток времени это происходило:) Кстати, это будет полезно для маркетинга: торговые предприятия смогут узнать, в какое время определенные товары ищут чаще, и будут менять свои цены на то, чтобы повысить спрос.
В общем, это очень полезно и интересно. Спасибо!:)
Интересно, но и несколько жутковато: мы все как под микроскопом у поисковиков..
Света Чистякова
8 декабря 2016, 17:20
Ну вы же понимаете, что данные анонимные? :) Они рассказывают о тенденциях, но никак не о конкретных людях.
bddd2010,
"под микроскопом", но, с другой стороны, Вы же можете не пользоваться интернетом, и не будете под микроскопом ;)))
bddd2010,
Во-первых, как отмечено выше вы можете не пользоваться интернетом. Во -вторых, так ли это плохо? В-третьих, не пользуйтесь поисковиками, набирайте ссылки в адресной строке, если вас уж так пугает яндекс.
пробил "спорт" - нет наиактуальнейшей темы "допинг".
Света Чистякова
8 декабря 2016, 18:47
Не-не, она попала в темы года как «допинговый скандал», в разделе «События». 
Обновлено 8 декабря 2016, 18:47
по поводу отключений электроэнергии в крыму ?
Привет
"Порно" на первом месте, не стоит забывать;)
RomanTurbin,
Порно всегда на первом месте  ,а здесь смотрят на то  , что резко скачнуло в популярности. 
Света Чистякова
9 декабря 2016, 17:38
sonatamoney,
всё так!
Круто, вы молодцы =)
sk8@nikos-avenue.ru
9 декабря 2016, 13:21
почему  так мало комментариев?)
sk8@nikos-avenue.ru,
потому что дизайнер этого "блога" - профессионал и спрятал ссылку на эту страницу среди цветных графиков.
Света Чистякова
10 декабря 2016, 01:40
Вам хотелось бы, чтобы ссылка была более заметна?
Света Чистякова,
на фоне аршинных шрифтов заголовка и категорий строка "Как мы считали" теряется (особенно на экране с разрешением свыше FullHD).
Всем добра и сладостей.
Обновлено 10 декабря 2016, 07:19
Удалённый пользователь
11 декабря 2016, 09:26
А скажите пожалуйста для чего эти графики нужны? Ведь по сути все и так знают, напр: "Какой фильм самый просматриваемый за июль или когда был ажиотаж к сериалу "Физрук" Вы х**йней маетесь. И новости ваши хоть и свежи но желты до безобразия как моча на снегу!
Пока
nikiforov.mihail.dmitrievish.7
11 декабря 2016, 18:15
Ufdyj
Комментарий удалён
m9217777m,
а попытаться написать статьи и закинуть в аддурилки не судьба ?
Почему мистер дудец, в разделе интернет, а не в разделе мемы ?
Света Чистякова
12 декабря 2016, 12:54
Здравствуйте. В раздел «Интернет» попали явления, которые в интернете зародились и там же распространились. В раздел «Мемы» вошли явления, которые пришли не только из Сети, но во многом благодаря ей обрели популярность и претерпели трансформации (фотожабы, демотиваторы и так далее).
Света Чистякова,
НУ поясно. Пасиба
Главное-это изменение сознания людей (в меру их интеллекта) в данный момент времени.
Уже многие осознают,что развал СССР-предательство со стороны Б.Ельцина и его команды.
Европейцы лишились своих традиционных морально-нравственных ценностей,существуя в 
мире "золотого тельца.Мир живет в состоянии непрерывной войны (в том числе идеологической).Но это долго продолжаться не может.Ясно-либо глобальная катастрофа,
либо компромисс и деловое сотрудничество.Меня поражает одно-это бесконечная болтовня
на всех информационных уровнях,которая ни к чему привести не может.Коренные изменения в мире неизбежны.

это точно все верно 

АЛЕЌСѦНДِР̗ ЛЕБЕДЀВ҉
2 января, 07:10
8 вопросов
Вот это память!
Вы помните даже не самые популярные темы года
7/8:АЛЕЌСѦНДِР̗ ЛЕБЕДЀВ҉
Обновлено 2 января, 07:10
amorozov@orion.sale
12 января, 18:06
Все замечательно! Отличный проект, но почему нет среди регионов Москвы? То есть это аналитика исключительно по тем регионам, которые можно дифференцированно выбрать или как?)
всем спасибо