В тексте присутствует характерная
для жанра ненормативная лексика. А есть что-то без ненормативной лексики?
Наши коллеги из The Pudding как-то нарисовали карту англоязычного хип-хопа. Мы решили, что про русский рэп тоже надо сделать такое исследование, — и сделали немного больше. Мы взяли тексты, доступные на Яндекс.Музыке, и нашли самые характерные и самые нехарактерные слова — для жанра вообще и для конкретных рэперов. Посмотрели, какие слова были в моде в разные годы. Сделали тест, в котором надо угадать, кому подражала нейросеть, когда писала строчки вроде «Я горожанин Мордора. На пиру — не сняв ошейника». Карту русского рэпа тоже нарисовали.
Как и что мы считали В этом исследовании мы изучали тексты, которые были доступны на Яндекс.Музыке в июле 2018 года. Рэпом считали то, что помечено в каталоге сервиса как рэп.
Слова, характерные для жанра в целом
Для каждого слова посчитали, как часто оно встречается в текстах рэперов и всех остальных исполнителей. Чтобы не завышать частотность слов, которые много повторяются в одной песне (например, в припеве), слово учитывали только один раз для каждого трека. Первую частотность делили на вторую — чем больше полученный показатель, тем более характерным для рэпа считали слово. Учитывали только глаголы, существительные и прилагательные, которые встречаются в обоих корпусах.
Чтобы найти самые рэповые строки, мы брали все слова из каждой строчки, складывали их показатели характерности для рэпа и делили на число слов. Чем выше средняя характерность, тем более рэповой считали строчку. Самые нерэповые строчки искали аналогичным образом.
Эпохи
Чтобы составить топы характерных слов для эпох, мы разделили все треки на пять групп по времени выпуска, а затем для каждой группы нашли слова, которые встречаются в текстах соответствующего периода гораздо чаще, чем в среднем за всё время.
Исполнители
Характерные слова искали для рэперов, входящих в топ-250 популярных на Яндекс.Музыке, для которых на сервисе было доступно не менее десяти треков с текстом. Для этого использовали метрику TF-IDF. В качестве документа брали весь репертуар исполнителя, в качестве корпуса — все доступные на сервисе тексты рэперов из топа-250. Чтобы не завышать частотность слов из припевов и других рефренов, мы снова засчитывали слову только одно вхождение для каждого трека, в котором оно звучит.
Для поиска характерной песни применили ту же метрику для каждого трека исполнителя, только теперь считали все упоминания слов в треке, предварительно удалив повторяющиеся строки. Самым характерным треком считали тот, вектор характерности слов которого оказался ближайшим к вектору исполнителя по косинусному расстоянию.
Карта русского рэпа
Полученные векторы исполнителей использовали для составления карты русского рэпа: чем меньше косинусное расстояние между векторами, тем ближе два исполнителя на карте.
Самые характерные и нехарактерные слова
Потом мы решили определить самые-самые характерные и нехарактерные слова — без оглядки на то, как часто их используют. Чтобы найти их, мы снова сравнивали частотность использования того или иного слова в рэпе и в других жанрах, но теперь уже не ограничивались рэперским топом-500.
Самые характерные глаголы для самого многословного из жанров — это базарить и п**деть. Самые нехарактерные описывают разнообразные чувства и порывы — умчаться, отзываться, тосковать и так далее. Топы прилагательных и наречий состоят в основном из мата.
Типичные персонажи для рэп-текстов — это рэпер и братик, самые нетипичные — старушка и цыганка. Место действия — студия или блок, но никак не луг и не тайга. Рэп-животные — это зая и псина, их антиподы — соловей и журавль. Ещё в хип-хопе гораздо чаще, чем в других жанрах, упоминаются названия брендов, в первую очередь — найки и гуччи, мерины и бумеры, а также айфоны. Составлять топы брендов мы не стали, потому что другим жанрам просто нечем ответить.