Мы верим, что оценивать качество поиска нужно на реальных запросах, которые задают наши пользователи. Так получается гораздо ближе к правде, чем если бы мы данные для оценки придумывали сами. Но есть одна трудность: в смысле запроса, который задал кто-то другой, нужно сначала разобраться. Иногда это превращается в настоящую детективную историю. Некоторыми из таких историй я хочу поделиться. Вот первая из них.
Весной 2009 года мы начали очередной проект по оценке качества ответов на новостные запросы. Начали, как водится, с получения выборки реальных пользовательских новостных запросов. В теории все просто: если запрос обычно задают редко, а потом вдруг начинают задавать часто, значит, в мире произошло что-то, с ним связанное. Придумано давно, называется Непостоянство Интересов Населения Интернета (сокращенно НИНИ). Известно также, что скачкообразный рост популярности запроса бывает не только из-за новостей. Итак, мы взяли НИНИ-запросы и стали искать среди них новостные. Было это 9 апреля 2009 года.
В первом тестовом наборе запросов почти все было логично. Много спрашивали про Катю Лель, она в этот день родила дочь. Много спрашивали про Ливерпуль – Челси и Барселону – Баварию, которые как раз накануне выясняли отношения в Лиге Чемпионов.
Но был один персонаж, который поставил нас в тупик. Звали его [врач-негомеопат]. Беглый обзор новостей показал, что никакие врачи ничем в этот день не прославились, никаких скандалов, открытий, судебных процессов и других значимых событий найти не удалось. Успокоиться мы уже не могли: что врач-негомеопат делает вместе с Катей Лель и Ливерпулем?
Через несколько дней правда открылась – врача-негомеопата в этот день загадали в кроссворде в бесплатной газете, и он вызвал у читателей достаточные затруднения, чтобы многие спросили о нем у Яндекса. Правильным ответом было слово «аллопат». Никаких новостей, связанных с ним, не было, и свежие страницы в ответе не требовались.
После этого случая я на многие запросы смотрю другими глазами. Например, человек, спрашивающий [небольшая шкатулка для хранения драгоценностей], может быть, вовсе не хочет эту шкатулку купить (что ему настойчиво предлагают и Яндекс, и Гугл). Может, он хочет узнать, как эта штука одним словом называется?..
Роман Поборчий, отвечаю на вопросы о смысле жизни качестве поиска