Блог Яндекса для вебмастеров

апрель 2009
Арзамас
10 апреля 2009, 21:20

На www.yandex.ru обновлена поисковая программа -- теперь там работает "Арзамас" (ранее известный как "Анадырь"). В серии постингов мы расскажем, что сделано за это время.


Снятие омонимии

Яндекс научился еще лучше понимать русский язык, разрешая неоднозначности слов в запросах.

Как известно, знание русской морфологии позволяет поиску Яндекса находить больше полезных ответов. Если вы спросили [реконструкция Маяковской], мы покажем также страницу со словами [станция Маяковская открылась после реконструкции]. Но русский язык -- тонкий, сложный и неоднозначный. Тем, кто ищет [фото львов], могут быть нужны как фотографии животных, так и фотографии города Львова. Человек может уточнить свое высказывание, добавив к нему одно или несколько слов: [фото африканских львов]  или [фото город львов]. Теперь эти уточнения наш поиск научился понимать.

Мы реализовали алгоритм снятия омонимии, позволяющий во многих случаях определить, какое слово имеется в виду, и предлагаем в ответ только документы с формами нужного слова. По запросу [фото африканских львов] пользователь получит в ответ документы со словами  "лев", "льва", "льву", но не получит документы, где встречаются лишь слова "Львова" или "Львову".

Как мы научили машину отличать, когда речь идет о животных, а когда -- о городах? Алгоритм снятия омонимии основан на анализе данных запросов наших пользователей, учитывает частоту слов в Интернете и их сочетаемость, а также опирается на лексическую статистику слов из Национального корпуса русского языка -- академического проекта, разрабатываемого при поддержке Яндекса. При анализе неоднозначного запроса мы выбираем наиболее частотную модель. Выбор в  пользу наиболее вероятной  конструкции помогает понять, что "день рыбака" -- это не призыв, а праздник, а "платья придворных дам" -- не обещание поделиться одеждой.

А любимый наш вопрос -- тот, на который мы знаем целых два правильных ответа. Звучит он так: "Сколько голов у Павлюченко?"


Александр Садовский и команда поиска


170 комментариев
Арзамас,поисковая программа
Арзамас-2
15 апреля 2009, 19:31

Продолжаем рассказ о новой версии поисковой программы.

Теперь поиск Яндекса учитывает регион пользователя. Начиная с "Арзамаса", результаты поиска по одному и тому же запросу могут быть разными в разных регионах.
Пользователи часто спрашивают Яндекс о людях и компаниях из их региона, локальных событиях и местах, сайтах и услугах. Например, среди самых часто задаваемых запросов в Челябинске и Ростове-на-Дону 14% "локальных", в Уфе -- 24%, а во Владивостоке -- 29%. Ранжирование с учетом региона поможет поиску дать более точный ответ на вопрос пользователя.
Движение в эту сторону поиск начал давно -- с 2006 года в Яндексе работает автоматическая геоклассификация сайтов, еще раньше появилась возможность ограничить поиск сайтами из своего региона (в расширенном поиске или взведя галочку под поисковой строкой). Но теперь Яндекс пытается сам определить, важен ли регион в каждом конкретном случае. И, конечно, у нас были и будут колдунщики, дающие локальные для пользователя ответы из Карт, Адресов, Афиши, Погоды и Новостей.

Как "Арзамас" понимает, что какие-то результаты должны быть локальными? Регион пользователя определяется по IP-адресу. При желании пользователь может указать свой регион вручную. В ранжировании стали учитываться факторы, позволяющие понять, что данная страница важна пользователям именно "своего" региона. Причем мы попытались сделать это решение максимально общим, не зависящим ни от какого региона конкретно.
Для ряда регионов -- и список их будет расти -- мы используем специально настроенную формулу ранжирования. Сейчас индивидуальная формула есть для Москвы, Санкт-Петербурга и российского регионального поиска, а также для некоторых стран СНГ.

С выходом "Арзамаса" мы начали учитывать в подсказке об опечатках настройку языка браузера при определении языка запроса в сложных случаях.


Денис Расковалов и команда поиска

241 комментарий
Арзамас,локальность
Поиск с учетом региона: инструмент веб-мастера
23 апреля 2009, 12:29

Так как с запуском "Арзамаса" Яндекс начал учитывать в поиске регион пользователя, мы сделали инструмент для веб-мастеров, упрощающий сравнение результатов поиска в разных регионах:

  • введите запрос, выберите один или два региона, нажмите "Найти". Готово! Регион доступен для выбора в выпадающем списке, если для него используется отдельная формула ранжирования;
  • ссылка "Отправить отзыв" позволяет прямо из этого инструмента указать на недоработки или достоинства ранжирования по текущему запросу и региону.

Конечно, поиск по-прежнему понимает указание региона в настройках, после чего на www.yandex.ru результаты поиска показываются локальные для выбранной географической точки.


Михаил Сенин и команда сервиса Яндекс.Вебмастер

80 комментариев
Арзамас,Я.Вебмастер,локальность
Страницы с popunder-баннерами могут ранжироваться ниже
30 апреля 2009, 12:56

Иногда веб-мастера размещают на своих сайтах рекламу в виде popunder-баннеров, которые зачастую имеют порнографическое содержимое, перемещаются по экрану вслед за прокруткой страницы и создаются таким образом, чтобы уйти от запрета браузера на всплывающие окна. Но главной отличительной особенностью popunder-рекламы является открытие нового окна при попытке закрытия баннера. По сути, это обман пользователя, так как по нажатию ссылки "закрыть" посетитель не избавляется от баннера, а получает новую порцию рекламы в другом окне.

Именно это свойство popunder-рекламы, с нашей точки зрения, мешает навигации по сайту и нормальному восприятию размещенной на странице информации. Яндекс начал отслеживать наличие баннеров, реагирующих на "закрытие" открытием окна, и сайты, размещающие их на своих страницах, будут располагаться в поисковой выдаче ниже, чем сайты, перейдя на которые пользователь сможет быстро найти ответ на свой вопрос, не получив "в нагрузку" нежданных окон с рекламой.


Группа пролетарского гнева компании Яндекс

457 комментариев
пролетарский гнев