Клуб о поиске Яндекса

июль 2012
Полнотекстовый поиск в pdf
patrik-a
5 июля 2012, 13:22

Мы планируем сделать на сайте библиотеку из pdf текстов. Может ли Яндекс-поиск искать внутри них и как быстро они будут проиндексированы? Сайт делается на Битриксе.

6 комментариев
поиск по сайту
Многоязычный разный контент на странице по одному и тому же адресу
randall-radf
9 июля 2012, 15:19

Добрый день!

 

Имеется движок сайта, который позволяет делать следующую вещь: при переходе по любой ссылке сайта пользователь может приписать к GET/POST параметрам ?lang=%LANG%, что соответственно изменит язык сайта. При этом, содержание, к примеру, главной страницы / и некоторых других изменится также, на русском выводится одно, на английском другое, на немецком третье - для разных стран будет выводиться разное содержимое. Можно ли как-то сообщать яндексу, что это не злой клоакинг, а просто сейчас он индексирует версию, предназначенную для других регионов?

 

Возможно, робот поймёт о мультиязычном содержимом из мета-тэга content-language, который изменяется в шаблоне при изменении языка на сайте?

 

Заранее благодарен за ответ. 

7 комментариев
язык
вопрос про расширенный сниппет
seospin
10 июля 2012, 12:56

Заметил, что у некоторых сайтов расширенный сниппет с адресом и соцзакладками выдается для всех страниц сайта. Хотя в хелпе четко написано

"Социальные ссылки показываются независимо от запросов, но только для главной страницы сайта и в том случае, если она является наиболее релевантным ответом на заданный запрос."

"Сниппет с адресом и телефоном организации показывается только для одной страницы сайта — той, которую Яндекс считает напрямую связанной с этой организацией. Это может быть как главная, так и внутренняя страница сайта. Понятие, которым мы в данном случае оперируем — не сайт и не главная его страница, а организация: географический адрес, телефон и сайт — свойства, описывающие ее."

У меня после добавления информации в справочник так и произошло - только на главной странице.

Вопрос №1 - где правда? Я вот тоже хочу расширенный сниппет для всех страниц.

Вопрос №2 - в чем проблема сделать расширенный сниппет для всех страниц?

 

3 комментария
сниппет
Как правильно склеить/переклеить зеркала
t1r1
14 июля 2012, 00:21
Склейка и переклейка зеркал - не такие уж и сложные процессы, если следовать нескольким простым правилам. В этом посте мы описали пошагово самый простой и надежный способ, а также перечислили типичные ошибки, из-за которых не происходит правильная склейка/переклейка зеркал сайта.
Как правильно склеить/переклеить зеркала

Склейка и переклейка зеркал - не такие уж и сложные процессы, если следовать нескольким простым правилам. В этом посте я попробую описать пошагово самый простой и надежный способ склейки/переклейки.

Разноименные домены

Предположим, мы хотим разместить сайт на доменах site.ru и сайт.рф (не забываем, что наш сайт может быть доступен также и по адресам www.site.ru и www.сайт.рф).

  1. Определяемся с главным зеркалом. Допустим, нам больше подходит сайт.рф, именно его мы и будем развивать в будущем.
  2. Настраиваем, чтобы домены возвращали один и тот же контент, и не допускаем ситуаций, когда информация на одном домене обновляется, а на другом нет. 
  3. Прописываем во всех файлах robots.txt каждого домена директиву Host с адресом желаемого главного зеркала, у нас это будет:

            Host: xn--80aswg.xn--p1ai 

           (так как у нас домен кириллический, его имя должно указываться в Punycode).

  4. Проверяем, что site.ru/robots.txt, www.site.ru/robots.txt, сайт.рф/robots.txt и www.сайт.рф/robots.txt содержат одинаковые указания на главное зеркало.

  5. Идем в форму Сообщить о новом сайте, добавляем сайт.рф.

    Если получаем сообщение, что сайт добавлен на индексирование или что он уже индексируется, значит, сайт либо уже главное зеркало, либо ни с кем не склеен.
    Если же получаем сообщение "Указанный вами сайт является неглавным зеркалом www.какой-то-сайт.ru", значит, наш сайт - зеркало и до момента переклейки в поиске сайт.рф участвовать не будет.
  6. Ждем склейки/переклейки зеркал, которые происходят в момент обновления поисковых баз. Для разноименных доменов это занимает до 2-6 недель. Узнавать об обновлениях поисковых баз можно подписавшись на соответствующие сообщения в настройках сервиса Яндекс.Вебмастер.

  7. Profit!


Домены с www/без www

Если же нам требуется выбрать главное зеркало в паре www/без www, то можно просто воспользоваться инструментом Главное зеркало в сервисе Яндекс.Вебмастер. Срок склейки/переклейки зеркал для данных пар составляет 1-2 обновления поисковых баз (до 2 недель).

 


Про выпадение из поиска

Главной причиной, по которой сайты перестают индексироваться и выпадают из поиска при смене зеркал, является установка редиректа на неглавное зеркало. Если форма Сообщить о новом сайте показала, что ваш сайт неглавное зеркало, то  редирект на него устанавливать не нужно. Сайты индексируются и участвуют в поиске только по адресу главного зеркала, в этом случае установка редиректа на неглавное приведет к тому, что сайт до момента переклейки зеркал вообще не будет индексироваться и может пропасть из выдачи.

Также не стоит злоупотреблять сменой главного зеркала: продумайте изначально этот вопрос и остановитесь на каком-то одном домене. Частая смена указаний на главное зеркало в директиве Host, смена редиректа с одного домена на другой могут отразиться на количестве страниц, участвующих в поиске и, как следствие, на ранжировании сайта в целом.

Типичные ошибки, из-за которых не происходит правильная склейка/переклейка:

  1. Контент на сайтах различается.
  2. Неправильно прописана директива Host:  
         Host: http://www.yandex.ru  (протокол http:// указывать не нужно, в отличии от https://)
         Host: сайт.рф  (кириллический домен должен быть указан в Punycode)
  3. На всех доменах указана различная директива Host, поэтому выбор главного зеркала не очевиден для робота.
  4. Какой-то из доменов запрещен к индексированию в robots.txt.
  5. Один из доменов неизвестен роботу. Изначально сообщайте обо всех доменах через форму Сообщить о новом сайте.

 

Полезная информация

Ну и в заключение приведу несколько полезных инструментов, которые могут пригодиться:


Много полезной информации в Помощи:
Что такое robots.txt
Директива Host для кириллических доменов
Основной раздел про зеркала

Также несколько дней назад мы обновили и раздел Помощи про переезд на новый домен.



Нет комментариев
робот,индексация сайта,зеркала