Клуб о поиске Яндекса

Склейка зеркал с различной навигацией.

alexey.abak
3 февраля 2011, 13:36

Добрый день!

Подскажите как можно склеить зеркала одного сайта имеющие различную навигацию.

Имеются два домена для одного сайта один в зоне ru другой в зоне рф.

Отличие сайтов только в URL навигации. На кирилическом домене используется человеко ориентированная навигация в стиле http://пример.рф/раздел/название. На домене ru класическая адресация http://example.ru/unit1.html.

Хотелось
бы что бы поиск выдавал только кирилический домен. Домер ru нужен
только для обратной совместимости, для пользователей использующих
программы которые не умеют обрабатывать кирилические URL.

Судя по
справке яндекс склеит зеркала только при одинаковой структуре ссылок. А в
данном случае структура (с точки зрения робота) будет разной, несмотря
на то что с точки зрения пользователя структура одинаковая.

Корректным
ли будет проверять что заходит робот и перенаправлять его на
кирилический домен? Не посчитают ли это обманом поисковой системы в
соответствии с правилом что роботу надо отдавать те же страницы что и
пользователю?

19 комментариев
Подписаться на комментарии к посту
Стоит добавить на сайт с человеко понятной навигацией еще и классическую, специально для Яндекса. Как делают же на форумах архивные страницы тоже специально для поисковых машин.
Как это лучше сделать?

Есть меню на кирилическом домене
Иван
Петр

оно же на ru
Иван
Петр

Отдавать поисковику на кирилическом домене страницы ru домена? Сайт один и в принципе страница открывается и так:
htpp://пример.рф/автор/Иван
и так
htpp://пример.рф/author0.html
но от пользователя это скрыто

если отдавать роботу страницы в класическом стиле он и проидексирует
htpp://пример.рф/author0.html
а я как раз хотел бы иметь в выдаче
htpp://пример.рф/автор/Иван

Я что то не то хочу? ;)
Тогда так и так нужно оставить один способ публично, что бы яндекс не путался, а второй для совместимости, т.е. на домене ru надо сделать тоже ЧПУ.
Для примера посмотрите как сделано на Яндекс.Персонах: http://news.yandex.ru/people/putin_vladimir.html, по мне это средний вариант между вашими двумя или Деловой Квартал http://dkvartal.ru/persons/
в Robots в директиву Host пропишите рф-шный домен и все норм будет)
Зеркальщику по фигу что клеить)
В том то и дело что из-за различной навигации он вряд ли корректно склеит. К тому же вариант с  robots.txt не удобен - файл статический получается один на оба домена - генерить его динамически как страницы для каждого домена чуть-чуть по разному?
директива host должна быть одинаковой для обоих доменов
Т.е. не страшно что домен будет отвечать что его главным зеркалов является он сам? Это хорошо!
Если будете перенаправлять только робота - то это по сути клоакинг и вас могут банально забанить. Как вариант можно было бы просто перенаправлять всех (301) на рф-домен, но, как я понимаю, для вас это не вариант. Можно на втором сайте поменять URL с example.ru/unit1.html на example.ru/раздел/название, поставить редиректы со старых адресов на новые и прописать host.
Вот я и боюсь что за клоакинг забанят. А навигаю необходимо сохранить на обоих доменах - так специально сделано.
В общем видимо буду пробовать с директивой Hosts - буду надеятся на нормальную склейку. Или буду в нижней части страницы ставить ссылку на кирилический домен что бы он определялся как исходник.
Если тут никто из Яндекса не ответит - попробуйте написать в саппорт. Они обычно на такие вопросы любят отвечать.
Александр Чубинский ниже ответил.
1) Для склейки в зеркала можно использовать следующие перенаправления:

example.ru/anyurl -> пример.рф/anyurl
пример.рф/unit1.html -> (301) пример.рф/раздел/название

Второе перенаправление должно быть постоянным, чтобы в результатах поиска гарантированно показывались кириллические url.

2) Если не представляется возможным поставить перенаправление на  example.ru, то склейки, при указанной структуре сайтов, не будет.  Независимо от выставленной директивы Host

3) Перенаправление робота без перенаправления пользователей может быть расценено как клоакинг

4) Если нужно убрать первый сайт из поисковой выдачи, то почему не запретить его в robots.txt?

5) Может быть для того, чтобы у программ не было проблем в обработке  кириллицы, имеет смысл вместо "/раздел/название" в использовать  "/%d1%80%d0%b0%d0%b7%d0%b4%d0%b5%d0%bb/%d0%bd%d0%b0%d0%b7%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5"? 
Да. Самый лучший вариант перенаправлять робота
пример.рф/unit1.html -> (301) пример.рф/раздел/название, но как я и думал расценят как клоакинг :(
Если запретить его в robots.txt то его тиц не привяжется к основному домену. :(
/%d1%80%d0%b0%d0%b7%d0%b4%d0%b5%d0%bb/%d0%bd%d0%b0%d0%b7%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5 - выглядит не особо красиво.
>>Самый лучший вариант перенаправлять робота
и пользователей. Иначе может быть расценено как клоакинг

>>пример.рф/unit1.html -> (301) пример.рф/раздел/название
для склейки этого мало. Нужно поставить перенаправление с любых url example.com на соответствующие url пример.рф.

>>выглядит не особо красиво
В коде страницы? Но кто туда смотрит
>>Для склейки в зеркала можно использовать следующие перенаправления
имелось в виду, что для склейки нужно использовать оба перенаправления, а не одно из перечисленных.
Спасибо огромное за ответы!
А вариант с ссылком в нижней части каждой страницы ru на кирилический домен позволит добится желаемого без опасности попасть в бан?
Под желаемым имеется в виду:
1. что бы кирилический домен в выдаче был выше.
2. ТИЦ домена ru сливался с кирилическим доменом?
Ссылка с одного сайта на другой не является необходимым и достаточным условием для склейки.

яндекс не позволит обоим вашим сайтам одновременно находиться в поисковой выдаче.


таким образом формулировка  "что бы кирилический домен в выдаче был выше" некорректна
В общем заиспользовал Host: буду надеятся на лучшее!