Платон Щукин

Переезд сайта после отказа от директивы Host

12 марта, 18:22

В свете отказа от директивы Host я бы хотел рассказать подробнее о рекомендациях по переезду сайта. Данные рекомендации предназначаются как для переезда на протокол https, так и для переезда на новое доменное имя, поскольку алгоритм будет совпадать.

Директива Host позволяла сохранить доступность старого сайта на период переезда, однако ее использование было также сопряжено с некоторыми неудобствами. Например, необходимо было проверять, что в директиве Host всех зеркал указан один и тот же сайт, иначе переезд мог произойти некоректно. В связи с этим было решено отказаться от использования директивы Host - теперь переезд будет выполняться только при помощи редиректа HTTP-301. Это также упростит совмещение переезда в Яндексе и других поисковых системах. Теперь для переезда я рекомендую следующее:

1. Добавьте новый домен в Вебмастер (в том числе сайт по протоколу HTTPS, если переезд выполняется на HTTPS) и убедитесь, что он не склеен в группу зеркал с другим сайтом. Если это так, воспользуйтесь инструментом "Отклейка зеркал", чтобы расклеить сайты. После окончания расклейки переходите ко второму пункту.

2. Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. При этом я рекомендую учитывать несколько важных моментов:

- сайты должны совпадать между собой структурно, поэтому страницы старого сайта должны выполнять редирект именно на аналогичные страницы нового сайта. Если же структура сайта при переезда изменилась, Вы можете установить редирект со страниц старого сайта на аналогичные страницы нового, а с них установить редирект на нужные адреса. Наши рекомендации по смене структуры сайта описаны в разделе Помощи.

- оба сайта должны быть доступны роботу. Проверьте, что в robots.txt обоих сайтов содержатся одинаковые правила, ведь если будут запрещены разные страницы, это может привести к различию контента. Если сайты используют один и тот же файл robots.txt, то файл sitemap лучше указать по адресу нового главного зеркала, так как после переезда индексироваться будет именно он.

- убедитесь, что большая часть страниц сайтов доступна и отвечает кодом HTTP-200 ОК или кодом редиректа 301. Если на доменах существенная доля страниц будет недоступна из-за кода ответа 404, это может помешать переезду. В таком случае недоступные страницы можно запретить к индексированию в файле robots.txt, чтобы робот-зеркальщик не посещал их при сверке контента.

3. Проверьте, что все зеркала в группе выполняют редирект на желаемое главное зеркало. Это также относиться к версиям "с www" или "без www".

Когда все необходимые настройки будут внесены, в панели Яндекс.Вебмастера старого адреса отправьте заявку на переезд сайта. Если заявка была успешно принята, значит, настройки выполнены корректно и сайты смогут склеиться. Процесс склейки был значительно ускорен и сейчас может занимать от нескольких дней до 3 недель. Замечу, что завершение переезда не означает, что все страницы сайта сразу попадут в поиск по адресу главного зеркала. Страницы неглавного зеркала будут участвовать в поиске какое-то время, пока аналогичные страницы главного зеркала не будут проиндексированы. Постепенно, по мере обхода нужного сайта, неглавное сможет пропасть из поиска.

Зачастую также возникает вопрос, почему в Яндекс.Вебмастере у неглавного зеркала большое число страниц в списке "Загруженных", и это число может даже увеличиваться, хотя в поиске страницы не появляются. В этом нет какой-либо ошибки: в список загруженных входят все страницы, ссылки на которые известны индексирующему роботу, поэтому данные о таких страницах вполне могут храниться в базе робота. Попадать в поиск такие страницы не будут, так как принадлежат неглавному зеркалу.

Не забудьте также, что для нового домена в Яндекс.Вебмастере необходимо добавить свой файл sitemap и установить региональность.

43 комментария
>Процесс склейки был значительно ускорен и сейчас может занимать от нескольких дней до 3 недель.


Как можно повлиять на то, чтобы склейка была несколько дней, а не 3 недели?
Повлиять на скорость процесса со стороны владельца сайта невозможно. Это зависит от загруженности хостинга, где находится сайт, от размеров самого ресурса.
i.budkin2015
1 июня, 16:31
platon,
подскажите почему у меня после подтверждения сайта с протоколом HTTP , появилась версия с поиском HTTPS в яндексе? SLL купил, что делать? подтвердить права на 2 сайта сразу?
Выберите, какой адрес должен находиться в поиске (http или https), подтвердите на неё права. С другого адреса установите перенаправление на эту версию.
seo.rozavetrov
13 марта, 14:39
А что делать тем, у кого уже давно настроена директива Host ( с http на https) ? Удалять её и ставить 301 редирект?

Директива просто будет игнорироваться роботом, с вашей же стороны необходимо просто включить редирект. Именно об этом п.3 из записи.
Алексей Трудов
14 марта, 12:00
Что делать, если переезд начат по Host в конце февраля? В Вебмастере отображается "В ближайшее время в результатах поиска вместо домена *** появится ***.", но пока никаких изменений не замечено. 301 редирект ускорит процесс?
Можно устанавливать редирект уже сейчас.
Я верно вас понял:
1. Я сегодня (14.03.18) купил ssl, установил на сайт. Добавил в ЯВебмастер.
Добавил https://мойсайт.ру в ЯВебмастер.

И сегодня же, не дожидаясь, пока яндекс проиндексирует https сайт, мне нужно срочно прописать 301 редирект с http на https? 

(просто в этом видео ваш сотрудник говорит об обратном https://www.youtube.com/watch?v=Yah8iq4Qlro&t=388s ) т.е это уже не актуально. Я все верно понимаю?

2. C Гуглом аналогичная ситуация? Или все же сперва надо "скормить https версию чуток, подождать пока гугл определит https как зеркало, а уж потом добавлять ЯВебмастер яндекса https и настраивать "мгновенный редирект")
Обновлено 14 марта, 15:20
Да, всё верно.
PS А функцией "Переезд сайта" ЯВебмастере теперь в каких случаях пользоваться?
"Переезд сайта" по-прежнему позволяет ускорить процесс переезда.
>>

2. Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. При этом я рекомендую учитывать несколько важных моментов:
....
- оба сайта должны быть доступны роботу. Проверьте, что в robots.txt обоих сайтов содержатся одинаковые правила, ведь если будут запрещены разные страницы, это может привести к различию контента.



Если я настрою 301 редирект со страниц старого сайта на новый, то и у старого роботс.тхт будет 301 редирект на новый.
Т.е. старый роботс не будет доступен роботу и вы не сможете проверить, что оба роботса содержат одинаковое содержание.

Правильно ли я поняла, что нужно для robotst.txt старого сайта делать исключение, чтобы он открывался и для него не проходил 301 редирет?
Да, тот же вопрос.
vale-kapu,
Поддержка ответила: «по желанию, вы можете оставить robots.txt сайта с http доступным, однако делать это не обязательно – сам по себе редирект является достаточным указанием на адрес желаемого главного зеркала. Если Вы оставите robots.txt доступным, рекомендую убедиться, что в файлах robots.txt сайтов с http и https указаны одни и те же директиве, ведь если запрещены будут разные страницы, то контент, доступный роботу, будет отличаться, и это может помешать переезду».
evgenishirokov
18 марта, 12:57
Здравствуйте. Меня тоже интересует этот вопрос. Переехал на https, в вэбмастере появилась ошибка "не найден файл robots.txt" , "сервер отвечает редиректом на запрос /robots.txt".  Как это исправить?
 Добавьте сайт с https в Яндекс.Вебмастер, для него такой ошибки возникать не должно.
evgenishirokov
20 марта, 19:26
platon,
Я сразу при переезде добавлял сайт на https в вэбмастер) Т.е., видимо, дело в чем-то другом, но всё равно спасибо за совет)
Вероятно, вы просто проверяете информации по http-версии. Это предупреждение можно игнорировать, оно носит рекомендательный характер в такой ситуации.
onlineurokiege
30 марта, 15:38
Здравствуйте, поясните, пожалуйста:
" Добавьте новый домен в Вебмастер (в том числе сайт по протоколу HTTPS, если переезд выполняется на HTTPS) и убедитесь, что он не склеен в группу зеркал с другим сайтом. Если это так, воспользуйтесь инструментом "Отклейка зеркал", чтобы расклеить сайты. После окончания расклейки переходите ко второму пункту."
Если я добавлю домен на https и он сразу после добавления будет склеен с http, то мне нужно сначала их отклеить, потом сделать 301, потом склеить инструментом "переезд сайта"?
и второй вопрос - вы используете формулировку "постраничный редирект" - это смущает - нужно чтобы в htaccess была запись о 301 редиректе касаемо каждой страницы?  но при сохранении структуры (что логично при переезде на https) можно обойтись одним правилом - можно ли сделать так? можно ли сделать редирект через CMS?
1. Нет, отклеивать не нужно - достаточно включить редирект и воспользоваться инструментом "Переезд сайта".
2. Можно настроить и одним правилом, речь о том, чтобы страницы вида http://site.ru/page перенаправляли на https://site.ru/page , а не на главную страницу https-версии.
onlineurokiege
4 апреля, 11:51
platon,
Спасибо!
хотелось бы уточнить, регион сайту на https присваивается не сразу:
http://prntscr.com/j0n4tu
я вот такое сообщение вижу. Не опасаться переезда? Не ждать присвоения региона перед тем, как сделать 301 редирект?
Регион будет присвоен в ближайшие дни, переезд можно начинать уже сейчас.
Здравствуйте. Скажите пожалуйста правильно ли я указал 301 редирект в .htaccess когда при попытке доступа к той или иной странице на старой версии http сервер будет отвечать, что она переехала на новый адрес с https.


RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]


Будет ли это верно обрабатываться роботом Яндекса?
По файлу .htaccess, увы, мы подсказать не сможем. Возможно, помогут другие пользователи + есть большое количество инструкций в интернете.
А у нас от нанотехнологий яндекса сплошная головная боль.
Главное зеркало на кирилице, уже давно типа https://сайт.рф и домен на латинице https://site.ru (для маркета делали потому в 18 году яндекс не работает с кириллическими доменами). И вот мы вдруг замечаем две вещи:
1. Падает посещаемость (людям проще заходить был на русскоязычный домен, он остается на языке, а на латинице пруд пруди не запомнишь)
2. Мы начинаем видеть в выдаче домен на латинице, хотя там стоял 301 редирект. Копаемся на серевере думая что слетели настройки редиректа. Тратим время и случайно зайдя в вебмастер вдруг с удивление вижу что с главного зеркала установленного по директиве host из выдачи выкинуло весь каталог ~60000 товарных страниц интернет магазина с формулировкой не главное зеркало. Это как?? почему именно неглавный домен стал главным??? ВЫ ХОТЬ ПРЕДУПРЕЖДАЙТЕ, вы что не понимаете что от ваших введений люди теряют деньги ОЛЕНИ!!!!!
В прошлом году ваш баденбаден, потом вот это , ребята имейте совесть!!!!!!
Мы предупреждали наших пользователей 2 раза в блоге, что будут изменения:
https://yandex.ru/blog/webmaster/301-redirekt-zamenit-direktivu-host-pri-vybore-glavnogo-zerkala
https://yandex.ru/blog/webmaster/301-y-redirekt-polnostyu-zamenil-direktivu-host
Соответствующие новости были и в Вебмастере.

Если кажется, что главное зеркало изменилось некорректно и редирект на Вашей стороне был настроен верно, пожалуйста, напишите нам https://yandex.ru/support/webmaster-troubleshooting/mirrors.html . Обязательно проверим и разберёмся.
Здравствуйте, Платон.
Много рекомендаций и советов как перевести сайт на HTTPS, но ответа на один самый важный вопрос я так и не нашел.
Судя по всему, написанному в помощи и блоге, я понял, что необходимо, чтобы версия сайта как http так и https были доступны одновременно для склейки.
Решил заняться переездом и написал хостеру об этом, получил следующий ответ:
Алгоритм действий должен быть таким:
1) Вы переводите ваш сайт на выделенный IP-адрес
2) Вы подтверждаете согласие на перенос сайта на новый сервер. Мы выполняем перенос.
3) Выполняется процедура заказа и получения Positive SSL-сертификата.
4) После получения готового сертификата вы его самостоятельно устанавливаете на ваш сайт с помощью хостинговой панели либо предоставляете в заявке файлы сертификата и мы устанавливаем сертификат.
5) При необходимости, вы вносите изменения в скрипты вашего сайта для работы по протоколу HTTPS.
из которого я понял, что одно доменное имя не может быть одновременно доступно по двум адресам. Тогда как же можно склеить зеркала? Где тогда прописывать 301 редирект с http на https? Если исчезнет сайт http, то с чем его будут сравнивать роботы?
Нет, держать оба сайта доступными не нужно - об этом как раз эта запись в блоге =) Достаточно просто установить корректный сертификат и включить редирект на https-версию (например, в .htaccess)
Здравствуйте!

Подскажите, что делать если главная страница моего Лендинга стала Неглавным зеркалом и исключена из поиска.

Притом, http://rostz.ru. имеет код статуса HTTP 304 Not Modified, а http://www.rostz.ru является теперь основной.
Хотелось бы понять причины таких глобальных изменений?

И что теперь делать?
Поскольку указаний на главное зеркало нет, робот сам выбрал адрес, который участвует в поиске. Вам стоит или включить редирект на нужный адрес, или воспользоваться инструментом "Переезд сайта" в Вебмастере.
dverisib54
9 мая, 06:18
Здравствуйте!  Может я совсем тупая... но я так и не поняла что делать!!!!!  Сайт http...  в вебмастер добавлен. Сертификат на сайт установлен. Редирект с http на https настроен .
 А вот что делать дальше в вебмастере непонятно:  Мне теперь нужно к себе в вебмастер кроме уже имеющегося в нем  сайта http... добавить отдельно сайт https.... А после этого зайти в аккаунт сайта http и подать заявку переезда на https?????    Или просто пойти в имеющийся аккаунт сайта http и подать заявку переезда на https????? 
Обновлено 9 мая, 06:22
Вам нужно добавить сайт по адресу "с https"и подтвердить на него права. Для сайта "с http" в инструменте "Переезд сайта" установить соответствующую галочку и дождаться смены главного зеркала.
Переезд начат 9 мая, прошло чуть больше недели. В ВМ количество проиндексированных страниц сайта https такое же, как и у http. Теперь надо ждать, когда кол-во страниц http упадет до нуля или переезд уже состоялся и можно сделать окончательный редирект на https? Если нет, то сколько надо еще ждать?
Редирект необходимо делать сразу, как вы запланировали переезд. Дожидаться индексирования всех страниц https версии не нужно.
Сегодня произошло то, чего я не ожидал. В Вебмастере появилось уведомление, что теперь главное зеркало http://site.ru. Платон, почему Яндекс все перепутал? Что теперь делать?
Делалось все по инструкции. В Вебмастере для сайта http://site.ru был включен переезд на https, sitemap отдавался по протоколу https, заявка была принята. Прошло 2 недели и вот результат (все наоборот)!. Можете посмотреть, что теперь делать с сайтом https://santehreal.ru/
Здравствуйте уважаемый platon!
Ответьте на мое сообщение!
http://santehreal.ru стал главным зеркалом, поскольку ещё несколько дней назад он был доступен и отвечал HTTP-200, робот выбрал главное зеркало на своё усмотрение. Не переживайте, сейчас при установленном редиректе https://santehreal.ru станет главным зеркалом в ближайшие дни.
Даже если сайт отдается по двум протоколам http -200 и https-200, то зачем мы делаем указание в Вебмастере на переезд с http на https? Получается, что это лишняя работа, которая не гарантирует нужного результат? Робот сам по себе что-то решает - это бред!
Сегодня из поиска https робот удалил практически все страницы, но это не самое страшное, теперь он взялся на версию http. На страницах настроен Canonical=https и теперь робот признает их "Недостаточно качественная" и тоже выкидывает из индекса.
Платон, решите вопрос со специалистами по переезду и внесите в алгоритм коррективы. Нельзя же так поступать с рабочими коммерческими проектами, которые теряют от это деньги и нервы.


Такое впечатление, что автоматический переход яндекса на зеркало - вредная вещь. Я думаю, что вылечить это можно так. Заблокируйте сети яндекса на своем сервере. Это можно сделать с помощью файрвол или роутера. Бот решит, что зеркало исчезло и вернется к индексации главного сайта. При этом другие поисковые системы продолжат работать без ошибок.
Обновлено 23 мая, 21:33
jes2001,
Имеется в виду блокировка только на нежелательном зеркале.
seo@binet.pro
4 июня, 11:47
Вопрос следующий.


Раньше мы сначала получали SSL-сертификат, ставили галочку переезда на https и ждали сообщения о смене зеркала, потом настраивали редиректы. Делали мы так, потому что иначе, если настроить редиректы до подтверждения смены зеркала, старые страницы выпадали из индекса, а новые (c https) очень долго заходили в индекс, что отрицательно влияло на посещаемость.


Теперь, после отмены директивы Host в robots, есть подозрения, что нужно сначала настроить редирект с http на https, чтобы основным зеркалом был признан https-домен, просто установить галочку будет недостаточно.


Вопрос
1. Нужно ли настраивать редиректы перед подтверждением смены зеркала в Яндекс Вебмастер?
2. Произойдет ли смена зеркала с http на https, если мы поставили соответствующую галочку в Яндекс Вебмастере, но не настроили редиректы?
3. Нужно ли боятся падения трафика, при включении редиректа до подтверждения смены зеркала в Яндекс Вебмастере?
Ответы на все ваши вопросы есть в нашей статье :)