Немного теории
Содержание многих сайтов меняется. Поэтому поисковые роботы регулярно их обходят. Правда, новые данные попадают в поиск не сразу после переиндексации, а примерно через неделю. Поэтому, если вы недавно открыли сайт или исправили опечатки в тексте, не беспокойтесь, что этих данных ещё нет в поиске.
Есть сайты, новый контент которых попадает в поиск очень быстро. К ним относятся крупные популярные ресурсы с часто обновляемой информацией, например сайты СМИ.
Поисковые роботы обычно сами определяют, какие страницы сайта необходимо обойти. Но вы можете им помочь.
Как люди используют карту, чтобы посетить все интересующие их места, так и роботы предпочитают двигаться по сайту с помощью специальной карты — Sitemap. Она нужна для того, чтобы робот не пропустил какие-нибудь страницы сайта. Такая карта особенно важна для крупных ресурсов со сложной структурой.
Чтобы робот мог пользоваться вашей картой, она должна быть не больше 50 МБ в несжатом виде, содержать не более 50 тысяч страниц и располагаться в том же домене, что и включённые в неё страницы. Если карта не отвечает этим требованиям, можно разбить её на несколько файлов и указать их в файле индекса Sitemap.
Чаще всего карта сайта создается автоматически. Наиболее распространённые форматы карт — текстовый и XML. Яндекс поддерживает оба. Однако лучше использовать формат XML, потому что в нём есть дополнительные поля. Они позволяют указать значимость страницы, частоту её обновления и дату последних изменений.
Если карта сайта содержит ошибки, робот может воспринять её неправильно или вообще не прочитать. Проверить карту легко на сервисе Яндекс Вебмастер — с помощью инструмента «Анализ файлов Sitemap».
Загрузить карту в валидатор можно несколькими способами. Например, вы можете скопировать содержимое файла Sitemap и вставить в форму. Другой вариант — дать ссылку на файл или загрузить его с компьютера. Валидатор проверит файл и сообщит, есть ли в нём ошибки или нет. А если ошибки есть, вы увидите, где именно и какие.
Для работы с картой будет полезен также инструмент «Файлы Sitemap». Он позволяет отправить её на индексирование. Тогда поисковый робот точно узнает о вашем сайте и сможет легко на нём ориентироваться.
Теперь добавим карту в очередь на индексирование. Для этого нужно нажать кнопку «Добавить». После того как робот обойдет Sitemap, сервис сменит статус «В обработке» на «Готово».
Кроме того, ссылку на карту сайта желательно разместить в robots.txt — для поисковых роботов этот файл обязателен для прочтения. Когда робот обнаружит карту сайта в robots.txt, она отобразится в сервисе Яндекс Вебмастер. Вот как можно указать ссылку на Sitemap в robots.txt:
User-agent: *
Allow: /
Sitemap: https://siteforyandex.com/sitemap.xml
Попробуйте добавить Sitemap вашего сайта в Яндекс Вебмастер.
