Индексация веб-сайта: зачем нужна и как ускорить

Как попасть в индекс

Если владелец веб-сайта сделал редизайн, изменил структуру или добавил новый контент, ему хочется, чтобы изменения как можно быстрее отобразились в Поиске. Приведём четыре основных способа, как это сделать.

Файл Sitemap

Sitemap — это файл, который содержит информацию обо всех страницах сайта и его структуре. Он помогает системам быстрее и точнее проиндексировать ресурс и определить его основные разделы и подразделы. Sitemap особенно полезен, если на веб-сайте много контента.

Для индексации сайта в Яндексе используют Sitemap в формате XML или TXT. Первый вариант более распространён, потому что он позволяет передавать краулерам дополнительную информацию. Например, не только адрес веб-страницы, но и дату её последнего обновления, частоту изменений и значимость.

Сделать Sitemap можно с помощью плагинов CMS (система управления контентом) или специальных онлайн-генераторов. Загрузить карту сайта можно через Яндекс Вебмастер — для этого нужно добавить туда свой ресурс.

Перед загрузкой карты в Яндекс Вебмастер проверьте файл на ошибки. Они появляются из-за неправильного синтаксиса, дублирования страниц или отсутствия необходимых тегов.

Чтобы загрузить Sitemap:

1. Перейдите в Яндекс Вебмастер в раздел «Файлы Sitemap».
2. Выберите ваш ресурс из списка или добавьте его.
3. Впишите URL, по которому доступен документ, например: https://example.com/sitemap.xml.
4. Нажмите «Добавить». Робот загрузит новые данные в течение двух недель.

Переобход в Яндекс Вебмастере

Переобход — это функция Вебмастера, которая позволяет вручную запросить посещение краулеров. Это полезно, если вы внесли изменения или хотите, чтобы индексация сайта в Яндексе прошла быстрее.

Переобход можно использовать и для старых страниц, и для новых, которых ещё нет в индексе. Чтобы сообщить роботам об изменениях:

1. Откройте Вебмастер и в левом меню выберите «Индексирование» → «Переобход страниц». Или зайдите в сервис по прямой ссылке.
2. Укажите адрес веб-страницы, которую обновили.
3. Нажмите «Отправить».

Изменения отобразятся в Поиске в течение 14 дней. Количество страниц, которые можно отправить на переобход, ограниченно. Дневной лимит для вашего сайта смотрите в Вебмастере.

Также в Вебмастере можно управлять скоростью обхода. Желательно оставлять её в значении «Доверять Яндексу», иначе можно снизить скорость проверок и попадания в индекс.

IndexNow

IndexNow — это протокол, который помогает ускорить индексирование. Он позволяет отправить запрос на индексацию определённой веб-страницы или всего ресурса, сообщить об удалённых или обновлённых материалах.

IndexNow не гарантирует, что ваш контент моментально появится в результатах поиска, но может ускорить этот процесс. Применять протокол можно с помощью API с использованием HTTP и JSON для обмена данными.

Индексация сайта в поисковых системах, требует подтверждения, что ресурс принадлежит именно вам. Для этого нужно создать и разместить специальный ключ, который будет передаваться при каждом запросе к API. Сделать его можно вручную или автоматически в CMS.

Обход по Яндекс Метрике

Обход по счётчикам — это функция в Яндекс Вебмастере, которая позволяет автоматически обновлять информацию о веб-страницах с помощью сервиса Яндекс Метрика.

Чтобы включить функцию и ускорить индексацию:

1. Привяжите счётчик к сайту Вебмастера.
2. Включите функцию «Обход по счётчикам», её можно найти в левом меню в разделе «Индексирование».

Какие ещё есть способы ускорить индексацию

Мы рассказали, как указать роботам, что на сайте произошли изменения. Но есть ещё несколько способов стимулировать их обходить ваши веб-страницы чаще — без изменений в Sitemap, Переобхода в Вебмастере или IndexNow. Рассказываем о них.

Внутренние ссылки

Внутренние ссылки — это гиперссылки на сайте, которые ведут на другие разделы этого же ресурса. Они помогают поисковым роботам переходить с одной страницы на другую и быстрее обнаруживать обновления.

Вот несколько советов по созданию внутренних ссылок:

1. Тщательно продумайте структуру веб-сайта, особенно меню. Страницы, которые важны для индексации, должны собирать больше ссылок.
2. Не делайте ссылки ради ссылок: они должны нести пользу для посетителя. Например, можно использовать блоки «Похожие товары», «Материалы по теме» и «Новинки».
3. Следите, чтобы не было «битых» ссылок и страницы не ссылались сами на себя.

Внутренняя перелинковка не ограничивается этими тремя пунктами — есть и другие способы её настроить.

Внешние ссылки

Внешние ссылки перенаправляют пользователя с одного веб-сайта на другой — ими же пользуются поисковые роботы, чтобы обнаружить обновления. Если на вас ссылается авторитетный ресурс, краулеры чаще обходят сайт.

Самый простой способ получить внешние ссылки — делать интересный контент, на который пользователи сами захотят ссылаться. В Яндекс Вебмастере можно посмотреть, кто ссылался на ваш ресурс. Для этого в левом меню найдите пункт «Ссылки» и откройте в нём раздел «Внешние ссылки».

Как закрыть страницу от индексации

Обычно от индексации закрывают веб-страницы, которые не несут пользы, а только нагружают сервер. К таким ним можно отнести:

• Страницы с ошибкой 404
• Дубликаты
• Версии для печати
• Вспомогательные страницы, такие как поиск, авторизация, регистрация и административная панель сайта

Также от индексации закрывают всё, где есть конфиденциальная информация, например персональные данные пользователей.

Есть пять способов закрыть доступ поисковым роботам:

1. Через robots.txt. Закрыть страницу, раздел или сайт целиком поможет директива Disallow. Как ею пользоваться — читайте в разделе помощи Вебмастера.

   Важно: если использовать Disallow в robots.txt, закрытый контент всё ещё может показываться в поисковой выдаче. Тогда в сниппете появится предупреждение «Владелец предпочёл скрыть содержимое» или «Ссылки на страницу содержат:».

2. Через HTML-код. Чтобы запретить краулерам индексировать весь контент страницы, можно использовать метатег robots.

   <head>
  <meta name="robots" content="noindex">
</head>

3. На уровне сервера. Найдите в корневой папке файл.htaccess и добавьте туда специальный код:

   SetEnvIfNoCase User-Agent «^Yandex» search_bot — для роботов Яндекса.

   Ещё один вариант — настроить HTTP-заголовок X-Robots-Tag для определённого URL на сервере. Так выглядит HTTP-ответ, где заголовок запрещает индексирование страницы:

   HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

4. Через CMS. Как это сделать — зависит от конкретной системы. Например, в WordPress есть встроенные функции для управления индексацией, а в других CMS понадобятся специальные плагины вроде Yoast SEO.
5. Через авторизацию. Страницу или раздел можно сделать доступными только после ввода логина и пароля.

Как с помощью Вебмастера проверить, открыта или закрыта веб-страница к индексации

Зайдите во вкладку «Индексирование», выберите раздел «Проверка страницы» и укажите нужный URL-адрес. Вы сможете узнать, имеют ли краулеры доступ к веб-странице.

Есть и ещё один способ:

1. Войдите в аккаунт Вебмастера.
2. Выберите нужный сайт.
3. В левом меню выберите «Индексирование» → «Страницы в поиске».
4. В разделе «Исключённые страницы» можно увидеть, какой контент и по каким причинам исключён из Поиска.

Что может помешать индексированию

Приводим частые ошибки, из-за которых ресурс может индексироваться слишком долго:

• Неправильный robots.txt. По этому файлу краулеры понимают, какие страницы можно индексировать, а какие — нет. Если допустить в нём ошибки, часть контента, а иногда и весь веб-сайт не попадут в Поиск или будут отображаться некорректно.

  В Яндекс Вебмастере в разделе «Инструменты» есть функция «Анализ robots.txt». Она помогает найти и исправить ошибки в файле — нужно только загрузить документ на проверку.

• Неверно настроенный ответ сервера. Если сайт долго не отвечает, люди не могут туда попасть, и поисковые роботы удаляют его из своих баз. Посмотреть доступность можно через «Проверку ответа сервера» в Яндекс Вебмастере.
• Скрытый или невалидный код затрудняет загрузку и вызывает проблемы при индексировании. Это может привести к неправильному отображению веб-страницы в результатах поиска.

Чтобы узнать, есть ли проблемы, зайдите в Диагностику сайта в Вебмастере. Инструмент покажет технические ошибки вроде проблем с подключением к серверу, некорректных настроек SSL-сертификата, неточностей в файле robots.txt и устаревшего Sitemap. Вы получите конкретные рекомендации, которые помогут исправить недочёты и повысить скорость попадания в индекс.

Другие статьи