Структура сайта
Яндекс Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу поиска. Разделы представлены в виде дерева в соответствии со структурой URL сайта. По каждому разделу сайта доступна информация о количестве страниц, которые были загружены роботом Яндекса и участвуют в поиске.
Представленные данные помогут определить, что робот загружает именно те разделы сайта, которые вы считаете интересными для своих пользователей. Запретить загрузку страниц из определенных разделов сайта можно с помощью файла robots.txt.
Примечание
Если вы видите в Вебмастере разделы, которых нет на сайте, скорее всего, ссылки на них размещены на других ресурсах. Чтобы робот перестал обходить ссылки, запретите индексирование разделов сайта с помощью директивы Disallow в файле robots.txt.
Добавление раздела
Вы можете узнать информацию об индексировании всех разделов сайта, которые вас интересуют (даже если они не составляют 1% от общего числа страниц, загруженных в базу поиска). Чтобы получить эти данные, нажмите кнопку Добавить раздел и в поле укажите необходимый раздел, начиная с «/». Например, /catalog1.
Оператор * позволяет указать неточное совпадение с названием раздела сайта:
|
catalog1* |
Будут добавлены все разделы, URL которых начинается с catalog1 |
|
*catalog1 |
Будут добавлены все разделы, URL которых оканчивается на catalog1 |
|
*catalog1* |
Будут добавлены все разделы, URL которых содержит catalog1 |
Изменения вступят в силу через несколько дней.
Вопросы и ответы
Что означает «загружено»
Количество страниц вашего сайта, к которым робот Яндекса успел обратиться. Среди них могут быть как проиндексированные страницы, так и страницы, при обращении к которым получена ошибка.
Что означает «страниц в поиске»
Страницы, которые участвуют в поиске Яндекса. Страница может не попасть в результаты поиска, если она дублирует контент другой страницы, содержит спам или вирусы, перенаправляет на другой URL, при ее скачивании произошла ошибка.
Чтобы выяснить, почему страница отсутствует в поиске, рекомендуем проверить ее состояние.
Почему в разделе проиндексированы не все страницы
Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте. Рекомендуем обновить файл Sitemap и дождаться, пока робот проиндексирует его.
Как запретить роботу Яндекса загружать страницы определенного раздела
Чтобы запретить индексирование раздела сайта, в файле robots.txt укажите
User-agent: Yandex
Disallow: /раздел/
При следующем индексировании сайта робот учтет указание и удалит раздел. Описание исключений для файла robots.txt см. в разделе Роботы Яндекса в логах сервера.