Вебмастер
Содержимое сайта и партнерские программы
Партнерские программы
Безопасность сайта

Структура сайта

Яндекс.Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу Поиска. Разделы представлены в виде дерева в соответствии со структурой URL сайта. По каждому разделу сайта доступна информация о количестве страниц, которые были загружены роботом Яндекса и участвуют в поиске.

Представленные данные помогут определить, что робот загружает именно те разделы сайта, которые вы считаете интересными для своих пользователей. Запретить загрузку страниц из определенных разделов сайта можно с помощью файла robots.txt.

Добавление раздела

Вы можете узнать информацию об индексировании всех разделов сайта, которые вас интересуют (даже если они не составляют 1% от общего числа страниц, загруженных в базу Поиска). Чтобы получить эти данные, нажмите кнопку Добавить раздел и в поле укажите необходимый раздел, начиная с «/». Например, /catalog1.

Оператор * позволяет указать неточное совпадение с названием раздела сайта:

catalog1*Будут добавлены все разделы, URL которых начинается с catalog1
*catalog1Будут добавлены все разделы, URL которых оканчивается на catalog1
*catalog1*Будут добавлены все разделы, URL которых содержит catalog1

Изменения вступят в силу через несколько дней.

Вопросы и ответы

Что означает «загружено»?

Количество страниц вашего сайта, к которым робот Яндекса успел обратиться. Среди них могут быть как проиндексированные страницы, так и страницы, при обращении к которым получена ошибка.

Что означает «страниц в поиске»?

Страницы, которые участвуют в Поиске Яндекса. Страница может не попасть в результаты Поиска, если она дублирует контент другой страницы, содержит спам или вирусы, перенаправляет на другой URL, при ее скачивании произошла ошибка.

Чтобы выяснить, почему страница отсутствует в Поиске, рекомендуем воспользоваться инструментом Проверить статус URL.

Почему в разделе проиндексированы не все страницы?

Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте. Рекомендуем обновить sitemap и дождаться, пока робот проиндексирует его.

Как запретить роботу Яндекса загружать страницы определенного раздела?

Чтобы запретить индексирование раздела сайта, в файле robots.txt укажите

User-agent: Yandex
Disallow: /раздел/

При следующем индексировании сайта робот учтет указание и удалит раздел. Описание исключений для файла robots.txt см. в разделе Исключения.

Оцените статью
Спасибо за ваш отзыв!