Страницы в поиске
Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.
С помощью информации, представленной в Вебмастере на странице вы можете:
- Следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа добавленных и исключенных страниц.
- Получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи.
- Узнавать об источнике, из которого страница добавлена в поисковую выдачу.
- Выяснить причину исключения страницы из результатов поиска.
- Узнавать о состоянии новых страниц сайта. Если страницы были проиндексированы и включены в поиск сразу после их публикации, данные в Вебмастере могут обновляться с задержкой — в течение нескольких дней информация обновится.
По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).
Динамика состояния страниц
Информация о страницах представлена следующим образом:
- Новые и удаленные — соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
- Исключенные — динамика количества страниц, исключенных из результатов поиска.
- История — динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
- Распределение — количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.
Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали на страницу сервиса Структура сайта).
Изменения страниц в результатах поиска
Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:
- дата обновления поисковой выдачи;
- была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
- причина удаления страницы из поиска.
Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, со сменой структуры сайта или файла robots.txt.
Кроме этого, сервис показывает общую информацию о странице:
- дата последнего посещения страницы роботом;
- адрес страницы относительно корневого каталога сайта;
- заголовок страницы (элемент title).
Чтобы просмотреть изменения, установите переключатель в положение Последние изменения. В результате отобразится до 50 000 изменений.
Список участвующих в поиске страниц
Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:
- дата последнего посещения страницы роботом;
- адрес страницы относительно корневого каталога сайта;
- заголовок страницы (HTML-элемент title);
Чтобы увидеть список страниц, установите переключатель в положение Все страницы. Список может содержать до 50 000 страниц сайта.
Если в списке не все страницы, которые должны участвовать в поиске, сообщите Яндексу о них с помощью инструмента Переобход страниц.
Если в списке есть страницы, которые не должны участвовать в поиске, см. раздел Как удалить страницы из поиска.
Источник, из которого страницы сайта добавлены в результаты поиска
- обход сайта роботом в обычном режиме, например по известным ему ссылкам в файле Sitemap или на других сайтах;
- установленный на сайте счетчик Яндекс Метрики;
- использование на сайте протокола IndexNow.
Информацию об источнике данных можно найти на странице (Последние изменения и Все страницы).
Обновление данных об источнике не зависит от обновления поисковой базы или состояния страниц сайта в поиске.
Список исключенных из поиска страниц
Страницы сайта могут пропадать из результатов поиска. Подробнее о причинах этого см. в разделе Почему страницы исключены из поиска.
Чтобы посмотреть список исключенных страниц (до 50 000), на странице установите переключатель в положение Исключенные страницы. Отобразится следующая информация о страницах:
- дата последнего посещения страницы роботом;
- адрес страницы относительно корневого каталога сайта;
- статус (причина исключения страницы).
Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:
- страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found) или на странице настроен редирект c HTTP-кодом 301;
- другие ресурсы не ссылаются на исключенную страницу.
Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt.
Фильтрация данных
Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок 
. Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:
- выполнять любое из условий (соответствует оператору «ИЛИ»);
- выполнять все условия (соответствует оператору «И»).
Чтобы составить список страниц, адрес которых содержит определенный фрагмент, выберите из списка значение Содержит и в поле укажите нужное значение.
Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условие, а само условие введите в поле. Можно добавить несколько условий — каждое из них должно начинаться с новой строки.
Для условий доступны правила:
| Символ | Описание | Пример |
|---|---|---|
| * | Соответствует любому количеству любых символов | Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/, включая указанную страницу: Использование символа * Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более. Например, можно найти новости или анонсы за определенный год: |
| @ | Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) | Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff |
| ~ | Условие является регулярным выражением | Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению. Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed |
| ! | Отрицание условия | Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/: !/tariff/* |
| Символ | Описание | Пример |
|---|---|---|
| * | Соответствует любому количеству любых символов | Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/, включая указанную страницу: Использование символа * Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более. Например, можно найти новости или анонсы за определенный год: |
| @ | Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) | Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff |
| ~ | Условие является регулярным выражением | Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению. Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed |
| ! | Отрицание условия | Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/: !/tariff/* |
При использовании символов не учитывается регистр.
Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:
| Оператор | Пример |
|---|---|
| !@ | Исключить данные по страницам, URL которых содержит tariff: !@tariff |
| !~ | Исключить данные по страницам, URL которых удовлетворяет условиям регулярного выражения |
| Оператор | Пример |
|---|---|
| !@ | Исключить данные по страницам, URL которых содержит tariff: !@tariff |
| !~ | Исключить данные по страницам, URL которых удовлетворяет условиям регулярного выражения |
Выгрузка информации в файл
Информацию о страницах можно выгрузить в формате XLS или CSV.
Файл может содержать следующие данные:
- updateDate — дата обновления поисковой базы;
- url — адрес страницы;
- httpCode — HTTP-код, полученный роботом во время последнего обхода;
- status — статус страницы;
- target — адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
- lastAccess — дата последнего посещения страницы роботом;
- title — заголовок страницы (содержимое HTML-элемента title);
- event — действие, произошедшее со страницей (добавление или исключение из поиска).
| Статус в веб-интерфейсе | Статус в файле | Расшифровка | Рекомендация |
|---|---|---|---|
| Малоценная или маловостребованная страница | LOW_DEMAND | Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы. Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании. Наличие у сайта ограничений можно проверить в Вебмастере на странице . | Подробно см. в разделе Малоценные или маловостребованные страницы. |
| Исключена по Clean-param | CLEAN_PARAMS | Страница была исключена из поиска в результате обработки роботом директивы Clean-param. | Чтобы страница индексировалась, измените файл robots.txt. |
| Дубль | DUPLICATE | Страница дублирует уже представленную в поиске страницу сайта. | Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical". Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе. |
| Ошибка подключения к серверу | HOST_ERROR | При обращении к сайту роботу не удалось установить соединение с сервером. | Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота. |
| Ошибка HTTP | HTTP_ERROR | При обращении к странице возникла ошибка. | Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Запрещено элементом noindex | META_NO_INDEX | Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). | Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход. |
| Неканоническая | NOT_CANONICAL | Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее исходном коде. | Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход. |
| Неглавный адрес сайта | NOT_MAIN_MIRROR | Страница относится к неглавному адресу сайта, поэтому была исключена из поиска. | |
| Статус неизвестен | OTHER | У робота нет актуальных данных для страницы. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если страница недоступна для робота, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Не удалось скачать страницу | PARSER_ERROR | При обращении к странице роботу не удалось получить ее содержимое. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| В поиске | REDIRECT_SEARCHABLE | Страница осуществляет перенаправление, но находится в поиске. | |
| Редирект | REDIRECT_NOTSEARCHABLE | Страница осуществляет перенаправление, при котором индексируется его цель. | Проверьте индексирование страницы, на которую выполняется редирект. |
| Запрет в robots.txt (весь сайт) | ROBOTS_HOST_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| Запрет в robots.txt (страница) | ROBOTS_TXT_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| В поиске | SEARCHABLE | Страница участвует в поиске и может отображаться в результатах поиска по запросам. |
| Статус в веб-интерфейсе | Статус в файле | Расшифровка | Рекомендация |
|---|---|---|---|
| Малоценная или маловостребованная страница | LOW_DEMAND | Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы. Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании. Наличие у сайта ограничений можно проверить в Вебмастере на странице . | Подробно см. в разделе Малоценные или маловостребованные страницы. |
| Исключена по Clean-param | CLEAN_PARAMS | Страница была исключена из поиска в результате обработки роботом директивы Clean-param. | Чтобы страница индексировалась, измените файл robots.txt. |
| Дубль | DUPLICATE | Страница дублирует уже представленную в поиске страницу сайта. | Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical". Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе. |
| Ошибка подключения к серверу | HOST_ERROR | При обращении к сайту роботу не удалось установить соединение с сервером. | Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота. |
| Ошибка HTTP | HTTP_ERROR | При обращении к странице возникла ошибка. | Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Запрещено элементом noindex | META_NO_INDEX | Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). | Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход. |
| Неканоническая | NOT_CANONICAL | Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее исходном коде. | Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход. |
| Неглавный адрес сайта | NOT_MAIN_MIRROR | Страница относится к неглавному адресу сайта, поэтому была исключена из поиска. | |
| Статус неизвестен | OTHER | У робота нет актуальных данных для страницы. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если страница недоступна для робота, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Не удалось скачать страницу | PARSER_ERROR | При обращении к странице роботу не удалось получить ее содержимое. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| В поиске | REDIRECT_SEARCHABLE | Страница осуществляет перенаправление, но находится в поиске. | |
| Редирект | REDIRECT_NOTSEARCHABLE | Страница осуществляет перенаправление, при котором индексируется его цель. | Проверьте индексирование страницы, на которую выполняется редирект. |
| Запрет в robots.txt (весь сайт) | ROBOTS_HOST_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| Запрет в robots.txt (страница) | ROBOTS_TXT_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| В поиске | SEARCHABLE | Страница участвует в поиске и может отображаться в результатах поиска по запросам. |
Файл может содержать следующие данные:
- url — адрес страницы;
- lastAccess — дата последнего посещения страницы роботом;
- title — заголовок страницы (HTML-элемент title).
Файл может содержать следующие данные:
- url — адрес страницы;
- status — статус страницы;
- lastAccess — дата последнего посещения страницы роботом.
| Статус в веб-интерфейсе | Статус страницы | Расшифровка | Рекомендация |
|---|---|---|---|
| Малоценная или маловостребованная страница | LOW_DEMAND | Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы. | Подробно см. в разделе Малоценные или маловостребованные страницы. |
| Исключена по Clean-param | CLEAN_PARAMS | Страница была исключена из поиска в результате обработки роботом директивы Clean-param. | Чтобы страница индексировалась, измените файл robots.txt. |
| Дубль | DUPLICATE | Страница дублирует уже представленную в поиске страницу сайта. | Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical". Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе. |
| Ошибка подключения к серверу | HOST_ERROR | При обращении к сайту роботу не удалось установить соединение с сервером. | Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота. |
| Ошибка HTTP | HTTP_ERROR | При обращении к странице возникла ошибка. | Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Запрещено элементом noindex | META_NO_INDEX | Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). | Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход. |
| Неканоническая | NOT_CANONICAL | Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее HTML-коде. | Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход. |
| Неглавный адрес сайта | NOT_MAIN_MIRROR | Страница относится к неглавному адресу сайта, поэтому была исключена из поиска. | |
| Статус неизвестен | OTHER | Страница известна роботу, но не участвует в поиске. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Не удалось скачать страницу | PARSER_ERROR | При обращении к странице роботу не удалось получить ее содержимое. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Редирект | REDIRECT_NOTSEARCHABLE | Страница осуществляет перенаправление, при котором индексируется его цель. | Проверьте индексирование страницы, на которую выполняется редирект. |
| Запрет в robots.txt (весь сайт) | ROBOTS_HOST_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| Запрет в robots.txt (страница) | ROBOTS_TXT_ERROR | Индексирование страницы запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| Статус в веб-интерфейсе | Статус страницы | Расшифровка | Рекомендация |
|---|---|---|---|
| Малоценная или маловостребованная страница | LOW_DEMAND | Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы. | Подробно см. в разделе Малоценные или маловостребованные страницы. |
| Исключена по Clean-param | CLEAN_PARAMS | Страница была исключена из поиска в результате обработки роботом директивы Clean-param. | Чтобы страница индексировалась, измените файл robots.txt. |
| Дубль | DUPLICATE | Страница дублирует уже представленную в поиске страницу сайта. | Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel="canonical". Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе. |
| Ошибка подключения к серверу | HOST_ERROR | При обращении к сайту роботу не удалось установить соединение с сервером. | Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота. |
| Ошибка HTTP | HTTP_ERROR | При обращении к странице возникла ошибка. | Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Запрещено элементом noindex | META_NO_INDEX | Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content="noindex" или content="none"). | Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход. |
| Неканоническая | NOT_CANONICAL | Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее HTML-коде. | Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход. |
| Неглавный адрес сайта | NOT_MAIN_MIRROR | Страница относится к неглавному адресу сайта, поэтому была исключена из поиска. | |
| Статус неизвестен | OTHER | Страница известна роботу, но не участвует в поиске. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Не удалось скачать страницу | PARSER_ERROR | При обращении к странице роботу не удалось получить ее содержимое. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
| Редирект | REDIRECT_NOTSEARCHABLE | Страница осуществляет перенаправление, при котором индексируется его цель. | Проверьте индексирование страницы, на которую выполняется редирект. |
| Запрет в robots.txt (весь сайт) | ROBOTS_HOST_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
| Запрет в robots.txt (страница) | ROBOTS_TXT_ERROR | Индексирование страницы запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
