Страницы в поиске

Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.

С помощью информации, представленной в разделе Страницы в поиске, вы можете:

  • Следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа добавленных и исключенных страниц.
  • Получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи.
  • Выяснить причину исключения страницы из результатов поиска.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

Примечание. Данные доступны начиная с 12 октября 2016 г.

Если вы не нашли информацию об определенной странице, можно проверить, присутствует ли она в поиске, с помощью инструмента Проверить статус URL.

  1. Динамика состояния страниц
  2. Изменения страниц в результатах поиска
  3. Список участвующих в поиске страниц
  4. Список исключенных из поиска страниц
  5. Фильтрация данных
  6. Выгрузка информации в файл

Динамика состояния страниц

Информация о страницах представлена следующим образом:

  • Новые и удаленные — соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
  • Исключенные — динамика количества страниц, исключенных из результатов поиска.
  • История — динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
  • Распределение — количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.

Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали в раздел сервиса Структура сайта).

Изменения страниц в результатах поиска

Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:

  • дата обновления поисковой выдачи;
  • была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
  • причина удаления страницы из поиска.

Кроме этого, сервис показывает общую информацию о странице:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • заголовок страницы (HTML-элемент title).

Чтобы просмотреть изменения, установите переключатель в положение Последние изменения. В результате отобразится до 50 000 изменений.

Список участвующих в поиске страниц

Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • заголовок страницы (HTML-элемент title).

Чтобы увидеть список страниц, установите переключатель в положение Все страницы. Список может содержать до 50 000 страниц сайта.

Список исключенных из поиска страниц

Вы можете просмотреть список всех исключенных из поиска страниц (до 50 000) и следующую информацию о них:

  • дата последнего посещения страницы роботом;
  • адрес страницы относительно корневого каталога сайта;
  • статус (причина исключения страницы).

Чтобы увидеть список страниц, установите переключатель в положение Исключенные страницы.

Примечание. Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:

  • страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found), или на странице настроен 301 редирект;
  • другие ресурсы не ссылаются на исключенную страницу.

Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt.

Фильтрация данных

Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок . Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:

С указанием определенного фрагмента URL

Чтобы составить список страниц, адрес которых содержит определенный фрагмент, установите переключатель в положение Содержит и в поле укажите нужное значение.

C указанием специальных символов

Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, установите переключатель в положение Условие, а само условие введите в поле. Можно добавить несколько условий — каждое из них должно начинаться с новой строки.

Для условий доступны правила:

  • выполнять любое из условий (соответствует оператору «ИЛИ»);
  • выполнять все условия (соответствует оператору «И»).
Символы, используемые для фильтрации
Символ Описание Пример
* Соответствует любому количеству любых символов

Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/, включая указанную страницу: /tariff/*

@ Выбранные данные содержат указанную строку (но не обязательно строго соответствуют) Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff
~ Условие является регулярным выражением Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению
! Отрицание условия Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/: !/tariff/*

При использовании символов не учитывается регистр.

Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:

Оператор Пример
!@ Исключить данные по страницам, URL которых содержит tariff: !@tariff
!~ Исключить данные по страницам, URL которых удовлетворяет условиям регулярного выражения

Выгрузка информации в файл

Информацию о страницах можно выгрузить в формате XLS или CSV. Содержимое файла различается в зависимости от положения переключателя.

Файл может содержать следующие данные:

  • updateDate — дата обновления поисковой базы;
  • url — адрес страницы;
  • httpCode — HTTP-код, полученный роботом во время последнего обхода;
  • status — статус страницы;
  • target — адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
  • lastAccess — дата последнего посещения страницы роботом;
  • title — заголовок страницы (содержимое HTML-элемента title);
  • event — действие, произошедшее со страницей (добавление или исключение из поиска).
Статусы страницы в поиске
Статус в веб-интерфейсе Статус в файле Расшифровка Рекомендация
Недостаточно качественная BAD_QUALITY Страница считается некачественной. Ознакомьтесь с рекомендациями.
Исключена по Clean-param CLEAN_PARAMS Страница была исключена из поиска в результате обработки роботом директивы Clean-param. Чтобы страница индексировалась, измените файл robots.txt.
Дубль DUPLICATE Страница дублирует уже представленную в поиске страницу сайта.

Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе.

Ошибка подключения к серверу HOST_ERROR При обращении к сайту роботу не удалось установить соединение с сервером.

Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера.

Сайт начнет индексироваться автоматически, если станет доступным для робота.

Ошибка HTTP HTTP_ERROR При обращении к странице возникла ошибка.

Проверьте ответ сервера.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.

Запрещено элементом noindex META_NO_INDEX Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью мета-тега robots со значением content="noindex" или content="none"). Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход.
Неканоническая NOT_CANONICAL Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее исходном коде.

Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически.

Чтобы ускорить обновление данных о странице, отправьте ее на переобход.

Неглавное зеркало NOT_MAIN_MIRROR Страница относится к неглавному зеркалу сайта, поэтому была исключена из поиска.
Статус неизвестен OTHER Страница известна роботу, но не участвует в поиске.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.

Не удалось скачать страницу PARSER_ERROR При обращении к странице роботу не удалось получить ее содержимое.

Проверьте ответ сервера или наличие запрещающих HTML-элементов.

Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход.

В поиске REDIRECT_SEARCHABLE Страница осуществляет перенаправление, но находится в поиске.
Редирект REDIRECT_NOTSEARCHABLE Страница осуществляет перенаправление, при котором индексируется его цель. Проверьте индексирование страницы, на которую выполняется редирект.
Запрет в robots.txt (весь сайт) ROBOTS_HOST_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
Запрет в robots.txt (страница) ROBOTS_TXT_ERROR Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. При необходимости внесите изменения в файл robots.txt.
В поиске SEARCHABLE Страница находится в поиске.