Удаление страниц сайта из результатов поиска

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию или была удалена. Сделать это можно несколькими способами:

Страница удалена с сайта
  • Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
  • Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 not found.

    Если с сайта удалено сразу несколько страниц, робот узнает о каждой постепенно. Это может занять много времени. В этом случае запретите индексирование всех удаленных с сайта страниц в файле robots.txt.

Страница не должна отображаться в поиске
  • Запретите индексирование страницы с помощью диретивы Disallow в файле robots.txt.
  • Закройте страницы от индексирования с помощью мета-тега noindex.

Робот узнает об изменениях при очередном посещении сайта и внесет их в свою базу. Через несколько дней после этого страница пропадет из результатов поиска и отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если после изменений робот еще не посетил ваш сайт, вы можете сообщить Яндексу о том, что нужно убрать страницу из поиска, с помощью инструмента «Удалить URL» в Яндекс.Вебмастере.

Рекомендуем просмотреть урок Как удалить страницу из поиска.

Инструмент «Удалить URL»

Инструмент помогает ускорить удаление из результатов поиска страницы, которая запрещена для индексирования в файле robots.txt или удалена с сайта.
Внимание. Перед использованием инструмента проверьте, есть ли удаленная или запрещенная для индексирования страница в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера. Если есть, значит робот уже знает об ее изменениях: через некоторое время страница пропадет из результатов поиска. В этом случае использовать инструмент не нужно.

Чтобы сообщить Яндексу о странице, в разделе Удалить URL Яндекс.Вебмастера:

  1. В поле укажите адрес страницы. Например, http://example.com/page.html.
  2. Нажмите кнопку Удалить.

Чтобы сообщить о нескольких страницах:

  • Если у вас нет сайтов, добавленных в Яндекс.Вебмастер — воспользуйтесь инструментом для каждой из страниц последовательно.
  • Если у вас есть сайты, добавленные и подтвержденные в Яндекс.Вебмастере — вы можете указать в поле до 500 URL для одного сайта в сутки (каждый URL в отдельной строке).

После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса страницы:

Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и наличие запрета на индексирование страницы в файле robots.txt. Проверка может занимать несколько минут.
«Удалена» В течение часа после проверки страница будет удалена из результатов поиска.
«Отклонено»
  • В файле robots.txt отсутствует запрет на индексирование.
  • При обращении к адресу страницы ответ сервера отличается от 404 not found.