Как удалить страницы из поиска

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.

  1. Запретите индексирование страницы или каталога
  2. Ускорьте удаление страницы
  3. Как вернуть страницу в результаты поиска
  4. Вопросы и ответы

Запретите индексирование страницы или каталога

Сделать это можно несколькими способами:

Если страница удалена с сайта
  • Укажите директиву Disallow в файле robots.txt.
  • Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301.

Если страница не должна отображаться в поиске

Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.

Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц в файле robots.txt.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс.Вебмастера.

Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.

Рекомендуем просмотреть урок Как удалить страницу из поиска.

Ускорьте удаление страницы

Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.

  • Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:

    1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
    2. В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
    3. Нажмите кнопку Удалить.

    Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.

  • Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:

    1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
    2. Установите переключатель в положение По URL.
    3. В поле введите адрес страницы, например http://example.com/page.html.
    4. Нажмите кнопку Удалить.

    Вы можете указать до 500 адресов одного сайта в сутки.

После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице Инструменты → Удаление страниц из поиска:

СтатусОписание
«В очереди на удаление»Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут.
«Удалена»В течение часа после проверки роботом страница будет удалена из результатов поиска.
«Отклонено»Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Как вернуть страницу в результаты поиска

Уберите запрет на индексирование: директиву Disallow в файле robots.txt или мета-тег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Вопросы и ответы

Я удалил страницы, как указано в инструкции. Почему робот продолжает их посещать?

После того, как робот узнал о запрете на индексирование, он продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить.