Немного теории
Многих владельцев сайтов интересует, как удалить веб-страницу из Поиска. Причины для этого бывают разные. Например, нужно убрать из Поиска страницу, которой уже нет на самом сайте. Или в Поиск попала конфиденциальная информация, которую владелец сайта забыл закрыть с помощью файла robots.txt. Давайте разберёмся, как поступить в том и в другом случае.
Убрать страницу из Поиска, не удаляя её с сайта, можно двумя способами:
- Настроить сервер на HTTP-ответ 404, 403 или 410.
- Указать в метатеге robots директиву noindex.
В течение пары недель робот обнаружит, что страницу нельзя индексировать, и уберёт её из поисковой базы.
Раньше можно было удалить страницу через robots.txt, но сейчас в этом файле можно только ограничить индексирование. Это снизит нагрузку на сайт и ускорит его работу. Но страница всё равно может появляться в Поиске, если робот обнаружит ссылки на неё на других сайтах.
Важно: если вы хотите удалить страницу с помощью метатега noindex или HTTP-ответа 404, 403 или 410, не ограничивайте её в robots.txt. Иначе робот Яндекса не сможет посетить её и обнаружить указания, что страницу из Поиска надо удалить. Подробнее об этом можно прочитать в Справке.
Часто бывает так, что страница удалена с сайта, но по-прежнему доступна в Поиске. Это значит, что поисковый робот ещё не добрался до страницы и не знает, что она удалена. Вы можете попросить робота зайти на эту страницу — с помощью инструмента «Удалить URL» на сервисе Яндекс Вебмастер. Этот инструмент можно использовать и в том случае, если вы закрыли страницу для поисковой системы тегом noindex.
Инструмент «Удалить URL» позволяет сообщить роботу, что страница изменилась и её нужно переобойти как можно скорее. Например, вы можете сообщить роботу, что страница была удалена или запрещена к индексированию.
Сделать это очень просто. Достаточно указать адрес страницы и нажать на кнопку «Удалить». Страница исчезнет из Поиска, когда поисковый робот убедится в том, что страница удалена (то есть возвращает код 404) или запрещена к индексированию.
Если на сайте удалено сразу много страниц, то робот будет обнаруживать их постепенно — по мере обхода. Чтобы эти страницы быстрее исчезли из Поиска, можно указать в метатеге robots директиву noindex.
Задание
Посмотрите, есть ли на вашем сайте страница, которую нужно удалить из Поиска. Если да, попробуйте сделать это с помощью инструмента «Удалить URL».
