Почему страницы исключены из поиска
Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:
- Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX. Выявить ошибку поможет инструмент .
- Индексирование страницы запрещено в файле robots.txt или с помощью мета-тега со значением noindex.
- Страница перенаправляет робота на другие страницы.
- Страница дублирует содержание другой страницы.
- Страница не является канонической.
Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.
Если вы устранили причину удаления страницы, отправьте страницу на переобход. Так вы сообщите роботу об изменениях.
Вопросы и ответы про исключенные из поиска страницы
- Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
- Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
- она недоступна для робота в течение некоторого времени;
- на нее не ссылаются другие страницы сайта и внешние источники.
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом мета-тегам стоит уделять внимание. Например, мета-тег Description и элемент title могут создаваться автоматически, повторять друг друга.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Это может происходить по нескольким причинам:
В разделе Страницы в поиске, в списке Исключенные страницы, отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).
Страница удаляется из списка исключенных, если:
Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.