Мета-тег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:
  • прописать мета-тег robots в HTML-коде страницы в элементе head;
  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
Примечание. Если страница запрещена в файле robots.txt, то директива мета-тега или заголовка не действует.

По умолчанию мета-тег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

  1. Поддерживаемые Яндексом директивы
  2. Указание нескольких директив
  3. Указания для определенных роботов

Поддерживаемые Яндексом директивы

ДирективаОписаниеМета-тег robotsЗаголовок X-Robots-Tag
noindexНе индексировать текст страницы. Страница не будет участвовать в результатах поиска.
nofollowНе переходить по ссылкам на странице.
noarchiveНе показывать ссылку на сохраненную копию в результатах поиска.
noyacaНе использовать сформированное автоматически описание.
noneАналогично метатегам noindex, nofollow.
allРазрешено индексировать текст и ссылки на странице. Используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.

Роботы других поисковых систем и сервисов могут иначе интерпретировать эти директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

Указание нескольких директив

Вы можете указать директивы через запятую.

<meta name="yandexbot" content="noindex, nofollow" />

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами мета-тега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указания для определенных роботов

В примере мета-тег запрещает индексирование страницы основному индексирующему роботу Яндекса.

Измените значение атрибута name — укажите User-agent робота, для которого хотите добавить правило. Полный список роботов Яндекса.

<meta name="yandexbot" content="noindex" />

Чтобы указать директивы для всех роботов Яндекса, в атрибуте name используйте значение yandex.

Если вы перечислите разные директивы для нескольких поисковых роботов, то поисковая система учтет все директивы.

<meta name="robots" content="noindex" />
<meta name="yandexbot" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.