Клуб о поиске Яндекса

X-Robots-Tag

mbizunov
12 августа 2010, 12:41

Добрый день!

Поддерживает ли поисковый робот Яндекса заголовок ответа сервера: X-Robots-Tag:noindex, т.е. возможно ли исключить сайт из индексации не используя файл robots.txt и не используя метатеги, а с помощью заголовка в ответе сервера?

Если нет поддерждки, то планируется ли в будущем?

Заранее спасибо,

С уважением, Михаил.

19 комментариев
Подписаться на комментарии к посту
Михаил, добрый день.
Нет, не поддерживает. Пока таких планов нет.
Если Вам нужно удалить страницу из индекса, воспользуйтесь функцией "Удалить URL" в Яндекс.Вебмастере - http://webmaster.yandex.ru/delurl.xml
Мария, спасибо за ответ.
Хотя решение проблемы лежит гораздо глубже, чем Вы указали.
Если интересно, опишу ситуацию:
Есть 2 сервера, один боевой (основной домен), один тест pre-релизовый (поддомен). На обоих серверах одинаковые копии кода сайта, использующие одну базу данных, одинаковые настройки, оба смотрят в инет, но один (поддомен) нужно исключить из индексирования (запредить индексацию) без изменения кода.
Разместить в корне поддомена запрещающий индексацию файл robots.txt возможности не имеется.
Как быть в таком случае? Учет тегов серверных заголовков пригодился бы как нельзя кстати.
.htaccess и .htpasswd тебе в помощь без всяких заморочек :)
:) а если веб сервер не апач или должен быть открыт?
проблема владельца веб сервера :) на локале надо все отлаживать
Попробуйте заблокировать доступ роботу к pre-релизовому серверу по User-Agent, содержащему “Yandex”.
под iis6 не получится
Напишите скрипт, который на все страницы добавит noindex :) В чем трудность с настройкой и загрузкой файла robots.txt?
Конечно, проще переделать Яндекс, чем pre-релизовый поддомен :-D
Яху и Гугл поддерживают HTTP заголовок, почему бы и Яндексу его не поддерживать? :)
А спустя пол года планы случайно не поменялись? ;)

Тоже постоянно мучаемся с такой проблемой, очень часто приходится делать копию рабочего сайта на тестовом адресе для доработок, и если запрещать от индексации через robots.txt то постоянно то закрыть забудем то открыть, т.к. делается полная синхронизация.

Было бы значительно удобнее настроить в одном месте для всех сайтов тестового сервера http-заголовок X-Robots-Tag. Раз Google, Yahoo и другие поддержали этот тег, то почему бы Яндексу тоже не продолжить это начинание? А то не одни мы сталкиваемся с такими пролемами.
Так и скажите что беклинки хотите от индексации закрывать  ;)
X-Robots-Tag поддержим. О сроках говорить преждевременно. Следите за анонсами на http://webmaster.ya.ru/

Прошло полтора года, что на счёт X-Robots-Tag?

Прошел год. http://my.ya.ru/search_posts.xml?journal=http://webmaster.ya.ru/&server=ya.ru&search_type=diary_posts&text=X-Robots-Tag&nid780124=

 

Так поддерживается заголовок или не поддерживается?

Вопрос к колегам. Если яндекс все еще не поддерживает данный заголовок, допустимо ли с целью исключения документа из индекса выводить некий статус код (например 423)?


Верно ли что данный подход приведет к тому, что яндекс не будет индексировать докумет.

Верно ли что наличие такого статуса не приведет к немедленному удалению документа из индекса?

Прошло почти СЕМЬ!!! лет.
Можно ли поинтересоваться результатом?
Да, очень интересно.
Поддерживает теперь?
firstlena.pershina
6 февраля, 17:07
aeonrush,
Да, запрет HTTP-заголовком также подойдёт.