Клуб Рекламной сети Яндекса

Наличие рекламы на закрытых от индексации страницах

larisa-vyskubova
24 февраля 2014, 20:06

Я хочу закрыть от индексации поисковым роботом Яндекс некоторые статьи, являющиеся дубликатами статей на другом моём сайте. Можно ли сделать так, чтобы поисковый робот РСЯ всё-таки приходил на закрытые страницы и рекламные объявления показывались?

4 комментария
Подписаться на комментарии к посту

Индексацией сайта для показа в поисковой выдачи и фокусировки рекламы используются разные роботы. Поэтому вы можете запретить индексацию страниц поисковому роботу, но разрешить роботу РСЯ. Подробнее вы можете посмотреть здесь: http://help.yandex.ru/partner/technologies/robot.xml

Спасибо. Тогда скажите, пожалуйста, чем отличается рекомендованная по Вашей ссылке запись в файле robots.txt:

User-Agent: YandexDirect Disallow:

от рекомендованной также Яндексом на странице:
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#exceptions записи:

User-agent: YaDirectFetcher
Disallow:

Нужно ли оставить их обе?

Какое отличие между роботами

YandexDirect и YaDirectFetcher?

 

Первый вариант следует оформить правильно:

User-agent: YandexDirect
Disallow:

Все директивы прописываются с новой строки.

Робот YandexDirect сканирует страницы для размещения рекламы, а робот YaDirectFetcher - для проверки целевых страниц, т.е. проверяет сайты рекламодателей на соответствие. Если есть необходимость разрешить обоим роботам индексацию, то можно просто добавить директиву User-agent:

User-agent: YandexDirect
User-agent: YaDirectFetchert
Disallow:

Спасибо за ответ.