Наличие рекламы на закрытых от индексации страницах

larvysk

24 февраля 2014, 20:06

Я хочу закрыть от индексации поисковым роботом Яндекс некоторые статьи, являющиеся дубликатами статей на другом моём сайте. Можно ли сделать так, чтобы поисковый робот РСЯ всё-таки приходил на закрытые страницы и рекламные объявления показывались?

4 комментария

Авторизуйтесь, чтобы оставить комментарий

qzminn

28 января 2016, 00:04

Индексацией сайта для показа в поисковой выдачи и фокусировки рекламы используются разные роботы. Поэтому вы можете запретить индексацию страниц поисковому роботу, но разрешить роботу РСЯ. Подробнее вы можете посмотреть здесь: http://help.yandex.ru/partner/technologies/robot.xml

larvysk

28 января 2016, 00:04

Спасибо. Тогда скажите, пожалуйста, чем отличается рекомендованная по Вашей ссылке запись в файле robots.txt:

User-Agent: YandexDirect Disallow:

от рекомендованной также Яндексом на странице:
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#exceptions записи:

User-agent: YaDirectFetcher
Disallow: 

Нужно ли оставить их обе?

Какое отличие между роботами  
YandexDirect и YaDirectFetcher?

gutov.sergey

28 января 2016, 00:04

Первый вариант следует оформить правильно:

User-agent: YandexDirect
Disallow:

Все директивы прописываются с новой строки.

Робот YandexDirect сканирует страницы для размещения рекламы, а робот YaDirectFetcher - для проверки целевых страниц, т.е. проверяет сайты рекламодателей на соответствие. Если есть необходимость разрешить обоим роботам индексацию, то можно просто добавить директиву User-agent:

User-agent: YandexDirect
User-agent: YaDirectFetchert
Disallow:

larvysk

28 января 2016, 00:04

Спасибо за ответ.