Клуб Яндекс.Поиска для сайта

Учитывает ли saas поиск robots.txt?

Николай
1 ноября 2016, 20:56

Учитывает ли saas поиск (обычный, не по магазинам) robots.txt?

Как разрешить индексировать поиску по сайту отдельных разделов, которые закрыты для индексации настоящим поиском?

3 комментария
Подписаться на комментарии к посту
firstlena.pershina
1 ноября 2016, 20:58
Да, учитывает. Данные разделы будут исключены из поиска. Чтобы они были в поиске, нужно использовать Поиск для интернет-магазинов.  
А можете привести пример контента, который нужен в поиске для сайта, но не нужен в большом поиске? Просто кейс не очень понятен, зачем нужна такая функциональность. 
firstlena.pershina,
у яндекса хороший поиск по сайту, встроенного поиска такого качества на сайте средствами cms не сделать. На сайте есть много контента, по которому надо искать, но контент неуник (а также с переспамом ключа и еще куча причин забанить его в большом яндексе) при этом людям этот контент нужен и поиск по нему, потому ему в нормальном поиске не нужно быть, да и по объему его больше, чем "нормального" контента, если большому яндексу разрешить такое индексить - это будет бан сайта скорее всего. Т.е. сейчас для такого контента можно выкрутиться только вынести его на субдомен или на отдельный домен, чтоб все проиндексить? Не планируете завести отдельный user-agent индексатору поиска для сайта, чтоб ему отдельно можно было прописывать указания в robots.txt?
firstlena.pershina
2 ноября 2016, 15:40
Николай,
Спасибо, кейс поняла. Пока, к сожалению, отдельного робота делать не планировали - подобные задачи как раз через каталоги хотим решать.