Клуб Яндекс.Поиска для сайта

Учитывает ли saas поиск robots.txt?

Учитывает ли saas поиск (обычный, не по магазинам) robots.txt?

Как разрешить индексировать поиску по сайту отдельных разделов, которые закрыты для индексации настоящим поиском?

3 комментария
Елена Першина
1 ноября 2016, 20:58
Да, учитывает. Данные разделы будут исключены из поиска. Чтобы они были в поиске, нужно использовать Поиск для интернет-магазинов.  
А можете привести пример контента, который нужен в поиске для сайта, но не нужен в большом поиске? Просто кейс не очень понятен, зачем нужна такая функциональность. 
Елена Першина,
у яндекса хороший поиск по сайту, встроенного поиска такого качества на сайте средствами cms не сделать. На сайте есть много контента, по которому надо искать, но контент неуник (а также с переспамом ключа и еще куча причин забанить его в большом яндексе) при этом людям этот контент нужен и поиск по нему, потому ему в нормальном поиске не нужно быть, да и по объему его больше, чем "нормального" контента, если большому яндексу разрешить такое индексить - это будет бан сайта скорее всего. Т.е. сейчас для такого контента можно выкрутиться только вынести его на субдомен или на отдельный домен, чтоб все проиндексить? Не планируете завести отдельный user-agent индексатору поиска для сайта, чтоб ему отдельно можно было прописывать указания в robots.txt?
Елена Першина
2 ноября 2016, 15:40
Николай,
Спасибо, кейс поняла. Пока, к сожалению, отдельного робота делать не планировали - подобные задачи как раз через каталоги хотим решать.