Клуб о поиске Яндекса

robots.txt

oldbadboy696
15 августа 2016, 17:09

достался "в подарок" сайт с robots.txt , где есть запись

Host: http://site.ru  

править на 

host: site.ru ?

3 комментария
Подписаться на комментарии к посту
Нет, в robots.txt нужно указывать протокол в явном виде, то есть оставить, как есть.
firstlena.pershina,
 Ok, т.е. на всех сайтах, где есть запись типа site.ru мне надо изменить запись на http://site.ru ? (если там не https, конечно)
Если протокол (http или https) не указаны явно, робот считает, что в директиве указан http. То есть можно оставить и "Host: http://site.ru", и "Host: site.ru", специально менять одно на другое не нужно.