Клуб о поиске Яндекса

robots.txt или rel="canonical"

oldbadboy696
8 мая 2015, 21:04
Проблема с дублированием страниц может решаться прописыванием тега rel="canonical" или директив robots.txt, в которых запрещается индексация страниц с get-параметрами... Столкнулся с мнением, что rel="canonical" лучше, так как некоторые роботы Яндекса намерено игнорируют директивы robots.txt, а в результате будет страдать качество обхода сайта поисковой системой. Это действительно так?
2 комментария
Подписаться на комментарии к посту
firstlena.pershina
11 мая 2015, 13:39

Не совсем так: индексирующий робот всегда соблюдает установленные в robots.txt правила, с этим каких-либо проблем не возникает. А вот атрибут rel="canonical" не является строгим указанием, в редких случаях он может игнорироваться роботом. Основное отличие между использованием canonical и robots.txt заключается в том, что атрибут не запрещает роботу обходить те или иные страницы сайта, если количество дублей высоко, это может негативно сказаться на обходе сайта в целом. Запрет же в robots.txt позволяет предотвратить посещение подобных страниц роботом, что может положительным образом сказаться на обходе нужных и полезных страниц.

У меня на форуме тоже прописан rel="canonical", так в яндексе вебмастере у меня появилась ошыбка неканонических страниц. Библия Онлайн Читать | Новый Завет Господа Нашего Иисуса Христа