Блог Яндекса для вебмастеров

январь 2009
Как указать незначащие cgi-параметры поисковому роботу
28 января 2009, 19:46

Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий, пользователей, рефереров и т.д.), вы можете описать их при помощи директивы Clean-param в robots.txt. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Синтаксис директивы и примеры.


Иван Наймушин и команда разработки поискового робота

15 комментариев