Блог Яндекса для вебмастеров

Как указать незначащие cgi-параметры поисковому роботу

28 января 2009, 19:46

Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий, пользователей, рефереров и т.д.), вы можете описать их при помощи директивы Clean-param в robots.txt. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Синтаксис директивы и примеры.


Иван Наймушин и команда разработки поискового робота

15 комментариев
Подписаться на комментарии к посту
PS. Предлагаю показать пример в роботсе на Ярушечке. 8)
Хехе, +1 :)
хм не понятно а если такая маска /dir/ Id товара/?param= то тогда как быть ведь ID товара переменна
Не дочитал, все можно
А скажите, если, к примеру, есть список товаров одного типа, который разделён на несколько страниц (ибо товаров много и выводить их на одной не айс), соответственно, эти страницы ничем не отличаются кроме как товарами, которые на них содержаться. Если закрыть все страницы листинга по маске и оставить одну главную, то карточки товаров на других страницах будут индексироваться или робот на них не пойдёт, т.к. будет думать, что контент там такой же и не имеет смысла ходить по ссылкам этих страниц? Пример: www.site.ru/stranica_razdela/ - главная страница раздела, на которой расположены первые 20 товаров, а с неё идут ссылки 1,2,3...20 на страницы вида www.site.ru/stranica_razdela/page1, на которых расположены все остальные товары данного раздела. Если закрыть страницы по маске page, то будут ли индексироваться карточки товаров этих страниц?
Похоже, опечаточка в примерчиках на http://help.yandex.ru/webmaster/?id=996567#1041216 В частности, вот такой примерчик указан:
#если таких параметров несколько: www.site1.ru/forum_old/showthread.php?s=681498b9648949605&t=8243&ref=131951 www.site1.ru/forum_new/showthread.php?s=1e71c4427317a117a&t=8243&ref=989612 #robots.txt будет содержать: User-agent: Yandex Disallow: Сlean-param: s&ref /forum*/index.php
Не должно ли в последней строе вместо index.php иметь место showthread.php? ;-)
Оперативно поправили ошибку ))
вопрос, если скажем параметр запрещен для индексирования, то Clean-param можно использовать, например для красоты вебмастерской панели, или робот наконец перестанет "бомбить" закрытые от индексации урлы?
Замечательно, теперь можно подчистить phpbb3 там, где сил бороться с собственными косяками в их шаблонах нет)
Ну что, СЕО довольны в общем-то :)
У меня сбой сервиса"Моя лента",хотел просто поменять тему новостей,но старая тема"НКС"/это мой кабельный телеоператор/не хочет удаляться,а новая соответственно не может загрузиться.Может это ваш сбой на сервере или ошибка на моём компьютере?
site.ru/Otchet.html?PHPSESSID=4285b553f54dfee32125a18ab52127d6 site.ru/proizvodstvo.html?PHPSESSID=4285b553f54dfee32125a18ab52127d6 site.ru/raznoe.html?PHPSESSID=4285b553f54dfee32125a18ab52127d6 site.ru/okompani.html?PHPSESSID=4285b553f54dfee32125a18ab52127d6 Не осилил для таких конструкций как описать robots ?
Господа! Когда вы почините сечтчик посещений яндекса? Имею ввиду тот, что на блоги ставиться?
Интересная статья но очень трудно до конца вникнуть в мысль автора.
Не знаю к кому обратиться? Да и не я один, наверное. Цельную зиму, ну просто, цельную зиму, нельзя было добиться от Яндекса достоверной информации о погоде в Тобольске. Вот и сейчас... На улице весна!!! А тоболяков снова пугают тридцатиградусными морозами. Господа! Ну откуда вы берете такую информацию? Я и многие другие ищем сведения о погоде в других поисковых системах. Мотайте на ус!Как говорил М.М. Жванецкий, - Тщательнее надо, ребята!