Знатоки теперь на Кью! Присоединяйтесь к новому сервису ЯндексаПерейти

Как заблокировать страницы в robots.txt?

Нужно заблокировать страницы с точным написанием /?

Пример:

- нужно

https://ckat.pro/catalog/svetotehnika/?

https://ckat.pro/catalog/svetotehnika/lampochki/?

https://ckat.pro/catalog/trekovye-sistemy/?

https://ckat.pro/catalog/trekovye-sistemy/svetilniki-shinnye/?

- НЕ нужно

https://ckat.pro/catalog/svetotehnika/?Tags=nast

https://ckat.pro/catalog/svetotehnika/?Tags=potolok

https://ckat.pro/catalog/svetotehnika/lyustry/?typelamps%5B0%5D=3

https://ckat.pro/catalog/svetotehnika/potolochnye-svetilniki/?color%5B0%5D=4&Tags=nast

https://ckat.pro/catalog/svetotehnika/potolochnye-svetilniki/?curPos=1499&Tags=nast

https://ckat.pro/catalog/tehnicheskoe-osveschenie/?brand%5B0%5D=48&price=6%3B48987.93&sort=

https://ckat.pro/catalog/svetotehnika/?brand=37&price=8.5%3B2172016.5&isNew=0&isStock=0&sort=&curPos=140

и т.д.

Вот ротобтс.тхт

# Google Robots file

User-agent: Google

Disallow: *?cur_cc=*

Disallow: *sort=p_asc*

Disallow: *sort=p_desc*

Disallow: */?*

Disallow: /catalog/mebel/?$*

Disallow: https://ckat.pro/catalog/mebel/?*

# NetCat Yandex file

User-agent: Yandex

Disallow: *?cur_cc=*

Disallow: *sort=p_asc*

Disallow: *sort=p_desc*

Disallow: */?$*

Disallow: /*?$*

Disallow: /privacy-policy/?isNaked=1&nc_ctpl=246

Disallow: /catalog/mebel/?*

Disallow: https://ckat.pro/catalog/mebel/?*

# NetCat Robots file

User-agent: *

Disallow: /catalog/mebel/?*

Disallow: https://ckat.pro/catalog/mebel/?*

Disallow: /privacy-policy/?isNaked=1&nc_ctpl=246

Disallow: *?cur_cc=*

Disallow: *sort=p_asc*

Disallow: *sort=p_desc*

Disallow: */?$*

Disallow: /*?$*

Disallow: /netcat/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /netcat_trash/

Disallow: /netcat_template/

Disallow: /*?

Интересный вопрос
Лучший ответ

$ — указывает на точное соответствие исключения значению параметра. Пример:

User-agent: Googlebot
Disallow: /page$

В данном случае, директива Disallow будет запрещать /page, но не будет запрещать индексацию страницы /page1, /page-be-cool или /page/kak-skazat.

Т.е. для каждого User-agent вам нужно добавить:

Disallow: /catalog/svetotehnika/?$

Disallow: /catalog/svetotehnika/lampochki/?$

Disallow: /catalog/trekovye-sistemy/?$

Disallow: /trekovye-sistemy/svetilniki-shinnye/?$

21
Написать комментарий

0/140Ответ не может быть меньше 140 символов