Клуб о поиске Яндекса

Какое правило написать в robots.txt ?

milliondollarms
3 ноября 2016, 21:32

Добрый день. Подскажите, пожалуйста, какое правило мне нужно прописать в файле robots.txt для моего блога http://debaka.ru/, созданного на WordPress?

У меня следующая проблема - в поиске Яндекс появляются страницы, которые я не создавал.

Например, вот эта - http://debaka.ru/aktsii-bmw-vygodnyy-aktiv-fondovogo-rynka-v-binarnykh-optsionakh/graficheskiy-servis-platformy-brokera/. Эту страницу я не создавал, а Яндекс ее проиндексировал, потому что эта картинка есть в статье http://debaka.ru/aktsii-bmw-vygodnyy-aktiv-fondovogo-rynka-v-binarnykh-optsionakh/.

Так как такая отдельная страница не несет практической пользы для пользователя, и только засоряет поиск, я хочу убрать ее с индекса. Очевидно, что эту нужно сделать с помощью правила в файле robots.txt, а затем посмотреть все страницы в поиске и поочередно добавлять страницы, которые я не создавал, в инструмент-форму удаления URL Яндекса.

На форумах решения моей проблемы я не нашел, поэтому подскажите мне, пожалуйста, что мне написать в robots.txt ? 

3 комментария
Подписаться на комментарии к посту
firstlena.pershina
3 ноября 2016, 21:31
А как они у вас вообще создались? Может, если они вообще не нужны, их просто с сайта удалить? 
firstlena.pershina, да, такие страницы не нужны. Но и удалить их нет возможности, так как их нет в панели управления сайтом.



Таким образом, если в статье было 7 картинок, то мой WordPress создает сам еще 7 страниц, которые мне не нужны.Но этих страниц нет физически. И также с помощью метатега noindex о них не избавишься, потому что мусорные страницы и записи, созданные мною, имеют идин и тот же php файл. И если бы я в php файле приписал бы тег noindex, то с поиска пропали бы все полезные страницы.



Средствами robots.txt это сделать не получится, потому что запретить эти страницы каким-то общим правилом не представляется возможным. А в ручную каждый раз при создании новой записи дописывать файл robots.txt как-то долго и неудобно.



Задал вчера вопрос на форуме русскоязычной поддержки Wordpress, чтобы решить свою проблему. Как оказалось, что такая проблема возникала у многих. Эти страницы в поиске - "Страницы медиа-файлов". Если бы у меня был установлен плагин Yoast SEO, то проблему можно было решить вот так - http://prnt.sc/ad8dvzhttp://prnt.sc/ad8dvz. То есть можно было бы перенаправлять URL вложения на URL родительской записи. Однако я не хотел удалять свой плагин All in SEO Pack, поэтому воспользовался советами на форуме и установил плагин  Attachment Pages Redirect. Таким образом, с помощью этого плагина картинки в статье с помощью 301 редиректа перенаправляются на статью, в которой они находятся, не генерирую отдельные страницы на сайте. А если картинки находятся не в статье, например фавикон, то они редиректят с помощью 302 редиректа на главную страницу.


Таким образом, проблему я свою решил. Я все-таки, считаю, что это недочет CMS WordPress. Возможно, когда эта проблема станет более массовой, этот баг исправят при обновлении CMS. Этот баг больше всего опасен для тех, кто монетизируют свой сайт с помощью контекстной рекламы. Так как реклама, таким образом, размещается на странице, где нет контента. А это является нарушеним для контекстной рекламы.



В моем случае сейчас осталось только ждать обновления поисковой базы Яндекс. Надеюсь в ближайших обновлениях Яндекс выбросить мои мусорные страницы из поиска.


Если кому-то интересно прочитать всю ветку обсуждения и решения проблемы, то вот ссылка - https://ru.wordpress.org/support/topic/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%8E%D1%82%D1%81%D1%8F-%D0%BD%D0%B5%D0%BD%D1%83%D0%B6%D0%BD%D1%8B%D0%B5-%D1%81%D1%82/https://ru.wordpress.org/support/topic/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D1%8E%D1%82%D1%81%D1%8F-%D0%BD%D0%B5%D0%BD%D1%83%D0%B6%D0%BD%D1%8B%D0%B5-%D1%81%D1%82/
firstlena.pershina
7 ноября 2016, 18:33
milliondollarms,
Не совсем понятно, зачем Wordpress создаёт эти страницы, но это уже вопрос к Wordpress. Думаю, с картинками проблем возникнуть не должно в таком варианте, как и с удалением дублей.