Клуб Яндекс.Поиска для сайта

Как заставить яндекс (поиск для сайта) быстрее индексировать новые страницы?

Настроил форму поиска у себя на сайте, мне нравится как он работает. Единственный омрачающий момент - это очень медленное индексирование новых страниц. Также настроил автоматическое уведомление сервис Яндекс о новых (измененных) страницах, но это тоже не помогло. Как ускорить сей процесс?

10 комментариев
Оксана Зиновьева
28 января 2016, 01:04

создать карту xml

она создана с момента основания сайта.

Дмитрий Вульбрун
28 января 2016, 01:04

Кажется, проблема немного в другом. Мы кое-что проверим и скажем, что случилось.

Дмитрий Вульбрун
28 января 2016, 01:04

Ошибка найдена, и она на вашей стороне.

В файле robots.txt данные документы запрещены к индексации. Скорее всего это запись Disallow: /*content*, хотя может быть и не только эта.

Проверьте корректность директив в файле robots.txt и устраните проблему.

Добрый день! Спасибо, что откликнулись. Если я правильно понимаю запись Disallow: /*content*, закрывает от индексации страницы, в URL которых содержится слово content, но в моем случае адреса страниц не включают это слово.
Эта запись нужна, чтобы исключить дубли страниц, т.к. мой сайт сделан на CMS Joomla, а она грешит этим делом.

Я проверил в панели вебмастера несколько страниц, не запрещает ли мой robots.txt индексацию, везде результат "разрешен".

Дмитрий Вульбрун
28 января 2016, 01:04

Вот отправляемые вами урлы (для примера)

http://reshebnik5-11.ru/index.php?option=com_content&view=article&id=1669
http://reshebnik5-11.ru/index.php?option=com_content&view=article&id=1670

И в них есть слово "content"

 

Плагины для CMS специально написаны так, чтобы отправлять исходные урлы, основанные на cgi-параметрах, потому что урл ЧПУ у документа может поменяться, когда как такой урл поменяться не может.

Все, теперь понятно, а должен быть http://reshebnik5-11.ru/sochineniya/bunin-i-a/gospodin-iz-san-frantsisko/1669-gospodin-iz-san-francisko-6 и тому подобные.

А неподскажите как заставить отправлять правильные?

Дмитрий Вульбрун
28 января 2016, 01:04

Ну правильные отправлять можно, внеся изменения в код плагина. Но вот то, каким образом плагин узнает об ЧПУ адресе докумета, зависит от того, каким образом генерируются ЧПУ адреса документов. Это может быть стандарный способ в Joomla, это может быть специальный модуль для генерации SEF (ЧПУ) урлов.

Я не смогу, к сожалению, указать вам, каким именно образом именно для вашего сайта нужно узнавать об этих адресах.

Попросите помочь вам в этом коллег из сообщества Joomla!, думаю, вам помогут. Если у вас не получится это сделать - просто настройте robots.txt так, чтобы эти адреса не были закрыты от индексации.

Когда большой робот придет обходить документ по ЧПУ ссылке, а в специальном роботе Поиска для сайта уже этот документ будет лежать под длугим адресом, робот его проиндексирует, и на выдаче дубликаты будут склеяны в пользу документа с ЧПУ адресом (потому что именно эта ссылка располагается на сайте).

Большое спасибо за помощь в поиске корня моей проблемы. Я решил что самое простое - это из sitemap.xml брать новые адреса и просто вручную их отправлять. Это займет не более 5 минут. 

Дмитрий Вульбрун
28 января 2016, 01:04

Ну я бы на вашем месте все же задумался об автоматизации этого процесса, у вас не так мало новых документов, и руками это все же не так оперативно, как автоматически.