Клуб Яндекс.Поиска для сайта

Как быть со страницами которые не в индексе

Есть 15 000 карточек товаров. Причем, 90% из них закрыты от индексации в robots.txt, поскольку не заполнены. По мере заполнения они становятся доступны роботу. В индексе сейчас только страницы категорий товаров. Ну и часть товаров тоже...

Хочу поставить яндекс-поиск на сайт. Как быть? Открывать для индексации пустые страницы с ценой и заголовком? Не повредит ли это моему сайту в плане seo?!

29 комментариев
Дмитрий Вульбрун
28 января 2016, 00:57

Прошу прощения за задержку с ответом.

Проще всего вам открывать каждую карточку товара для индексации по мере ее заполнения. И отправлять нам пинг на индексацию этого товара. Про пинги есть специальная функция, подробнее о ней тут: http://help.yandex.ru/site/optimizing.xml

Александр Шаров
28 января 2016, 00:57

А если твиттером попробовать добавлять? Или ЖЖ?

15 000 страниц будет трудоемко однако)) Согласен с В моем случае поиск яндекса не поможет. А вообще штука хорошая для новостных быстроиндексируемых сайтов.

Александр Шаров
28 января 2016, 00:57

Так постепенно же можно, а не 15000 сразу:) все равно придется руками все делать, если сходу не удалось.

Ну да, так и есть. Постепенно карточки заполняются и заходят в индекс. Можно и без твиттера, addurl-ом)

Хотелось то на халяву получить умный поиск по всем товарам)))

Александр Шаров
28 января 2016, 00:57

Не переживайте:) Хорошие сайты Яндекс все равно проиндексирует:) Рано или поздно, но это произойдет:)

Дмитрий Вульбрун
28 января 2016, 00:57

Ну вообще инструмент "Индексирование" в сервисе Поиск для сайта никак не связан с индексацией вашего сайта основным роботом Яндекса. отправленные на индексацию документы индексируются отдельным роботом и кладутся в отдельный индекс, который подключается только в случае поиска по сайту, и никогда не используется в основном поиске Яндекса при поиске по вебу. Так что через твиттер или ЖЖ - это хорошо, конечно, но если вы хотите добавить документы именно в поиск по сайту, то лучше воспользуйтесь интрументом Индексирование в Поиске для сатйа.

Александр Шаров
28 января 2016, 00:57

Спасибо за разъяснение:) кажется, я этот инструмент подключил в тот момент, когда поставил на сайт поиск от Яндекса. 

Кстати, зашел сейчас в Yandex Site Search Pinger у себя на сайте а там информация: "Запрос приходит с IP адреса (скрыл), который не указан в списке адресов в настройках вашего поиска". Это ошибка что ли какая-то?

Дмитрий Вульбрун
28 января 2016, 00:57

Ну, если вы проверяете наличие урла в большом поиске поисковым атрибутом url:, то могу вас разочаровать: в таком случае подключается индекс поиска для сайта, потому что такой поиск является по сути поиском по сайту (потому что можно написать не только url:конечный_адрес_документа, но и url:маска_урла_докумета*). Если как-то по-другому, то скорее всего это просто совпадение, быстрый робот большого поиска мог просто данный документ положить в свежий слой веб-поиска, так как  счет это нужным.

Что же касается вообще того, как построен сервис, и из какого индекса что берется - тут я уже отвечал подробно на этот вопрос в клубе, и не один раз. Могу продублировать:

Про дополнительный индекс. В общем случае, когда вы создаете поиск, докуметы ищутся в индексе большого поиска Яндекса. Но у самого сервиса ПДС есть еще один индекс (маленький), в который кладутся документы, присланные на индексацию (см. раздел Индексация настройки вашего поиска) участниками нашего сервиса. Так вот, при любом поиске в нашем сервисе всегда подключается этот вот дополнительный индекс. Например, вы создали поиск по сайту site1.ru и успешно добавляете в индекс новые документы. И на вашем сайте стоит поиск именно по сайту site1.ru. И в поиске эти документы конечно есть. Но другой пользователь может создать свой поиск, который будет использоваьт на сайте site2.ru. И область поиска у него будет, например, site1.ru и site2.ru. И в этом случае тоже все документы с сайта site1.ru, отправленные вами на индексацию, и присутствущие в вашем поиске, будут найдены и в его поиске тоже. То есть, наш дополнительный индекс - общий для всех сайтов сервиса Поиск для сайта.

И да, таким образом вы пополняете не индекс большого поиска Яндекса, а улучшаете поиск на своем сайте, добавляя документы в дополнительный индекс сервиса Яндекс.Поиск для сайта.

Дмитрий Вульбрун
28 января 2016, 00:57

В индекс большого поиска Яндекса они попадают только стандартным способом. Основной робот узнает о них каким-то своим способом (про это - есть сервис Яндекс.Вебмастер) и принимает решение: включать в индекс документ или нет.

Удаление страниц из индекса Поиска для сайта происходит только потому, что пока что эта система не обладает безграничными ресурсами, и все, что присылается на индексацию от всех наших пользователей (поверьте, это очень много), пока что не может там храниться вечно. Со временем просто заанивается место. Мы сейчас работаем над созданием новой системы, где ресурсов у нас для отдельного индекса сервиса будет значительно больше. И эта система будет поддерживать то, что вы описываете "100 страниц загрузил = 100 страниц получил в Поиске по сайту".

Дмитрий Вульбрун
28 января 2016, 00:57

Мы знаем о том, что нужно держать в индексе все страницы сайта для хорошего поиска на сайте. Именно этим мы сейчас активно и занимаемся.

Ну а в алгоритме удаления страниц нет различий в том, какие страницы занимают сколько места. Просто те страницы, которые были присланы на индексацию давно, удаляются, освобождая место для новых страниц. Стандартный циклический подход. Вот и все. Различий между сайтами тоже в этом месте нет.

Если вы хотите использовать сервис только для ускорения попадания страниц вашего сайта в индекс большого поиска Яндекча, я могу вас разочаровать - это не работает. сервис нужен для поиска информации на сайте. А не для сео. Про полноту поиска я описал выше.

>Удаление страниц из индекса Поиска для сайта происходит только потому, что пока что эта система не обладает безграничными ресурсами

А какие сейчас лимиты? И к чему они применяются к id-формы или к субдомену поиска?

Дмитрий Вульбрун
28 января 2016, 00:57

Сейчас это, к сожалению, закрытая информация. Единственное, что могу сказать - есть лимит на добавление документов в отдельный индекс Поиска для сайта с помощью инструмента "Индексирование". Там квота рассчитывается на конкретный домен.

Вот и ответ на мои вопросы, про большой и малый индекс, логика понятная. Но! Парадоксальная ситуация, все seo-рекомендации гласят: давайте больше текстов оригинальных, и у вас будет высокий рейтинг и хороший индекс. Но, реально, чем больше статей, тем больше конкуренция за индексирование. И многие тексты не имеют шансов, Я говорю о нормальных авторских. У меня сайт, СДЛ (если я не выложу очередную сказку, постоянные читатели начинают требовать :-) продолжения. Но, именно от "Поиск по сайту", думаю польза есть, особенно на таких сайтах где много страниц.

Дмитрий Вульбрун
28 января 2016, 00:57

Из-за некотрых особенностей некоторых провайдеров запросы на другие сервера с вашего сайта могут уходить не с того IP адреса, по которому доступна морда сайта. Реальный адрес всегда содержится в статусе плагина в случае, если произошла такая ошибка. Просто в настрйоках укажите именно этот адрес, и не забудьте после этого обновить ключ в настройках плагина (при смене IP адреса ключ всегда меняется).

Александр Шаров
28 января 2016, 00:57

Спасибо! Поменял. Посмотрим, не появятся ли новые IP в статусе.

Спасибо всем! Подитожу все вышенаписанное для своего конкретного случая.

1. Загнать в этот поисковый индекс 15 000 страниц мне представляется невозможным. Сейчас по крайнем мере.

2. Поиск нужен по всем страницам, по которым захочет вебмастер. Он должен решать где искать! Сейчас этого нет

3. Страницы не должны удаляться из  индекса. Опять же это должен решать владелец сайта.

Вобщем идея хорошая. Когда она будет реализована, я думаю многие будут яндексу благодарны.

Елена Першина
28 января 2016, 00:57

Вообще можно:
1.    Автоматическое индексирование
2.    Обычно полнота хорошая, ускоренная индексация использованием дополнительного индекса обычно нужна только для того, чтобы страницы быстрее попадали в поиск по вашему ресурсу, через два месяца, если ваш сайт активен, они, скорее всего, и так будут в большом поиске, а, значит, и в поиске для сайта.
3.    Вебмастер сам может указывать роботу, какие страницы индексировать, какие нет, но пока эти технологии связаны и с большим поиском. Так что про эту проблему знаем, и, как верно отметил Дима, активно работаем над исправлением. :)

Будем ждать! Есть другой сайтик у которого все что нужно в индексе. Пока попробую поиск на нем.

 

У меня тоже это было. Мне пришлось вручную url вбивать в пункте индексирование и через пол дня все страницы сайта стали в поиске. при этом в вебмастере страницы проиндексированы не были.

мне боюсь за пол дня не управиться))

 

 

Точно! Зайти на каждую страницу сайта и выписать url . здесь не меньше недели лазить и индексировать!!!

Владимир Рубцов
28 января 2016, 00:57

А карту сайта сгенерировать никак? Я например использую Screaming Frog SEO Spider. Там не важна индексация. Лишь бы ссылка была на страницу и запрета в роботсе не было (хотя, можно отключить учет роботса). Запускаем анализ и всё, получаем список урлов и кучу дополнительной инфы

Поставил поиск на другой сайт, где почти все в индексе яндекса вот тут

Думаю для подобных сайтов вполне подойдет такой поиск. а вот для моего магазина вряд ли.

Дмитрий Вульбрун
28 января 2016, 00:57

Вы знаете, что логотип нельзя убирать из результатов поиска? Обычно мы за это блокируем поиск.

не знал ок верну логотип

а вот так пойдет http://elektrika-ok.ru   ?

Дмитрий Вульбрун
28 января 2016, 00:57

лого сейчас обернуто ссылками.

вам стоит обратить внимание на файл style.css

там есть правило:

#content-area img {
    border: 2px ridge #FFF;
    margin: 15px 18px 15px 12px;
}

в нем border делает рамку вокруг лого в том числе. Если это правило убрать, то (насколько я вижу) ниего плохого на сайте не случится, а логотип перестанет быть в рамке (он и не должен юыть в рамке).

А кстати зачем вы убрали надпись о кол-ве найденных результатов? Она смущает? :)

Надпись о кол-ве найденных результатов смущает.

А css поправлю обязательно. Спасибо за замечание про логотип, а то мне честно говоря лень было читать хелпы.

п.с. сервис полезен