Блог Яндекса для вебмастеров

Быстрое индексирование в Поиске для сайта

27 января 2011, 15:34

Сегодня на сервисе Яндекс.Поиск для сайта появилась новая возможность – отдельный поисковый робот.

Для тех, кто не знает: Поиск для сайта – это сервис, который помогает организовать без лишних хлопот поиск по своему ресурсу. Для индексирования используется основной поисковый робот Яндекса. А чтобы вы могли ускорить индексирование некоторых страниц и предоставлять посетителям самую свежую и полную информацию, мы добавили к основному роботу дополнительного. Этот робот оперативно обходит сайты, на которых установлен наш Поиск, и строит дополнительный индекс, который используется только при поиске через форму сервиса Поиск для сайта.

Владельцы сайта могут самостоятельно сообщить роботу о новых или обновленных страницах на своем сайте – так будет совсем быстро. Для этого существует два способа: форма добавления страниц в разделе «Индексирование» и http-запрос. В обоих случаях необходимо подтвердить в Яндекс.Вебмастере права на тот сайт, на котором размещается поисковая форма.


Команда Поиска и роботы, большие и маленькие

54 комментария
Попадание в дополнительный индекс может сказаться на скорости попадания в основной или нет?
я думаю что нет - ведь ясно сказали, что роботы и базы будут разные
Тогда в чем отличие от  обычных php скриптов поиска? Проиндексировал сайт , записалось в базу и все... Мне кажется единственный возможный плюс который может быть здесь, это более качесвенный сбор инфы индекса и дальнейшая обработка ее яндексом. 
смотрите ранее все делалось одним роботом а теперь разбивают на части т.к. образом снимают часть нагрузки - скорее всего единственная связь с основным роботом с роботом формы будет передача путей но новые документы - то же не плохо - своеобразная алтернатива/помощь сайтемеп.иксмелям хотя только после тестов можно будет сказать

просто я уверен что ввиду всех нововведений яндексу требуется разделение баз и их обработчиков для более явной структуризации работы
и что что разные? может основной робот в первую очередь заглядывать будет на то, что дополнительный накопал, мало ли. 
Не может.
Тири))) Как всегда лаконично и по делу)
Тири надо над своей внешностью поработать в первую очередь
Вы точно её видели наяву?! :-)
Я думаю, там много эдаких мужичков с пузом и толстой жёппой. Типичных программистов с "двухлетним опытом работы в визуальной среде программирования Дельфи", приехавший в Москву, чтобы попробовать настоящий МакДональдс. Тири-тири, трали-вали, кто их там прощупает.
Да, все именно так, вы нас разгадали :)
ты сам часто мозгами работаешь?


заспамят школьники
Не только))) Такую халяву никто бы не пропустил)
Довольно интересно, посмотрим как это будет работать.
Это показывает УБОЖЕСТВО поиска яндекса. Так как в обычном поиске яндекса не найдёш ничего и подсовываются говно дерьмо всякое прилизанное.

Об этом я много раз уже писал этим олухам.

Сейчас поиск,  в основном, это сборище убожества и старых при старых страниц сайтов. Найти нужную информацию, а не шаблонную, невозможно в принципе. Так как в основном поиске находятся одна из 1000 страниц сайта. Тугодумость тех кто делал это алгоритм на лицо.... в принципе это общий кризис образования и науки в России.... ну ладно не будем об больном, тем более смысла это писать здесь нет.

То есть яндекс нам говорит.... мы тут проиндексировали пару страниц сайта а что там мы не знаем....

ТО ЕСТЬ ПОИСК В ЯШЕ ЭТО ПОИСК ГЛАВНЫХ СТРАНИЦ САЙТА И ПРОЦЕНТОВ 10 ОТ ОСНОВНОГО КОНТЕНТА СТРАНИЦ.

Ёпт ребятишки из яши вы не правильно называетесь. Яндекс это не поисковая машина а каталог с кратким описанием сайтов, представленных как "поисковая выдача".

И ЕЩЁ РАБОТНИКИ ЯНДЕКСА ВАМ НЕ НАДОЕЛО ВРАТЬ?
Поиск по всему интернету != Поиск по сайту

В интернете часто одна и та же информация продублированна много раз.
Так что можно найти информацию на другом сайте (особенно если ему больше доверяешь). И поэтому вовсе не обязательно тащить в индекс все страницы всех сайтов. Важно же, чтобы информация была найдена.

А вот при поиске по сайту это уже не так. Тут хочется всё и быстро.

Ну что самоутвердился? Полегчало?

А вообще как не крути, а Яндекс превосходит Google на русскоговорящих запросах.
«Если ты такой умный, то почему такой бедный» – напиши поисковик который будет моментально обновлять индекс десятков миллионов страниц… Покажи, что ты один круче Яндекса
мальчик, идиотов я учу за деньги
А тут ты тогда что делаешь? Иди учи/деньги зарабатывай
читай выше
Не надо хамить.
Следующий подобный комментарий будет удалён.
Б...буду, чувак, да ты крут :) Лично удаляешь каменты? Или тебе помощники положены?
Аааа, блин, мою мысль озвучили. Убожество.  Видать - так лень работать разработчикам яндекса, что они придумали переложить часть работы на владельцев сайтов.

Полностью согласен!!! (+1)

Когда-то и Рамблером многие пользовались, а теперь?

Они хотят повторить его судьбу!!! :-D

Если они не одумаются, то через пол-года - год все уйдут на Гугль, а веб мастера в robots.txt будут запрещать яшке посещать свои сайты. :-P

В сутки допускается не более 100 урлов.
Вопросы:
Сутки это за кокретное число не более 100 урлов или за последние 24 числа не более 100 урлов? Если по дате то дату отсчитывать по какому часовому поясу?
Планируется ли увеличить лимит?
Что если я буду слать более 100 урлов в сутки, просто проигнорируются адреса? Какой ответ я получу от сервера при положительном и отрицательном приёме урла вашим сервером?
Возможны ли санкции (например бан или отключение) ко мне ели я буду слать более 100 урлов в сутки?

Спасибо :) 
Живые есть?
Добрый день,
За конкретное число. Дату отсчитывать по Москве.
Будем ли увеличивать лимит? Посмотрим. Мы же только что запустили эту функциональность. Возможно, это будет зависеть от сайта и от активности поиска на нем.

>>Что если я буду слать более 100 урлов в сутки, просто проигнорируются адреса? Какой ответ я получу от сервера при положительном и отрицательном приёме урла вашим сервером?

Если в очереди уже стоит 100 урлов, более новые заменят старые, если те еще не ушли на обход. Про превышение отдельно не сообщаем.

>>Возможны ли санкции?

Если лишняя нагрузка будет мешать, то могут быть санкции. Ну вы уж не переусердствуйте, пожалуйста :)
Спасибо
Как здорово на мне сидит корона.
Прям как по мне сшита :)
поставил на два своих сайта, посмотрю как быстро статьи  для миры войдут в индекс
поставил попробовать...
чой-то высоту полосы не задать...
ширину получилось (а то растягивалась на всю страницу),
ну и вид кнопки - это отдельный разговор...

надеюсь, можно код менять? :-)
поставил с выключенным параметром "выбор области поиска", а в результатах поиска всё равно появляется выбор "на сайтев интернете"...
Может код формы не обновили?
Должно быть  webopt: false
повторяю: в самой форме выбора нет.
выбор появляется в результатах поиска
Здравствуйте, как можно задавать количество выводимых результатов?

Я вот только одного не понимаю: если я у себя на сайте http://realbsb.ru выложил ссылки на государственные ресурсы (тем самым формируя справочник), то, насколько я понимаю, я попал в черный список со своей кучей ссылок - Страниц для поиска 0.


Теперь я подобрал все ссылки в noindex, но будет ли увеличено количество страниц, или это навечно?

Обратитесь, пожалуйста, в службу поддержки через Яндекс.Вебмастер.
Только не называйте службу поддержки Яндекс-Вебмастера идиотами и ослами. Как показывает практика, они не любят таких писем
Лучшее письмо в службу поддержки - это конструктивное изложение проблемы\вопроса с приведением адреса сайта, если нужно - скриншотом и техническими деталями. Ни слово "идиот", ни слово "осел" не являются техническими деталями или адресом сайта, как их ни крути.
Отлично! Так его! Ату - ату :)
Интересная фишка, хотя и неоднозначная. В таком случае, было бы неплохо иметь возможность в роботс.тхт роботу внутреннего поиска прописывать отдельные правила. Например, вебмастер запретил к индексации основному роботу раздел, содержание которого дублируется в интернете, но востребовано пользователями. Ну и для отдельных страниц, у которых в тегах прописано ноиндекс, нофоллоу.
Но которые хотелось бы, чтобы находились поиском по сайту.
Думаю если бы не было логотипа и было больше вариантов формы, тогда у большего кол-ва юзеров ваш поиск стоял, а так совсем не в тему, даже если предположить невероятное, что он лучше чем специализированные пхп-шные скрипты. А прятать лого и т.д. для  впсисания его в диз. - овчинка выделки не стоит. Мания величия - не есть хорошо               
А чем Вам мешает логотип?
И какие хотелось бы варианты форм, расскажите, если не секрет?
Тири, если бы у вас на плече или на попе каждый левый дядя оставлял поутру тату со своим именем - вас бы не напрягало?

Лого Яндекса на постороннем сайте - это как надпись "Яша и Сега здесь были".

Ну, были и были - куда ж от вас денешься? Но зачем на каждому углу кричать о том, что поимели очередной сайтик, владелец которого не может даже на CMS с нормальным поиском накопить? Кто-то марки коллекционирует, кто-то лифчики с трусиками, кто-то домены покоренных говносайтов :)
Ну зачем же вы бренд как мировое зло воспринимаете? Вот вы носите куртку Nike. Ну хорошо, я ношу :) Получается, что Nike меня добавил в коллекцию? И это я еще за куртку денег заплатила. А она мне - все равно бренд штампует. Ужасно!

Мы предоставляем сервис создания поиска по сайту и его поддержку бесплатно. Но оставляем за собой право использовать бренд, чтобы продвигать продукт и дальше.

Тем что вписывать любую картинку в диз сайта надо с умом. Ограниченность по вашей цветовой гамме этого сделать не дает. И в общем согласен с Drima (грубовато, но правильно). Вам что больше пользы дает : само присутсвие вашего поиска на сайте или логотип? ИМХО когда вижу на сайтах подобные лого, сразу возникает подозрение о непрофессиональности вебмастера, который не смог написать/найти/(или да что уж там)купить рабочие скрипты без "ярлыков"!.


Ну и в конце - смысл закидывать этот поиск с ЛОГО, если есть бесплатные скрипты поиска, которые не хуже справляются на сайте, БЕЗ лого? (И пусть это будет вопросом - расскажите плюсы отличия вашего скрипта, если они есть, после чего сразу захочется ваш поиск поставить и лого на пол страницы)


P.S. Ваш пример с курткой не особо удачен: по процентному соотношению логотип найка на всей куртке и пол процента не занимает, а ваш на поиске под 20% - лишь бы не проглядели.

"Поиск для сайта – это сервис, который помогает организовать без лишних хлопот поиск по своему ресурсу"

Это для пользователей из Челябинска?

Тогда надо писать так:

"Что такое "поиск на сайте"? Поиск на сайте - это, блин, такая хрень, которая является поиском по всему, блин, сайту"
Прямо сейчас попробую со своим блогом, новость просто отличная!
Отличная штука! Надо будет попробовать.
С трудом вериться.






Интересно, а как второй робот справится с моим сайтом Последние новости с индексацией 35К страниц?

Прошу ответить на вопрос, робот обнавился в феврале-марте, и вдруг пропал мой сайт из поисковой выдачи, никогда не занимавшийся ни какими делами не одобряемыми Яндексом, на нем просто авторские статьи по организации праздников и иллюстрированные отзывы о моих путешествиях. Более ничего. Нет сайта t255.narod.ru в поисковой выдаче уже четвёртый месяц. Служба поддержки этот факт объяснить не может, пишут мы не поймем что не нравится поисковому роботу и не могут указать причину бана сайта. Вот и вопрос: может в этом новом обновлении робота что-то не всё в порядке, или просто конкуренты по знакомству попросили работников Яндекса  снять его с выдачи, без объяснения причин. Обидно, на написание статей ушло почти пять лет, и всё это время всё было нормально. Я даже специально удалял все статьи, что выложил за два последних года, оставил только проверенные трёхлетней давности. Никакого эффекта, сайт под запретом. Есть ли хоть один работник, который сможет мне ответить на простой вопрос - За что я наказан?!!! и что надо сделать чтобы снять наказание?!!! Тут работники пишут, что если какая-то вредоносная программа взломала сайт, встроилась и начала портачить, и то владельцу сайта отправляют письмо с просьбой в кратчайшие сроки разобраться с проблемой. У меня всё многократно перепроверено! Что делать я не знаю, служба поддержки мне либо не может помочь, либо не хочет. Как же быть, помогите! Юрьев Андрей a2550768@mail.ru