Теперь мы индексируем быстрее!

1 августа 2005, 16:54
На днях мы запустили "быстрый" робот, который работает одновременно с основным и предназначен для оперативного обнаружения и индексации актуальных страниц. Используя 4 источника информации о востребованных пользователями документах, быстрый робот находит новые и измененные страницы, делая их доступными для поиска уже через несколько часов после обнаружения. База быстрого робота обновляется каждые 1,5-2 часа, а время от момента скачивания документа до момента его появления на поиске составляет от 2 до 5 часов. На сегодняшний день база быстрого робота насчитывает около 4 миллионов документов. На выдаче результаты из быстрого робота отличаются от основных наличием поясняющей надписи о том, как давно была проиндексирована последняя версия документа (столько-то часов назад, вчера, позавчера). Страницы быстрого робота особенно хорошо заметны при сортировке результатов поиска по дате.
Александр Авдонкин, программист отдела разработки поисковых сервисов