На днях мы запустили "быстрый" робот, который работает одновременно с основным и предназначен для оперативного обнаружения и индексации актуальных страниц.
Используя 4 источника информации о востребованных пользователями документах, быстрый робот находит новые и измененные страницы, делая их доступными для поиска уже через несколько часов после обнаружения.
База быстрого робота обновляется каждые 1,5-2 часа, а время от момента скачивания документа до момента его появления на поиске составляет от 2 до 5 часов. На сегодняшний день база быстрого робота насчитывает около 4 миллионов документов.
На выдаче результаты из быстрого робота отличаются от основных наличием поясняющей надписи о том, как давно была проиндексирована последняя версия документа (столько-то часов назад, вчера, позавчера).
Страницы быстрого робота особенно хорошо заметны при сортировке результатов поиска по дате.
