Клуб Яндекс.Метрики

Как понять какую нагрузку на сайт дают поисковики?

Пост в архиве.

В Метрике дается информация о трафике пользователей сайта. А как узнать сколько запросов дают поисковики?

17 комментариев

лог Апача - наше всё!

Слишклм жестко :) Или Вы имеете в виду анализ лог файлов, например, с помощью awstats? Давно туда не смотрел. Лучше, чтобы поисковиков анализировала Метрика (они хоть базу поисковых роботов расширяют).

Я сторонник того, что кроме автомата истинный воин должен владеть и мечом и дубиной. То есть и Яндекс.метрика хороша, а порой и Гугланалитика нужна, а то и лирушный счетчик. Ну, а кроме внешних счетчиков, анализ логов никто не отменял, как утилитами типа вебалайзера или awstats, а порой и глазами приходится туда заглядывать

 

Вы пользуетесь сразу несколькими счетчиками ? :O

У меня тоже он не один, но такой сложный как Метрика - водном экземпляре. Думал, что пользователям не очень хорошо от этого будет.

Если не секрет, какие у Вас?

Насчет логов ... Наверное мне так и придется сделать. Мне нужно оценить сколько запросов на сайт дают поисковики. И как нагрузка соотносится с тем, что дают посетители.

Я использую счетчик от li.ru как основной, он вполне меня устраивает. Одно время пользовался Яндекс.Метрикой и Google Analytics. А в совсем седой древности пользовал spylog

 

Я так в итоге и поступил. Метрика дает визиты пользователей. Я отсек регулярными выражениями свои запросы по динамическим страницам (в метрике - это близко к Просмотрам). В итоге получилась сумма полезных роботов (для меня это поисковики) и роботов-вредителей (разные сканеры уязвимостей, сдиратели сайтов, "домашние поисковики").

Чтобы посмотреть сколько из этого приходится на поисковые роботы, а сколько на вредителей нужно вести базу поисковиков. Это нормально делает только Яндекс. Так что соответствующего отчета все равно не хватает.

Только что дошло - роботы не отрабатывают JavaScript + не загружают картинок. Так что у Яндекса в принципе не может быть этой информации ...

Печально, но здесь действительно нет другого варианта, кроме анализа логов.

В Вебмастере можно поглядеть. Индексация -> Популярные запросы -> По показам. Как-то так ))

Посмотрел. Именно там - поисковые запросы от Яндекс. Есть еще история индексирования. Тоже Яндекс. А меня интересуют все поисковые роботы, которые знает Метрика.

Вообще-то в отчетах Метрики все есть прямым текстом. Проблема с глазами?

Вы на базаре?

Если по Вашим взглядам судить, то да, с глазами. Покажите, я не видел.

Источники - Сводка.

 

Скриншот показывать или вообще скринкаст? Сударь по должности - продажный менеждер? RTFM, ламерюга!

Увы это не то. Все свои оскорбления можете адресовать себе.

Меня интересуют не визиты пользователей с поисковых систем (а этот отчет показывает именно их), а работа индексирующих роботов!

Впредь прошу Вас быть более осмотрительным в своих оценках. Вполне возможно, что Вы не правы, а другой человек прав.

Честно говоря, я вообще не понимаю что вы хотите увидеть. Может это и мне нужно/полезно...? Объясните?

Лично мне это требуется, чтобы понять общую нагрузку на сайт. Ее можно понять и иначе, если не задаваться вопросом кто и сколько.

Мне же интересно видеть сколько запросов дают люди (откуда бы они ни пришли, хоть с тех же поисковиков) и сколько роботы поисковиков. Разделение интересно потому, что одно хоть как-то зависит от меня, а другое - от воли поисковиков, в основном.

Если есть информация в разрезе самих роботов (Яндекс, Гугл, Бинг, Мэйл.ру ...), то можно понять какой робот перегружает, какой ведет себя прилично. Где нужно - зарегистрироваться на сайте поисковика и настроить параметры индексирования ...

Это все, разумеется, можно делать и иначе. Достаточно задаться целью перебрать первый десяток роботов и зарегистрироваться у них на сайтах.

В Метрике этой информации нет, так как роботы поисковых систем, как правило, не загружают счётчик Метрики. Это можно было бы обойти, если встроить в скрипт сайта код, который будет сам определять заходы поисковых роботов и дёргать код Метрики. Но такое решение довольно сложное.
Поэтому рекомендую в качестве серверного анализатора логов использовать awstats.

Увы, уже осознал всю тяжесть ситуации. awstats я не доверился. Там нужно каким-то образом обновнял информацию о поисковиках. Пришлось довольствоваться примерными данными:

    • Свои запросы.

 

    • Запросы посетителей (это уже из метрики).

 

    • Роботы (сумма поисковых и роботов-паразитов).