Слишклм жестко :) Или Вы имеете в виду анализ лог файлов, например, с помощью awstats? Давно туда не смотрел. Лучше, чтобы поисковиков анализировала Метрика (они хоть базу поисковых роботов расширяют).
Я сторонник того, что кроме автомата истинный воин должен владеть и мечом и дубиной. То есть и Яндекс.метрика хороша, а порой и Гугланалитика нужна, а то и лирушный счетчик. Ну, а кроме внешних счетчиков, анализ логов никто не отменял, как утилитами типа вебалайзера или awstats, а порой и глазами приходится туда заглядывать
У меня тоже он не один, но такой сложный как Метрика - водном экземпляре. Думал, что пользователям не очень хорошо от этого будет.
Если не секрет, какие у Вас?
Насчет логов ... Наверное мне так и придется сделать. Мне нужно оценить сколько запросов на сайт дают поисковики. И как нагрузка соотносится с тем, что дают посетители.
Я использую счетчик от li.ru как основной, он вполне меня устраивает. Одно время пользовался Яндекс.Метрикой и Google Analytics. А в совсем седой древности пользовал spylog
Я так в итоге и поступил. Метрика дает визиты пользователей. Я отсек регулярными выражениями свои запросы по динамическим страницам (в метрике - это близко к Просмотрам). В итоге получилась сумма полезных роботов (для меня это поисковики) и роботов-вредителей (разные сканеры уязвимостей, сдиратели сайтов, "домашние поисковики").
Чтобы посмотреть сколько из этого приходится на поисковые роботы, а сколько на вредителей нужно вести базу поисковиков. Это нормально делает только Яндекс. Так что соответствующего отчета все равно не хватает.
Посмотрел. Именно там - поисковые запросы от Яндекс. Есть еще история индексирования. Тоже Яндекс. А меня интересуют все поисковые роботы, которые знает Метрика.
Лично мне это требуется, чтобы понять общую нагрузку на сайт. Ее можно понять и иначе, если не задаваться вопросом кто и сколько.
Мне же интересно видеть сколько запросов дают люди (откуда бы они ни пришли, хоть с тех же поисковиков) и сколько роботы поисковиков. Разделение интересно потому, что одно хоть как-то зависит от меня, а другое - от воли поисковиков, в основном.
Если есть информация в разрезе самих роботов (Яндекс, Гугл, Бинг, Мэйл.ру ...), то можно понять какой робот перегружает, какой ведет себя прилично. Где нужно - зарегистрироваться на сайте поисковика и настроить параметры индексирования ...
Это все, разумеется, можно делать и иначе. Достаточно задаться целью перебрать первый десяток роботов и зарегистрироваться у них на сайтах.
В Метрике этой информации нет, так как роботы поисковых систем, как правило, не загружают счётчик Метрики. Это можно было бы обойти, если встроить в скрипт сайта код, который будет сам определять заходы поисковых роботов и дёргать код Метрики. Но такое решение довольно сложное. Поэтому рекомендую в качестве серверного анализатора логов использовать awstats.
Увы, уже осознал всю тяжесть ситуации. awstats я не доверился. Там нужно каким-то образом обновнял информацию о поисковиках. Пришлось довольствоваться примерными данными: