Клуб Яндекс.Метрики

Регулярные прямые заходы на одну страницу

Oper-Mihaly4
26 января 2012, 19:13

Благодаря Вебвизору начал лучше видеть и больше знать.

Регулярные прямые заходы на одну и ту же страницу с нулевой длительностью были и раньше, теперь обнаруживаю, заходы эти из Москвы и Питера и имя хоста одно и то же.

Для чего заходить на одну и ту же страницу по нескольку раз в день на 0 сек?

36 комментариев
Подписаться на комментарии к посту

скорее всего это бот, может хочет оставить сообщение, а может и еще что, у меня на WP такое постоянно, но спамерорезка отлавливает

А какое сообщение может оставить бот?!

Хороша страница, а индексировать не буду?) 

Не знал, что есть боты, которые отрабатывают JavaScript.

я вроде не про поисковых ботов хотел сказать... Хрумер вроде не человек, а сообщения постит ;)

и кто он?

По моей "религии" любой посетитель не человек - это робот. Роботы бывают поисковыми (хорошими), а бывают и плохими (ссылочныйн спам, поиск уязвимостей, регистрации, спам в форумах и т.п.).

XRumer умеет отрабатывать скрипты на страницах? Это я к тому, что сообщения постить, CAPTCHA подбирать и регистрироваться на сайтах можно без столь сложного анализа страниц.

ну мы наверно в разных конфессиях состоим :)

С удивлением узнал, что планируются поисковые роботы, исполняющие JavaScript.

Пример SWEBot. Сегодня залез ко мне на сайт.

В данном случае лучше посмотреть логи сервера, чем в метрике пытаться понять, кто это. Боты часто представляются чесно и в логе сервера честные боты сразу видны.
Возможно это действительно новый бот, которого метрика не смогла идентифицировать. В этом случае Вы еще и в Яндекс сможете сообщить данные бота, чтобы они занесли его в свою базу.

Ещё понять бы, где они и кто такие логи...

Но, согласитесь, странный бот, регулярно прыгающий на одну страницу то из Москвы. то из Питера! С хостом broadband.corbina.ru

Такая информация есть в Метрике только в Вебвизоре. Вебвизор отправляет данные на сервер пачками. Не успел отправить - вот и нулевая длина.

Видели в этих мультиках странные переходы между страницами? Когда не было видно, что выбрана ссылка, а переход есть.

Бывает так, что это просто перелеты между закладками браузера. А когда такое еще невозможно (например, это всего-лишь второй запрос в визите), то речь о том, что перемещение и выбор ссылке просто не записались.

Кто такие логи есть в "энциклопии" :)

Да, в мультиках есть странности при переходах. Клик мыши на полноэкранный режим плейера в плейере метрики почему-то приводит к переходу на другую страницу. Но набранных воспроизводимых в плейере посещений пока маловато для анализа. Много посещений вообще без возможности воспроизведения.

И непонятно, синхронизированы ли  в  воспроизвении плейера Вебвизора загрузка и воспроизведение видео на странице с поведением посетителя: движениями мыши и пр. И показавает ли плейер страницу в размерах разрешения монитора посетителя.

Я тоже заметил, что долгие визиты остаются без записи (их даже нет в списке визитов). Это мне непонятно совсем.

А насчет разрешения .. Старается плеер его воспроизводить. Само собой, он не воспроизводит название браузера. Т.е. если сайт по названию браузера сам определяет каким устройством человек смотрит сайт и на этом основании подсовывает мобильный или ПК-шный дизайн, то в мультиках этого не будет вообще (вы будете видеть тот дизайн, который выдается браузеру из которого смотрите мультик).

Плюс к тому, если вы постоянно редактируете сайт, то имейте в виду, что мультики не содержат содержимого посещенных страниц (только ссылку). Если после записанного визита добавился новый абзац, картинка, то мультик теряет смысл. Их нужно смотреть практически сразу после записи.

Насчет синхронизации я не видел пока воспроизведения мультимедиа у себя. Но подозреваю, что в общем случае нет. Если пользователь при просмотре не набирал текст, не дергался мышкой, то включается режим ускоренного воспроизведения мультика. Тогда мультик идет однозначно быстрее воспроизведения видео. Это где-то отключается, не пробовал.

Насчет вопросов общественности ... Ясно, что вы не можете на них ответить. Вы часть из них просто не поняли (например, о юзер-агенте). В таких случаях проще делать снимки экранов. В данном случае снимок с информацией о визите (там где Вы нашли хост посетителя).

Ну, ко мне с фейсбука зашел один с мультяшкой на 06:54:30. В первом часу ночи. Секунд 20 кликал мышью туда, куда не надо, потом, видать, его сморило.

Отключение ускоренного воспроизведения - часы в нижней панели рядом со шкалой времени.

Если синхронизации нет, это вещь намного бесполезней, чем предполагалось. Когда видно, что посетитель не дождался загрузки и ушёл, это понятно, когда во время воспроизведения он шерстит мышью по экрану, это какая-то паранойя. Может, вынести вопрос в отдельную тему или задать вопрос поддержке?

Страницы я делаю на века.
С юзверь-агентами я как раз сейчас борюсь. Поборюсь ещё чуток и чего-нибудь отвечу:-D

а юзер агенты какие?

Я забрался в логово логов, но Юзвер-агента не победил;-(

 

Вот запись Вебвизора и лог одного визита.

Просмотров 1

Продолжительность посещения 00:00

Страница входа http://сайт/папка/страница.html

Страница выхода http://сайт/папка/страница.html

Источник трафика Прямой заход

Адрес IP 128.68.23.32

IP сеть Various Registries

Имя хоста 128-68-23-32.broadband.corbina.ru

Номер посещения 1

 

128.68.23.32 - - [25/Jan/2012:12:01:38 +0400] "GET /папка/страница.html HTTP/1.0" 200 6272 "http://yandex.ru/yandsearch?text=%eb.(нечитаемая хрень).%e5" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

 

Значит ли это, что посетитель приходит через Поиск Яндекса, а Метрика квалифицирует это как прямой заход? Или это бот?
Сегодня, кстати, не заходил. У него Шабат?

Когда речь идет о реферере, на это можно только надеяться - его можно устанавливать как вздумается.

Судя по тому, что Вы нашли в логе - да, приходит по поиску. Это не прямой заход все-таки (источник трафика - поисковая система).

Сомнение вызывает очень древний браузер. С ним борется уже сама Microsoft. У меня таких 3,5% всего. И я заметил, что под него скрываются всякие гады. Именно с этой версией гуляют роботы-сканеры, реферальные спамеры.

Это конечно, не Ваш случай - он все-таки исполнил код счетчика. Так обычно делают люди. Но это может быть и умный бот. Типок все-таки сомнительный ...

Если это чел, зачем он будет регулярно писать один итот же запрос в поиск, заходить на одну страницу, меняя при этом разрешение монитора? Плюс по тому же хосту посещения из другого города.
Если это гадский робот, зачем он долбит страницу html и как он поведёт себя, если эту страницу на несколько дней удалить? 

Я этих типов не понимаю. У самого есть такие ситуации, когда запрашивают одну и туже страницу (при этом я точно знаю, что посетитель один и тот же). Человек или нет точно не знаю.

Одно время думал, что некто использует программки для отслеживания изменения на странице. Такие существуют. Тогда это не плохо - просто человек ждет, когда что-то изменится. Если думать так, то нужно что-то на странице изменить и ждать когда этот тип вернется.

А насчет Вашего - да не факт, что это один и тот же. Имя хоста (такое как у Вашего) не значит ничего. Один и тот же запрос (если он соответствует теме сайта) - тоже ничего. Сейчас Яндекс предлагает наиболее употребительные поисковые фразы. И люди этим пользуются.

А удалять не нужно. Лучше попробовать ее прятать для определенных условий - браузер, поисковая фраза. А лучше - запишите посетителю этой страницы какую-нибудь куки и сравнивайте ее. Тогда точно будете знать тот самый или нет. Если при всем том, что происходит, куки будут отключены, то это робот.

Про Кука не понял. Его же вроде съели:-(

На странице пара слов и гугловская карта и боле ничего,  там менять нечего.

Вобщем, надеюсь, для html страницы эти гады безопасны. 

А лишний пробел, запятая, точка? :-)

Не хотите - просто переименуйте и измените ссылки на нее на сайте. Робот не знает, что адрес изменился и будет совать нос по старому. А реакция - в зависимости от робота. Может и дальше будет мучить сайт, а может отвалится (автоматически или с участием человека).

Только как Вы в Метрике узнаете, что некто лезет на несуществующую страницу? Я этим не занимался, не знаю. Плюс к этому, видел в клубе вопросы на эту тему. Это Вам придется лог проверять.

Насчет спокойствия по поводу html-страницы ... На безопасность это конечно влияет (динамическая страница - потенциальная дыра). Но Вы же не видите никаких вводов форм, например. Страница у Вас только показывает и ничего не принимает от пользователя (ни явно через формы, ни скрыто через параметры URL, куки, реферера и прочие заголовки HTTP-запроса).

Ну и к слову ... Расширение html не гарантирует, что в самом файле нет PHP, например, и он не исполняется. WEB-сервер можно настроить и так. Вы ведь не пишете на чем сделали сайт.

Изменить ссылку и адрес страницы - это гениально!
Добавил копию страницы с доп. пробелом в имени файла, изменил title  оригинальной страницы, сылку на оригинальную страницу заменил ссылкой на страницу-клон,  изменил якорь ссылки. Будем посмотреть.  

Весь сайт - чистый html. Так спокойней. Предыдущий был на каком-то движке, какие-то странные визитёры ходили по 10 раз в минуту на одну страницу... а потом всё рухнуло. Поэтому я и  озаботился этими странниками 

Которые, как я о них написал, сразу попрятались, уже 2 дня не заходят.
У бота есть суббота?)

У роботов, управляемых людьми бывают :-)

  Из Москвы и Питера  broadband.corbina.ru ежедневно по несколько раз в день уныло посещает с отказом главную и ещё одну страницу , IP и размеры мониторов иногда меняются.

Я как-то привык, что боты приходят всё больше из силиконовых долин, нет? 

Послеподменыадресасттраницыиссылкинанеёвизитыпокапрекратились. Логинесмотрел

           

Есть подозрение почему 0 секунд.

В моем случае используется асинхронный код, да еще в конце страницы! Перенес в блок head (кроме куска с загрузкой картинки, он остался перед ). Может станет получше.

Если эта логика верна, то синхронный код в head вообще гарантия записи всего и вся. Но так никто не делает - из-за какого-то там пусть и замечательного счетчика ставится под угрозу удобство посетителя.

Неудобство в увеличении времни загрузки или в зависшей сверху страницы картинки?

Да. И это серьезно. Особенно в зависании загрузки.

Люди стараются дизайн делать так, чтобы сначала грузилось основное содержимое, а потом все остальное. А тут ...

Посмотрел своих "деятелей". Есть разные случае.

Наиболее одиозные (все случаи - внутренние страницы сайта, не главная страница):

1. Пришел год назад по поиску, осмотрел сайт, потом возвращался на одну и туже страницу с интервалом от нескольких недель, до нескольких месяцев. Это человек (код счетчика отрабатывался).

2. Пришел в ноябре 2011-го. Откуда - неясно. Смотрел одну и туже страницы эти месяцы. IP менялся, браузер - нет. Это человек.

3. Пришел в октябре 2010-го. За это время сделал полтысячи запросов к одной и тоже странице. IP и браузер менялся. Это робот (код счетчика не отрабатывался).

И что им надо неизвестно. Почему так происходит - тоже. Остается только гадать. Может какое расширение к браузеру, может какой "великий пингатор" ... Общее одно - они не создают большой нагрузки на сайт и не делают гадостей.

Были товарищи, которые с большим интервалом (дни) опрашивали разные страницы сайта. Опять таки - зачем? Копировать сайт? Возможно. Но все это фантазии. Хоть форму опроса на сайт ставь и опрашивай этих товарищей :-)

Тема-то оказалась популярной:
http://clubs.ya.ru/metrika/replies.xml?item_no=5951

Да, только заход с другой стороны. Но тема действительно таже.

Есть смысл присоединиться. Только там нужно соответствовать формату - провести анализ логов.

Яневформате;-)   

Часть подобных заходов могут генерить браузеры, если в быстрые закладки добавить сайт, Top Site у Сафари или в Хроме, или стоит Яндекс Бар с визуальными закладками.

Вот они и заходят переодически , скриншотят (точно незнаю) и отображают в браузерах.

Заметил точно такую же проблему на нескольких своих сайтах. Детальный анализ  статистики через конструктор показал, что наибольшее колличество посещений с отказами идет с нескольких IP-адресов:

178.154.166.132

93.158.153.30

Что характерно, они принадлежать Яндексу. И если изучить поиск, то с помощью вот таких вот результатов можно сделать вывод, что это заходы поисковых ботов, индексирующих сайт. Что странно, если мне не изменяет память, метрика не должна их учитывать.

Есть еще пара адресов, которые ведут в Москву (подсети билайна и корбины) и в Казань. И там, и там есть партнеры компаний-владельцев сайтов. Запросил у них IP-адреса с целью уточнить вероятность того, что эти заходы с каких-нибудь "быстрых закладок, или "иконок быстрого доступа к наиболее популярным ресурсам", которые в изобилии использует Хром и Опера (кстати говоря, последняя - значится как основной браузер для пользователей этих IP адресов), которые в свою очередь в изобилии используют сотрудники партнерских компаний.


В итоге по моей версии мы имеем грандиозную стратистику захода яндексовских роботов, которая скорее всего посчитана метрикой, а также заходы всяких хромо-опер, которые ломятся проверять доступность страницы из быстрых закладок.


Помоему так. Что с этим делать - вот в чем вопрос. )


updt: сейчас увидел предыдущий коммент про браузеры. Присоединяюсь своими буковками :-)

Ко мне регулярно ходит

Информация о посещении
Страна/регионБавария
ОС/браузер/экран2560x2560
Дата/время начала08.02 16:50
Просмотров1
Продолжительность посещения00:00
Страница входаглавная
Страница выходаглавная
Источник трафикаПрямой заход
Адрес IP46.4.40.13
IP сеть 
Имя хостаstatic.13.40.4.46.clients.your-server.de
Номер посещения51
От последнего3 дн.

Метки

 

Меняется айпи только - страна Германия.  Ворует фото и генерирует страничку по определенному запросу со списком сайтов и одной фотографией каждого сайта. Ну  и кучей спама вокруг сомнительного содержания.

 

Сначала пытался настраивать фильтр - потом честно пожаловался - теперь долбит мне главную страничку

это вроде хостер hetzner online ag, жалуйся в abuse

А ко мне в последнее время заходят на страницу, открывают одно и то же модальное окно со сриншотом другой страницы и больше часа созерцают. И любоваться-то вообщем-то нечем. С одного и того же ip адреса из Москвы. Странно... Как на работу ходят.