Клуб о поиске Яндекса

Образумьте своих "ботов"!

evgenymirs
11 декабря 2017, 21:33

Нет обратной связи с яндекс вэб-мастером, потому буду писать именно сюда!

Не первый раз мой хостинг провайдер пишет мне предупреждающие письма с угрозой отключения моих сайтов - на предмет превышения нагрузку на CPU. 

После многочисленных проверок мною было выяснено, что проблема в взбесившихся Яндекс ротобов-ботов, которые нещадно атакуют мои сайты, игнорируя текстовый файл "robots.txt", где мною были выставлены ограничения по всем правилам и нормативам для сканирующих роботов. Упрямый "YandexBot/3.0  и его многочисленные разновидности игнорируют все запреты на сканирования сайта, а так же все написанные для них директивы, такие как: Crawl-delay, Disallow.

Продолжает третий день подряд нагружать хостинг провайдера на котором расположен мой сайт.

Сегодня я был вынужден на всех своих сайтах ограничить доступ для всех поисковых и сканирующих ботов всех "поисковиков" директивами :

User-agent: *

Disallow: /

User-agent: Yandex

Disallow: /

С службой поддержки прямой связи нет, есть только стандартные отписки на разного рода проблемы.

До декабря 2017 года всё было нормально, но с 7 декабря (как видно на скриншоте) Яндекс спустил всех "собак" в канун нового года?

5 комментариев
Обратная связь есть - внизу страницы Яндекс.Вебмастера - так и называется - "Обратная связь".
Можно ссылку на сайт, пожалуйста. Мы проверим. 
http://www.mirse-msk.ru
http://www.vtr-msk.ru
evgenymirs,
Проверили, по указанным хостам не было изменений обхода нашим роботом. По указанным хостам я вижу не более 200-300 обращений в сутки, столько же обращений было и неделю-две назад. 
Пожалуйста,  пришлите логи с примерами запросов по данным сайтам в поддержку Вебмастера. Если что-то аномальное, будем разбираться, но пока аномалий не видно. Возможно, кто-то пытается за нас себя выдать.