Платон Щукин

Новый Яндекс.Вебмастер - новые возможности.

21 апреля 2016, 13:22

В прошлом году мы запустили новую версию Яндекс.Вебмастера по отдельному адресу – https://beta.webmaster.yandex.ru/ . Раньше узнать о многих проблемах сайта можно было только после письма в поддержку. Теперь же (по крайней мере, мы на это надеемся) жизнь вебмастеров стала проще: узнать, есть ли проблема, можно прямо на сервисе.

«Почему мой сайт не попадает в поиск?»

Это один из самых популярных вопросов в службу поддержки. Причины отсутствия в поиске разнообразны: запрет на индексирование в файле robots.txt (некоторые конструкторы выставляют его для новых сайтов принудительно), неполадки при обращении индексирующего робота к серверу, ограничения, связанные с наличием на сайте нарушений, а также многое другое. Если с сайтом что-то не так, соответствующее сообщение и рекомендации по исправлению ситуации появятся в разделе «Диагностика».

Кроме проблем с индексированием, в разделе «Диагностика» отображаются и другие проблемы — например, ошибки в файлах Sitemap, неработающие внутренние ссылки, отсутствие мета-тегов title и description, перенаправление с главной страницы на другой сайт. Все ошибки делятся на категории: фатальные – из-за них сайт может отсутствовать в поиске, критичные – серьезные проблемы, которые могут влиять на индексирование, возможные – скорее замечания и повод обратить внимание: всё ли правильно организовано в этом месте?
В общем, заходите – сами увидите ;)

«Почему снизился трафик из Яндекса?»

Вопрос о снижении трафика — тоже один из самых популярных. На самом деле, не так уж сложно самостоятельно провести детальный анализ и выявить проблемные места. Для этого стоит заглянуть в раздел «Поисковые запросы» в бете Вебмастера. Там можно отследить изменения в показах и кликах по определённым запросам или по группам запросов. Например, сильное снижение CTR при том же количестве показов означает, что на сайт стали меньше переходить. В этом случае стоит обратить внимание на сниппеты страниц Вашего сайта и сниппеты других сайтов, расположенные на той же странице выдачи. Управление внешним видом сайта в поиске — удаление из сниппета ненужной информации, добавление телефонов и контактов в специальные блоки, участие в программах спецсниппетов — может увеличить CTR. Чтобы упростить анализ запросов, их можно объединить в группы, используя фильтры.

Раздел «Поисковые запросы» активно дорабатывается, нам очень хочется сделать его максимально полезным. Если у вас есть кейсы по работе с поисковыми запросами, которые пока нельзя реализовать с помощью наших инструментов, или трудности при работе с разделом — поделитесь всем этим с нами. Наша цель — сделать «Поисковые запросы» эффективным рабочим инструментом, понятным каждому пользователю сервиса.

«Как правильно осуществить переезд сайта на новый домен?», «Как быстрее сообщить роботу, что сайт переезжает?»

Такие вопросы часто возникают у владельцев сайтов, которые приобретают более удачный домен для своего ресурса или меняют протокол. Отправив заявку на переезд в бете Вебмастера, можно узнать, правильно ли всё настроено, удастся ли сайту переехать в ближайшее время. Если что-то настроено неверно, то появится соответствующее сообщение. В этом случае у всех участников переезда стоит проверить ответ сервера, корректность файлов robots.txt (и, в частности, непротиворечивость директивы Host), а также убедиться в идентичности контента.

«Наложены ли на мой сайт санкции?»

Раньше для получения ответа на этот вопрос нужно было непременно написать в службу поддержки (по слухам, написать нужно было минимум два раза и нестандартно). Теперь же ответ легко узнать, зайдя в раздел «Нарушения». Если сайт замечен в нарушении Лицензии, в этом разделе появится уведомление, которое пояснит, что именно не понравилось алгоритмам, и подскажет, что делать дальше. После исправления всех ошибок стоит отправить сайт на перепроверку — так робот быстрее получит информацию об изменениях на сайте и проверит, всё ли сейчас в порядке.

Обратите внимание, что в разделе пока отображается только часть нарушений, но этот список постоянно дополняется.

На самом деле, это только часть инструментов бета-версии Яндекс.Вебмастера. И каждый новый раздел, кажется, достоин отдельного рассказа. В заключение ещё раз хочу напомнить, что сервис активно развивается, чтобы в один прекрасный день стать основной версией. Так что не забывайте заходить к нам и радоваться вместе с нами появлению нового функционала :)

Ваш Платон.

33 комментария
А можно как ускорить процесс появления в разделе "нарушения", такой санкции как переспам на страницах сайта? У меня вот есть сайт. Нарушений согласно данным бета-вебмастера никаких нет, а ближайшая позиция по более менее нч и сч запросам начинается от 44 и ниже.. причем впереди там всякий хлам, не имеющий отношения к делу. Полтора года потратил на то, чтобы привести в порядок сайт. Писал вам в саппорт, где меня заверяли что никаких санкций нет и притензий к сайту не имеем. Но сайт очевидно находится под фильтрами.

На днях начал копаться в старых текстах, которые писались очень давно и нашел, что в каждом втором переизбыток ключевых слов на странице. В принципе читабельно, в глаза сразу не бросается, но если вчитаться, да есть переспам. Но почему нельзя сообщить об этом вебмастеру саппорту или указать в системе "обратите внимание на тексты и примеры".
Если служба поддержки сообщила, что никаких
проблем с сайтом нет и он ранжируется в соответствии со своей
релевантностью, - значит, с нашей стороны действительно никаких санкций
нет. Другое дело, что это не означает, что сайт обязательно должен быть
в топе - здесь все зависит от того, насколько сайт хороший, ценный,
авторитетный, релевантный и полезный пользователям - в сравнении с
другими сайтами.
В любом случае, это видимо какой-то частный случай, поэтому я предлагаю
Вам еще раз обратиться в саппорт и задать все свои вопросы. Мы
обязательно постараемся разобраться в ситуации и ответить по существу
platon,
Написал сегодня все вопросы и предисторию. очень надеюсь на развернутый ответ, так как реально непонятно куда грести и почему меня так пинает алгоритм при этом утверждая, что претензий к сайту нет. 
prodvigaem-site-effectivno
22 апреля 2016, 01:30
barasan,
почему Вы так уверены, что тексты переспамлены? Если сами же их прочитали - и говорите норм читается всё. Сам Платон даже сказал, что всё отлично.
Вот откуда Вы знаете, какое количество ключевых слов на странице является нормой, а какое уже перспам??? Ох уж эти сеошнеги...и аналитики
prodvigaem-site-effectivno,
у этого сайта был опыт по выходу из под фильтра за переспам, так что я не по наслышке знаю что это такое. В том случае санкции сняли после того, как из перечисления отелей на странице из заголовков было убрано само слово "отель" и остались только их названия. 


В отношении сегодняшней ситуации, я не говорю что переспамлены все тексты. Просто на сайте есть старые тексты с переспамом. Например, в тексте 64 раза встречается слово "чемодан" и его плотность около 4,5-5%, то это неумышленный переспам чистой воды :) Ну писали так раньше тексты, не задумываясь особо о плотности и академической тошноте. 


В комплексе, если таких статей пару десятков - это может топить сайт, т.к. наложить фильтр/санкции за такое формально можно, особенно если внешние факторы не очень сильные (а как они могут быть сильные, если сайт невозможно найти в поиске?). 


Я не утверждаю, что именно это топит сайт (хотя он очень долгое время был в топ-10), но когда тебе Яндекс говорит что всё хорошо, а сайт находится в подвале по всем запросным группам, при то что там есть неплохой и порой даже совсем уникальный контент, то очевидно что где-то таки есть якорь. 


Прямых координат якоря Яндекс, увы, не сообщает, утверждая, что его и вовсе нет. Но, в моем понимании, если на сайте развернутый ответ на вопрос пользователя, то он должен ранжироваться нормально, а не отваливаться на 3-4 страницу поиска уступая ресурсам, где Яндекс находит лишь одно предложение по теме. Я присылал примеры таких запросов в саппорт, спрашивал почему так, но в ответ лишь "к сайту претензий не имеем", "работайте над сайтом и может быть, когда-нибудь позиции улучшатся".. 


Работаем, что остаётся делать. Надеюсь, что хоть сейчас получится дождаться нормального ответа по поводу ранжирования сайта. В понедельник отправлю подробное письмо в саппорт и отпишусь о результатах.. 
Как и с метрикой шляпа, пропадает функционал!
Сообщить о новом сайте
Проверить орфографию
Удалить URL
Проверить микроразметку
Где права на управление? и мои запросы тоже пропали!
Пообещают все вернуть, когда зарелизят, но как видим по метрике этого не произойдет
До тех пор пока мы не перенесём данный функционал в бету сервиса, они будут доступны в текущем Вебмастере. Пожалуйста, не переживайте!
Для того, чтобы загрузить свои запросы, нужно в разделе "Последние запросы" Создать новую группу и по клику на шестерёнку рядом с названием группы выбрать пункт "Загрузить запросы" - в появившееся поле можно внести нужные вам ключевые слова.
Также группы можно формировать добавлением фильтра на те запросы, которые определились для Вашего сайта автоматически.
platon,
Собственно я в курсе как данный функционал будет перенесен, т.к. в метрику уже так перенесли... Сначала пообещали все перенести, потом выкатить новую, но выкатили новую и пообещали не закрывать старую пока все не перенесут в новую и что же мы видим? Все забылось и несколько дней назад тупо вырубили старую. А где же, например, карта путей по сайту?
К сожалению, я не силён в обновлениях сервиса Яндекс.Метрика, но уверен, мои коллеги вам всё объяснят. Задайте, пожалуйста свой вопрос отсюда: https://yandex.ru/support/metrika/troubleshooting.xml .
Еще хотелось бы, чтобы в разделе "Индексирования" - "Статистика" для каждой группы страниц показывался перечень страниц под графиками http://c2n.me/3xcOz86
В данном разделе под графиком должен быть список страниц, а также должна быть возможность скачать архив загруженных страниц.
Если при выборе раздела список не появляется, пожалуйста, напишите об этом в службу поддержки.
В диагностике сайта пишет "Сайт не оптимизирован для мобильных устройств". Проверка с 28 марта по сей день. Идем в инструменты \ проверка мобильных страниц — пишет все ок!
Проверка сайта на мобилопригодность происходит автоматически. К сожалению, иногда этот процесс может занимать чуть больше времени. Вижу Ваше обращение в службу поддержки, мы уже передали информацию разработчикам сервиса, они проверят, нет ли в данном случае какой-либо ошибки с нашей стороны.
В любом случае, проверка должна будет завершиться в ближайшее время, и информация в Вебмастере обновится.
А когда сами данные/цифры что в новом что в старом вебмастере починят? Ответы ТП - простите, извините, скоро будет - уже год наверное шлют, а все только хуже становится :). Ссылки, структура, индекс - там цифры в 50-100 раз могут различаться в разных вебмастерах. + актуальность на месяцы отставать.
Данные о входящих ссылках в новом сервисе сейчас действительно неактуальны, мы рассчитываем исправить положение в ближайшее время. Что касается информации о структуре сайта, количестве загруженных и участвующих в поиске страниц, она должна соответствовать действительности. Мы будем благодарны за сообщения об ошибках в этом разделе и обязательно учтем их в дальнейшей работе над сервисом.
Чего толку рекламировать сервис, который толком не работает?
В обычном вебмастере последние данные по количеству ссылок от 20 апреля, в бете - от 31 марта...
А список ссылок в бете не обновлялся вообще с 19 октября 2015 года. Пол года прошло!
В настоящее время часть данных в некоторых разделах сервиса может не соответствовать реальности, мы об этих проблемах знаем и работаем над их исправлением.
В этом посте я рассказал о тех разделах и инструментах, которые работают корректно и не имеют аналогов в предыдущей версии сервиса.
Про необходимость актуального раздела со ссылками в сервисе мы услышали, продолжаем работу в этом направлении, к выходу Вебмастера из беты поправим. Следите за обновлениями :)
"Там можно отследить изменения в показах и кликах по определённым запросам или по группам запросов. Например, сильное снижение CTR при том же количестве показов означает, что на сайт стали меньше переходить." 


Ура! Теперь, 20 апреля, я могу узнать, что к 1 апреля CTR по запросу понизился со 105% до 30% - http://i.imgur.com/FyEQncw.png. Что с ним было дальше, я, наверное, узнаю не раньше окончания майских праздников. А знаете, что самое интересное? Нет, не то, что метатеги не менялись нигде (я ведь не могу посмотреть, какие страницы ваш ИИ показывал по этому запросу). Самое интересное в том, что это - витальный запрос, и первые 5 позиций - это мой сайт. Получается, что кто-то написал объявление для директа с 70% CTR?


"Чтобы упростить анализ запросов, их можно объединить в группы, используя фильтры." 


Какие фильтры? По позициям? А толку от них, если сегодня по одному запросу я на первом месте, а завтра, по нему же, - на 50м? И это даже без апдейта. Или фильтр по CTR? Так CTR за неделю может поменяться за неделю не только от 105% до 30% - http://i.imgur.com/6wq2Gbm.png. Попробуйте угадать, насколько гомеопатический CTR у меня был в этот день.


Вы делаете хороший сервис, но делаете его плохо. Как минимум, вам надо добавить информацию о том, какие страницы сайта показывались по запросам, и сделать возможность фильтрации этих URL'ов и самих запросов простенькими регулярками, тогда будет смысл. Ну это, если вы хотите, чтобы вашим вебмастером пользовались люди с посещаемостью на сайтах от 10 человек в день.
У меня такое предложение - в новом Вебмастере показывать в нарушениях аффилированность. Например, у нас есть клиент в продвижении, который любит клепать сайты-аффилиаты, причём нас об этом не стремиться уведомлять. И вот когда начинаются проблемы с сайтом, служба поддержки Яндекса все время говорит, "У вас все хорошо, проблем с сайтом не обнаружено..." Начинаешь копать - находишь аффилиат. Клиенту не докажешь, он цитирует вас и указывает, что проблемы в плохой оптимизации... Может немного пересмотрите свою политику в отношении аффилиатов? Новый Вебмастер - отличный повод для этого)
В бета Вебмастер Яндекс пишет на одном из сайтов:
"Обман пользователей мобильного интернета Сайт использует методы, обманывающие пользователей мобильного интернета — например, подменяет проиндексированное поисковым роботом содержимое и/или перенаправляет посетителей на страницы с подпиской на платные контент-услуги "



Эта проблема была в сентябре прошлого года, сейчас она не актуальна уже более чем 7 месяцев и мы после взлома сайта поставили SSL сертификат, мониторинг внутренних файлов и в принципе повторной взлом сайта с внедрением такого кода практически не возможен. По крайней мере не пройдет не замеченным.
Но Именно бета выдала нам такое предупреждение еще 24 марта. А 29 марта была еще какая-то фатальная ошибка, которая сама по себе прошла 30 марта. 


Если это баг с историей домена, то исправьте пожалуйста.
Если не баг, то пожалуйста покажите как именно и где стоит этот обманывающий метод на сайте. Ни один в мире сервис его не показывает и говорит, что сайт чист, а Яндекс может?
Если с Вашей стороны все причины нарушения были устранены, то я бы рекомендовал Вам нажать кнопку "я всё исправил" и дождаться автоматической перепроверки сайта. Обычно она происходит в течение месяца. За дополнительной информацией Вы всегда можете обратиться в службу поддержки, так как по каждому сайту ситуация индивидуальна и требует анализа.
А появится ли возможность выгрузки статистики по поисковым запросам? Можно было бы в Excel отфильтровать запросы, как надо...
Еще хорошо бы сделать возможность выбора выгрузки не только всех загруженных роботом страниц, а только всех страниц в индексе или только всех исключенных страниц.
Для больших сайтов, больше 100К страниц, например, было бы очень полезно.
Pahanbox,
cпасибо за вопрос!
Кажется, фильтрация по запросам в новом Яндекс.Вебмастере достаточно богатая. Не исключаю, правда, что мы не учли именно ваш случай анализа информации. Можете рассказать, пожалуйста, поподробнее, каких фильтров не достаёт для полного счастья?
Страницы, которые участвуют в поиске можно получить из архива загруженных страниц, отфильтровав те урлы, у которых в столбце "searchable" стоит "1".
platon, Фильтров хватает, но с большими объемами данных было бы удобнее работать через таблицы. У нас больше 29000 страниц пагинации с запросами http://joxi.ru/5mdW0XZs6bPXr1
2. Получить архив то можно, но для больших сайтов выгрузка может весить несколько гигобайт (сотни тысяч страниц), поэтому возникает проблема, чем его открыть, чтобы было удобно работать.
Очень здорово, что появился такой раздел, как диагностика!  Гораздо спокойней.

Но хотя у меня в нем все в порядке (кроме пока отсутсвия sitemap), каталог сайта выпал из поиска и не восстанавливается. Я подозреваю, что это из-за того, что он сделан как одна страница с разными параметрами в ссылке, и робот в них запутался. Попробую структурировать по директориям, но все равно хотелось бы иметь обратную связь на этот счет - пишет, что загружено больше ста тысяч страниц (хотя в реале в каталоге всего около 10 тысяч наименований), а в поиске пара сотен, и нигде никаких причин почему так, и поддержка не отвечает (
Вижу Ваше письмо, обязательно на него отвечу, как только появятся новости. Всё-таки вопросы про конкретные ситуации с сайтами правильнее решать в личной переписке.
Здравствуйте,


1. Подскажите как вычисляется CTR в разделе Последние запросы (совершенно не совпадает с частным от деления кликов к показам).



Или просто напишите что же это за CTR, а то в Помощи этого раздела нет, всплывающих подсказок над ссылками тоже нет, поэтому приходится писать сюда.


2. И еще хотелось бы узнать, почему нельзя посмотреть карты кликов в Метрике в браузере Firefox. Когда пытаюсь посмотреть карту происходит множественный редирект (в Хроме этого нет). Не верю злопыхателям, что программисты Яндекса могли выпустить сырой не протестированный продукт. Чтобы не плодить конспирологические версии, напишите пожалуйста в чем же дело. Только на Вас надежда.




Еще касательно отображения фильтров. Есть у меня сайт, trafaret.net - в своей отрасли это старейший магазин. По размеру каталога крупнейший в мире (объективный факт, в цифрах), российская фирма - филиалы магазина в трех странах на доменах fi, se, de, все как надо обозначено canonical и hreflang. Продаем "трафареты для стен" и "трафареты для декора", это наше основное (4000 товаров) остальное так, мелочи (еще может 500 разных наименований.



Сайт никогда ничем не "продвигался", все тексты написаны собственноручно, ни одной "фотки из интернета", страницы 404 настроены, ответ сервера менее 100 мс, постоянно добавляются новые товары. Отзывы на Картах - ни одного купленного, 9.6. Ну, короче, в теории просто идеальный магазин. еще и движок самописный (говорят, поисковики это любят). Тэги все прописаны. Каждый товар - отдельный УРЛ. Ну дальше долго можно продолжать.



Существует уже 10 лет. Из них 9 лет занимал заслуженно даже не ТОП-10, а ТОП-3. Реальных конкурентов нет и новых не появлялось (ну то есть есть, конено, в 2006 году фраз "трафареты для стен" очти не встречалось, сейчас есть - но не больше чем 2-3 года назад и ассортимент очень ОЧЕНЬ далек от 4000 товаров).



К чему све так долго и заунывно, к тому что вдруг, с весны этого года, очевидное сползание по ВЧ с СЧ сначала вниз ТОП-10, потом ТОП-20, теперь вот ТОП-30. При этом трафик падает в два раза. При этом в гугле все стабильно как и было (к вопросу об изменении контента или проблем на сайте). Очевидно, что что-то применилось. Но обращения в саппорт ни к чему не привели, ответ всегда один и тот же "все так, как и должно быть".

Но как так может быть, когда выше по поиску даже сайты ничего общего с запросами, указанными выше, не имеющие? Например, первая позиция - СТРАНИЧКА где пяток абзацев текста и десятка три картинок (у меня текста В ТЕМУ и уникального - ДЕСЯТКИ страниц, картинок в тему - тысяи и тысячи) при этом тонна рекламы (у меня - ни одного рекламного блока на всем сайте).



Согласитесь, явно пессимизация? Но выяснить за что и почему - не представляется возможным. Сегодня, правда, возникло подозрение что применен аффилат-фильтр (что не справедливо ни разу) и по этому поводу написал в саппорт, но ведь Яндекс отрицает наличие фааилат-пессимизации.



Ну вот и что делать? На дворе и так кризис, а тут еще Яндекс запихивает в самый подвал...
У меня сайт работает по 2-м протоколам http и https. Https необходим для приема платежей через Яндекс.Кассу. Недавно обновил сертификат, он лег на все страницы сайта, и за 2 недели до 0 упал ТИЦ. Почитал форумы / подсказки, причина понятна, остался один вопрос. Как правильно указать, что http является основным протоколом?
Для указания роботу на адрес главного зеркала используйте директиву Host в robots.txt
platon,
А разрешено ли указывать в robots.txt Host Основное зеркало вместе с протоколом? 
Да, в Host можно (а в данном случае и нужно) указывать протокол
Добрый день. Яндекс выдает: Критичные Долгий ответ сервера
При обращении к серверу среднее время ответа превышает 3 секунды. Долгая загрузка страниц затрудняет работу с сайтом.
Проверьте ответ сервера и при необходимости свяжитесь с хостинг-провайдером.
Ознакомьтесь с примерами.
На хостинге перепробовали все варианты, ничего не помогает, так как воспроизвести ошибку долгого ответа сервера не получается. пробовали tracert, так же все в пределах нормы. 
Через страницу "Проверка ответа сервера" показывает результаты до 1,5 секунд. 

Код статуса HTTP 200 OK
Время ответа сервера 1031 мс
IP сайта 95.85.12.184
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 62,86 КБ

Закончились идеи, что можно предпринять и у меня и на хостинге. Помогите, пожалуйста.