Платон Щукин

Поисковый спам и "Я все исправил"
7 сентября, 14:54

Когда алгоритмы на сайте фиксируют какие-либо нарушения или проблемы с безопасностью, информация об этом появляется в виде фатальной ошибки в соответствующем разделе, а вместе с ней - кнопка "Я всё исправил". Выглядит она так:

В этом посте я расскажу о работе кнопки в случаях, когда на сайте были обнаружены нарушения, связанные с поисковым спамом (например, Баден-Баден, Минусинск, Дорвей и т.д.). При проблемах с безопасностью сайта (например, при присутствии на нём вредоносного кода, программ-оберток, и любого другого содержимого, которое может угрожать безопасности пользователей) также доступна кнопка "Я всё исправил", но работает она иначе.

Главное предназначение кнопки при обнаруженном на сайте поисковом спаме - отправка дополнительного сигнала нашим алгоритмам о том, что указанные нарушения исправлены. После нажатия она станет неактивной, а около названия ошибки появится вот такое сообщение:

После первого нажатия она будет доступна через месяц. Далее, во избежание злоупотребления кнопкой, этот срок будет увеличиваться, и может достигать трех месяцев.
Если после очередной проверки на сайте не будет обнаружено нарушений, ограничения с него снимутся, а ошибка в Вебмастере пропадет. Если же у алгоритмов к сайту останутся нарекания, сообщение об ошибке будет на месте.

В среднем проверка внесенных на сайт исправлений осуществляется в течение двух недель, но может занимать как больше, так и меньше времени. На сроки самой проверки нажатие кнопки не влияет.
Отправлять сигнал алгоритмам лучше тогда, когда вы уверены, что все нарушения на сайте исправлены. Если он уже отправлен, а вы обнаружили что-то ещё, что можно поправить, смело правьте, алгоритмы в любом случае это отследят, так как регулярно мониторят сайты, а нажатие кнопки не является обязательным условием для снятия ограничений или проверки ресурса.
Но лучше вообще не доводить дело до ограничений и следовать нашим рекомендациям :)

5 комментариев
Поисковые запросы в Яндекс.Вебмастере
23 июля, 16:14

Сегодня я хочу немного поговорить о разделе "Поисковые запросы" Яндекс.Вебмастера: еще раз коротко рассказать, для чего нужен раздел, а также ответить на некоторые ваши вопросы.

Итак, что же полезного для развития и продвижения сайта вы найдете в разделе "Поисковые запросы"?

  1. Запросы по которым сайт находится в топ-50 за последние 3 месяца ("Статистика поисковых запросов", вкладка "Популярные запросы")
  2. Запросы, которые могли бы приносить больше трафика на сайт за счет продвижения в поиске и/или рекламы ("Рекомендованные запросы"). Тут будьте готовы к неожиданностям :) Буду рад, если поделитесь в комментариях найденными направлениями развития.
  3. Показатели, характеризующие положение сайта в поиске как в целом, так и по отдельным запросам и группам запросов, - средняя позиция, CTR, количество кликов, а также динамику этих показателей на графиках.
  4. Возможность создавать для более удобного анализа группы запросов ("Все запросы и группы"), наполняя их вручную или с помощью фильтра, причем в качестве признака для фильтрации можно использовать и часть текста запросов, и часть URL страниц, и основные количественные показатели. Например, можно создать группу запросов, которые приводят пользователя в раздел site.ru/snusmumriki, запросов со словом "снорк" или запросов, попадающих в топ-5 и имеющих при этом низкий CTR.

Подробности о работе с разделом, как всегда, ищите на страницах нашей Помощи, а я перейду сразу к более интересным вещам - вопросам о разделе, которые вас волнуют. Попытаюсь ответить на них и надеюсь, что после этого волнение уйдет ;)

В "Поисковых запросах" указано, что мой сайт на одной позиции по запросу, а на самом деле он на другой. Почему? Ошибка ли это?
Разница в показателях абсолютно нормальна, при этом данные Яндекс.Вебмастера о положении сайта в результатах поиска в целом точнее, чем те, что вы можете собрать вручную, так как пользователи из разных регионов и с разных устройств могут видеть сайт на разных позициях (кстати, вы видели настройки "регион" и "тип устройства" в разделе?). Не стоит забывать и о персонализации.
Кроме того, в Яндекс.Вебмастере данные о запросах статистические, то есть собранные за уже прошедший период. По какую дату есть данные, вы видите прямо в разделе "Статистка поисковых запросов" в календаре при выборе периода. Отставание, как правило, составляет всего пару дней, но если именно эти дни произошло существенное изменение позиции по какому-то запросу, показатель из Я.Вебмастера будет сильно не совпадать с текущим, пока не появятся более свежие данные.
Тем не менее, если при сравнении позиций из "Поисковых запросов" и позиций в поиске вы на протяжении длительного времени видите большую разницу, стоит написать нам об этом через форму обратной связи.

"У меня отличаются данные о переходах в Метрике и Вебмастере - все плохо?"
Скорее всего, дело только в том, что источники и природа собираемых данных в Яндекс.Метрике разные, поэтому показатели могут различаться.
Тем не менее, стоит на всякий случай кое-что проверить. Если речь идет о том, что в Метрике показатели ниже, проверьте, верно ли установлен счетчик, на всех ли страницах. Также возможно, что у сайта есть проблемы с доступностью: в этом случае пользователь кликает на ссылку в поиске, а переход на сайт не происходит. Если самостоятельное расследование не дало результатов, а разница в показаниях у сервисов существенная, то возможно есть какая-то неточность в расчётах - в таких случаях пишите мне: посмотрим вместе, разберемся, а если вдруг обнаружится ошибка, обязательно исправим! Если мы замечаем на своей стороне ошибку в расчетах, то пересчитываем статистку для всех сайтов, и для соответствующего периода в разделе "Статистика поисковых запросов" над графиком появляется информация об этом.

"Как считается средняя позиция сайта? Откуда берутся значения позиций с дробной частью?"
Позиция рассчитывается как средневзвешенная по показам. Если, например, за сутки по запросу было 23 показа на 5 позиции и 31 на 7-й, позиция будет равна (23*5 + 31*7)/(23+31)=6,15.

"У сайта мало кликов и, соответственно, трафика - с ним что-то не то?"
Ответьте себе на следующие вопросы:

  1. Какие задачи пользователей должен решать ваш сайт? Как пользователи формулируют соответствующие запросы? Чтобы ответить, используйте данные сервиса https://wordstat.yandex.ru/ .
  2. Есть ли на сайте лендинги (посадочные страницы), которые решают пользовательскую задачу лучше, чем это делают другие сайты?
  3. Хорошо ли суть страниц описывается в заголовках title и h1, а также в описаниях description?
  4. Участвуют ли эти страницы в поиске? Чтобы проверить, воспользуйтесь инструментом "Проверить статус URL" в Яндекс.Вебмастере, а чтобы не пропустить возможные проблемы, добавьте страницы в раздел "Мониторинг важных страниц".
  5. Как выглядят сниппеты страниц: хорошо ли заголовок и описание отражают содержимое страницы, способен ли сниппет заинтересовать пользователя? Эту проверку лучше всего провести прямо в поиске, задавая конкретные запросы из пункта 1.

"С чем может быть связан низкий CTR по сайту в целом или по конкретному запросу?"

Возможно, у страниц непривлекательные сниппеты, а может быть ваши соседи по выдаче проводят какие-то заманчивые акции и трафик утекает к ним. Чтобы узнать точно, найдите конкретные запросы, по которым CTR ниже всего, а потом посмотрите на выдачу по этим запросам с точки зрения пользователя. О том, как работать с описаниями страниц сайта для поиска, у нас собрано немало полезной информации здесь и здесь.
Обратите внимание также на среднюю позицию по проблемным запросам: понятно, что на находящуюся в конце страницы результатов поиска (скажем, на 9-м месте) кликают меньше, чем на страницы из топ-3. Кстати, в разделе "Статистика поисковых запросов" можно увидеть CTR с разбивкой по позициям - на 1, 2-3, 4-10 и 11-50 позициях.
Если CTR упал по витальному запросу, это может быть связано с тем, что по запросу находится больше одной страницы сайта. таких случаях каждая ссылка фиксируется как показ, а количество кликов практически не увеличивается, ведь пользователи кликают в большинстве случаев только на одну страницу.

"Почему в "Статистике запросов" показываются запросы, которые совершенно не относятся к моему сайту?"
Мы не придумываем запросов, которых не было :) Если запросы есть в Яндекс.Вебмастере, значит сайт по ним действительно находился, потому что на нем есть (был) соответствующий контент. Возможные причины - ошибка при наполнении сайта или взлом. Я встречал также единичные случаи, когда чужой контент появлялся из-за ошибки на хостинге. В любом случае стоит проверить сайт на наличие уязвимостей, сменить пароли доступа к сайту, а также обновить CMS до последней версии.
Чтобы проверить, остались ли еще в поиске мусорные страницы, используйте оператор url следующим образом "url:site.ru* запрос".

Упало количество показов! Яндекс разлюбил мой сайт?"
Это может быть обычный сезонный спад. Чтобы проверить эту версию, сравните динамику переходов из поиска с аналогичным периодом в прошлом (с прошлой неделей, прошлым годом). Другой удобный способ - сравните динамику поискового трафика с другими источниками (другими поисковыми машинами или прямым трафиком). Если все источники имеют схожий тренд - дело в изменении спроса, скорее всего. Графики на вкладке "Тренды" в разделе "Статистика запросов" тоже пригодятся для анализа ситуации: если график вашего сайта ведет себя примерно так же, как у похожих на ваш сайтов, причины снижения количества показов считайте естественными.
Если трафик всё же упал необъяснимо, проверьте, нет ли нарушений в разделе "Безопасность и нарушения". Наконец, последний этап поиска причины - это постраничные проверки:

  1. Найдите страницы, которые потеряли трафик. Удобно это сделать в Яндекс.Метрике в отчете "страницы входа", сравнение двух периодов.
  2. Проверьте, находятся ли сейчас эти страницы в поиске, а если нет, то по какой причине. Для этого используйте инструменты "Проверить статус URL" и "Проверить ответ сервера".
  3. Проверьте, верные ли у страниц заголовки и описания, хорошо ли они решают задачу пользователя, удобно ли ими пользоваться. Я часто слышу от владельцев сайтов аргумент "но я же ничего не менял на странице, почему же ситуация изменилась". Ответить на это легко: пока вы стоите на месте, ваши конкуренты меняются и идут вперед. Не отставайте, будьте лучше них, и трафик не потеряется :)

Надеюсь, что смог внести ясность и вопросов у вас теперь будет возникать немного меньше :) Пишите мне - я вам рад!

P.S. На самом деле я все-таки оставил один популярный вопрос неотвеченным и хочу предложить вам попробовать себя в роли сотрудника поддержки. Вопрос такой: "Почему на графике "Тренды" при изменении начальной точки в одну и ту же дату сайт может оказаться в разных положениях относительно похожих? Нормально ли это?"

26 комментариев
Бывают ли хорошие тексты на коммерческих сайтах?
26 июня, 15:53

Не пугайтесь, ничего принципиально нового в работе Баден-Бадена не появилось - он, как и прежде, негативно относится к сайтам с SEO-текстами (теми, что написаны для поисковых роботов).
Напомним, что SEO-тексты — это, как правило, тексты с перечисленными в них ключевыми словами и запросными словосочетаниями. Они могут быть как совсем несвязными, так и вполне читабельными, но роли это не играет — они пишутся с целью повлиять на поисковый алгоритм и пользы клиенту никакой не несут. Ниже я приведу несколько примеров плохих и хороших текстов. Давайте на них посмотрим:

Пример 1

Например, такой текст явно ориентирован не на клиента:

Рассказать о предоставляемых вашей компанией услугах можно коротко и наглядно:

Пример 2

Здесь текст хоть и короткий, но бесполезный и читать его неудобно:

А здесь всё четко разложено по пунктам, без лишней информации:

Пример 3

А вот ещё пример. Заходя на этот сайт клиент уже наверняка знает что ему нужно купить специи оптом в Москве и для чего они предназначены. Поэтому пользы от этого текста никакой нет. Ни к чему писать об очевидных вещах, да ещё и злоупотреблять ключевыми словами.

А вот сайт аналогичной тематики, на котором нет лишних слов - удобная навигация, разбивка товаров по категориям, возможность использовать фильтры:

Пример 4

Ну и последний пример "зла и добра". С таким описанием становится лишь понятно, что можно купить секционные картины с доставкой по Беларуси, не более. После первых абзацев дальше читать уже не хочется, потому как текст писали для роботов, а не людей. Это зло:

А на скриншоте ниже - добро. Всё коротко но при этом детально описано, вопросов после прочтения не возникает, текст легок и удобен для восприятия человеческими глазами.

Иногда гонка за высокими позициями может привести к обратному эффекту, поэтому лучше всего при наполнении сайта ориентироваться на удобство потенциальных клиентов:

  • Спросите ваших продавцов, какие вопросы о товаре чаще всего задают клиенты. Быть может, их интересуют характеристики, отличие от других моделей, наличие цветов/размеров и т.п. Какие факторы влияют на принятие решения о покупке? Возможно это гибкая система скидок, бесплатная доставка, наличие гарантии.
  • Измеряйте качество вашего контента, определив основные метрики (например, конверсию или добавление в корзину).
  • Поэкспериментируйте с форматами описаний - можно ведь использовать не только тексты, но и фотографии, схемы, видео, а потом сравните эффективность средствами веб-аналитики.

Посмотрите на сайт глазами клиентов: полезна ли информация в описаниях? Она помогает определиться с выбором товара или услуги? Её интересно читать? Нет? Тогда текст с такой информацией лучше переделать или убрать совсем. И не имеет значения, какого объема текст и сколько в нем ключевых слов - главное, чтобы он был полезен для посетителей и помогал решить их задачу.

20 комментариев
API у турбо-страниц
1 июня, 17:29

Подробности - в блоге для вебмастеров.

Нет комментариев
Сниппеты: популярное
10 мая, 16:27

В своем блоге я уже описывал основные принципы формирования сниппетов в поиске Яндекса. В этой статье я хочу поделиться с вами примерами, вопросы по которым наиболее часто поступают в саппорт.

Напомню, что сниппет для одной и той же страницы может меняться. Мета-тег description и тег title не имеют однозначный приоритет при формировании сниппета. Сниппет страницы формируются исходя из слов поискового запроса. А это значит, что в сниппет подставляются фрагменты текста со страницы, в которых есть слова из запроса пользователя.

Давайте рассмотрим несколько типовых примеров.

1. В сниппет попал служебный текст или e-mail.

Возможна ситуация, когда в сниппет попадают служебные символы (см. пример ниже).

ИЛИ,

если ввести в поисковую строку адрес сайта, то часто можно наблюдать, как в сниппет попадает e-mail. Происходит это потому, что электронная почта содержит адрес сайта.

В обоих примерах сниппет выглядит непривлекательно. В случае попадания служебных символов (e-mail) в сниппет нужно проверить код страницы на предмет наличия таких символов (e-mail) и удалить их, если они не нужны. Если же служебный текст (e-mail) уместен на исходной странице, но в сниппете его показывать не нужно, то рекомендую запретить его индексирование с помощью тега <noindex>.

2. На странице прописано несколько мета-тегов description.

На странице сайта может находиться несколько мета-тегов description. Чаще всего, такой вариант возможен, когда на странице используется микроразметка.
При формировании сниппета мета-теги description (<meta itemprop="description" content="" >) из микроразметки учитываются. Т.е. содержимое мета-тегов description из микроразметки служит возможным источником для текста в сниппете.

3. Заголовок и описание обновлены на странице, но в поиске показываются устаревшие.

Если вы видите в поиске устаревшие title и description, а на странице сайта заголовок и описание уже обновлены, то, скорее всего, в поиске участвует сохраненная копия страницы за ту дату, когда на искомой странице еще были прописаны старые заголовок и описание. Узнать, какая версия страницы участвует в поиске, можно с помощью инструмента Проверить статус URL в сервисе Я.Вебмастер.
После того, как были внесены изменения на страницу, нужно подождать несколько дней, пока эти изменения станут учитываться в поиске. Кроме того, рекомендую использовать инструмент Переобход страниц, чтобы ускорить обновление данных о странице в базе индексирующего робота.

4. Прописаны одинаковые или похожие title и description.

Если содержимое тега title и мета-тега description одинаковое или очень похожее, то описание из мета-тега description не будет учитываться при формировании сниппета страницы в поиске. Наши алгоритмы стремятся не показывать пользователю идентичную информацию в заголовке и в описании. Следите за тем, чтобы title и description не повторяли друг друга, наполните их разнообразным и отличным друг от друга контентом.

Рекомендации по составлению мета-описаний

5. Сниппет формируется из Я.Каталога.

Я.Каталог закрылся. Однако, если ваш сайт размещался в Я.Каталоге, то сниппет главной страницы может браться из описания сайта, которое было в Я.Каталоге. Если эти данные устарели или вы не хотите, чтобы описание формировалось из Я.Каталога, то нужно добавить на главную страницу сайта мета-тег <meta name="robots" content="noyaca"/>. Этот тег укажет, что Я.Каталог не может быть источником данных для сниппета.

6. Как настроить картинку в сниппете.

Сразу отмечу, что вручную повлиять на появление картинки в поисковой выдаче возможности нет и не нужно специально прописывать картинку с помощью микроразметки. Индексирующий робот самостоятельно выбирает изображение для добавления в результаты поиска со всех представленных на странице картинок. При выборе картинки учитывается множество факторов, среди которых, например, присутствие картинки на Я.Картинках.

Советы вебмастеру по индексированию картинок

Как всегда, свои вопросы про сниппеты вы можете задать через форму обратной связи. При описании проблем, пожалуйста, указывайте ссылки, о которых идет речь, а также запрос, при котором воспроизводится проблема.

16 комментариев
Подарок на День вебмастера
4 апреля, 15:29

Подробности - в нашем блоге для вебмастеров.

Нет комментариев
301-й редирект полностью заменил директиву Host
20 марта, 13:42

За подробностями - сюда. 

Нет комментариев
Переезд сайта после отказа от директивы Host
12 марта, 18:22

В свете отказа от директивы Host я бы хотел рассказать подробнее о рекомендациях по переезду сайта. Данные рекомендации предназначаются как для переезда на протокол https, так и для переезда на новое доменное имя, поскольку алгоритм будет совпадать.

Директива Host позволяла сохранить доступность старого сайта на период переезда, однако ее использование было также сопряжено с некоторыми неудобствами. Например, необходимо было проверять, что в директиве Host всех зеркал указан один и тот же сайт, иначе переезд мог произойти некоректно. В связи с этим было решено отказаться от использования директивы Host - теперь переезд будет выполняться только при помощи редиректа HTTP-301. Это также упростит совмещение переезда в Яндексе и других поисковых системах. Теперь для переезда я рекомендую следующее:

1. Добавьте новый домен в Вебмастер (в том числе сайт по протоколу HTTPS, если переезд выполняется на HTTPS) и убедитесь, что он не склеен в группу зеркал с другим сайтом. Если это так, воспользуйтесь инструментом "Отклейка зеркал", чтобы расклеить сайты. После окончания расклейки переходите ко второму пункту.

2. Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. При этом я рекомендую учитывать несколько важных моментов:

- сайты должны совпадать между собой структурно, поэтому страницы старого сайта должны выполнять редирект именно на аналогичные страницы нового сайта. Если же структура сайта при переезда изменилась, Вы можете установить редирект со страниц старого сайта на аналогичные страницы нового, а с них установить редирект на нужные адреса. Наши рекомендации по смене структуры сайта описаны в разделе Помощи.

- оба сайта должны быть доступны роботу. Проверьте, что в robots.txt обоих сайтов содержатся одинаковые правила, ведь если будут запрещены разные страницы, это может привести к различию контента. Если сайты используют один и тот же файл robots.txt, то файл sitemap лучше указать по адресу нового главного зеркала, так как после переезда индексироваться будет именно он.

- убедитесь, что большая часть страниц сайтов доступна и отвечает кодом HTTP-200 ОК или кодом редиректа 301. Если на доменах существенная доля страниц будет недоступна из-за кода ответа 404, это может помешать переезду. В таком случае недоступные страницы можно запретить к индексированию в файле robots.txt, чтобы робот-зеркальщик не посещал их при сверке контента.

3. Проверьте, что все зеркала в группе выполняют редирект на желаемое главное зеркало. Это также относиться к версиям "с www" или "без www".

Когда все необходимые настройки будут внесены, в панели Яндекс.Вебмастера старого адреса отправьте заявку на переезд сайта. Если заявка была успешно принята, значит, настройки выполнены корректно и сайты смогут склеиться. Процесс склейки был значительно ускорен и сейчас может занимать от нескольких дней до 3 недель. Замечу, что завершение переезда не означает, что все страницы сайта сразу попадут в поиск по адресу главного зеркала. Страницы неглавного зеркала будут участвовать в поиске какое-то время, пока аналогичные страницы главного зеркала не будут проиндексированы. Постепенно, по мере обхода нужного сайта, неглавное сможет пропасть из поиска.

Зачастую также возникает вопрос, почему в Яндекс.Вебмастере у неглавного зеркала большое число страниц в списке "Загруженных", и это число может даже увеличиваться, хотя в поиске страницы не появляются. В этом нет какой-либо ошибки: в список загруженных входят все страницы, ссылки на которые известны индексирующему роботу, поэтому данные о таких страницах вполне могут храниться в базе робота. Попадать в поиск такие страницы не будут, так как принадлежат неглавному зеркалу.

Не забудьте также, что для нового домена в Яндекс.Вебмастере необходимо добавить свой файл sitemap и установить региональность.

82 комментария
Турбо-страницы: опыт первых трёх месяцев
20 февраля, 18:46

Подробности - в блоге для вебмастеров.

Нет комментариев
Новый инструмент - "Скорость обхода"
16 февраля, 10:02

В Яндекс.Вебмастере появился новый инструмент — «Скорость обхода», который находится в разделе «Индексирование». Подробности - в нашем блоге для вебмастеров.

Нет комментариев
Открылась форма добавления в «Безопасную Гавань» IAB Russia
31 января, 15:21

Подробности - в нашем блоге для вебмастеров.

Нет комментариев
Расскажите нам про поисковые запросы!
19 января, 13:58

Мы все больше внимания уделяем инструменту «Поисковые запросы», и очень хотим узнать, как вы его используете и что ожидаете от инструмента. Пожалуйста, пройдите опрос в нашем блоге для вебмастеров.

4 комментария
Как перестать беспокоиться о сайте и уйти на каникулы.
26 декабря 2017, 15:09

Проверяете Яндекс.Вебмастер едва ли не чаще, чем социальные сети? Мы вас так понимаем :) Благодаря многочисленным новым инструментам, которые появились в сервисе за этот год, новые данные появляются ежедневно, а то и чаще. К тому же самые важные из них отлично видны на единой странице "Сводка". Иногда достаточно одного взгляда на неё, чтобы увидеть проблему.

Впереди зимние праздники и каникулы - отличное время, чтобы проводить больше времени со своими родными и близкими. А Яндекс.Вебмастер позаботится, чтобы вы не упустили из виду существенные события в жизни сайта. Рассказываем, как.

1. Настройте мониторинг самых важных страниц сайта с помощью инструмента "Важные страницы": добавьте адреса, которые нужно отслеживать, и настройте уведомления в этом же разделе, указав, о каких событиях сообщать. Например, если страница с вашим основным товаром, услугой, самой популярной у посетителей статьей перестанет отвечать роботу кодом 200, вы в ближайшее время получите письмо по электронной почте и сможете исправить ситуацию, не допустив выпадения страницы из поиска.

Полезно отметить и событие изменения заголовка. Вряд ли страница с детскими санками вдруг станет называться "самокат", но может случиться так, что из-за проблем на сервере поисковый робот получит страницу-заглушку с кодом ответа 200 со служебным текстом.

2. В разделе "Настройка уведомлений" установите получение сообщений о проблемах на сайте. Если сайтов у вас много, будет очень кстати возможность индивидуальной настройки уведомлений для каждого из них. Напоминаем, что точка означает общую настройку, а конверт или звонок - индивидуальную для сайта.

Советуем не пренебрегать колонкой "рекомендации", ведь в эту категорию попадают сообщения о неработающем счётчике Яндекс.Метрики. Эта рекомендация - одна из последних "фишек" в разделе "Диагностика сайта" - появилась потому, что Яндекс.Метрика становится всё более важным источником данных для Поиска. Если посетители решают на вашем сайте свои задачи, согласитесь, будет здорово, если наши алгоритмы об этом узнают.

3. Подпишитесь на дайджест - еженедельное письмо о том, что происходило с сайтом. Подписка настраивается в колонке "Еженедельная сводка по сайту" в том же разделе "Настройка уведомлений". Дайджест не сообщит о проблемах мгновенно, но даст общую картину: вы узнаете об изменении общего количества страниц в поиске, динамике кликов и показов, решении критичных и фатальных проблем, если такие были.

Не забудьте, пожалуйста, что для получения писем по электронной почте нужно обязательно указать её адрес в поле "Адрес для почтовых уведомлений".

Даже если вы контрол-фрик вебмастер с повышенным уровнем ответственности, не забывайте, что отдыхать все-таки надо. Делегируйте права на сайт кому-то из коллег, чтобы они могли сменить вас на посту. Линия на графике кликов пошла вниз, а в блоке "Обновления поиска" нарисовался длинный синий столбик ниже нуля? - Дело плохо: из поиска выпали важные страницы, которые хорошо находились по запросам и привлекали пользователей. Скорее ищите причину исключения страниц внутри раздела "Страницы в поиске", а когда устраните её - отправляйте страницы на переобход. На графике обхода появились ошибки 5xx? - Будите специалистов хостинга, пусть разберутся, что не так с доступностью сервера.

А вообще, не забывайте, что Новый Год - это время чудес и радости, поэтому, как я уже писал выше, позвольте себе расслабиться и отдохнуть ;) А я хочу пожелать вам в Новом Году роста конверсии и посещаемости, быстрой индексации, побольше пользователей и общего процветания проектам!

P.S. Не забудьте про нашу новогоднюю традицию: опрос о нашей работе по итогам года ;)

Ваш Платон.

4 комментария
Яндекс.Вебмастер,на заметку
Наша новогодняя традиция: опрос Яндекса для владельцев сайтов и вебмастеров
21 декабря 2017, 13:27

У нас есть новогодняя традиция: за несколько дней до праздника мы спрашиваем вебмастеров и владельцев сайтов, как им работалось в уходящем году с сервисами Яндекса. Как поживают ваши проекты? Как себя вел Вебмастер — хорошо или не очень? С чем он вам помог, а с чем нет?

Опрос небольшой и займёт всего минут десять. Вот он:

Если вы уже заполняли анкету год назад (спасибо!) — пожалуйста, сделайте это снова. В этом году мы многое поменяли — и нам важно оценить результат. 
Если вас что-то смутило, или, наоборот, понравилось, обязательно напишите нам об этом!

Команда Поиска

Нет комментариев
Дубли: как их избежать. Вопросы и ответы.
5 декабря 2017, 14:08

В советах интернет-магазинам я уже затрагивал страницы товаров с похожим или идентичным контентом. Сегодня расскажу о том, как избежать признания страниц дублирующими, и отвечу на популярные вопросы по этой теме.

Что называем дублями?

Страницы, текстовое содержимое которых полностью или практически совпадает.

Популярные примеры это страницы с GET-параметрами и метками (UTM и др.) в url, а также страницы в разных разделах сайта с отличающимся только url. Наличие таковых не приносит пользы и может негативно сказаться на разных этапах взаимодействия с поисковой системой:

  • До момента определения страниц дублями они могут конкурировать между собой в результатах поиска по запросам и пользователь после перехода на сайт может оказаться не на целевой для него странице.
  • Когда индексирующий робот определит дубли, в поиске останется только одна страница-дубль, которая будет выбрана автоматически. А так как робот может пересматривать свой выбор, то страница в поиске может меняться.
  • На обход дублей роботу требуется время, из-за чего обход нужных страниц сайта может занимать больше времени.

Чтобы избавиться от дублей и последствий их появления, мы рекомендуем настраивать у них атрибут rel="canonical", указывая основной адрес, либо использовать редирект 301 на нужные страницы - это укажет роботу на то, какая из страниц должна быть в поиске.

Случается, что робот признаёт дублями разные, казалось бы по внешнему виду, страницы. А присутствие в поиске каждой могло быть полезно сайту и пользователю, который осуществляет поиск. Единственно правильное решение это сделать их значительно отличающимися:

  • добавить разное текстовое содержимое;
  • добавить UGC в виде возможности пользователям оставлять комментарии, рецензии и т.п.;
  • не лучший, но действующий метод - использование тега noindex: "шаблон" сайта содержит на страницах большое количество текста, который совпадает на всех страницах, что может частично повлиять на признание страниц дублями. В такой ситуации возможно использовать тег noindex, запретив к индексированию совпадающий текст: меню навигации, "подвал" сайта и т.п., то есть всё то, что робот видит в качестве идентичного текста.

Рубрика Вопрос/Ответ

В. У страниц почти одинаковый адрес, не посчитает ли их робот дублирующими?
О. Нет, сравнивается непосредственно содержимое самих страниц и адрес не играет роли.

В. У меня фото разное на страницах, а текст одинаковый, будут дубли?
О. Да, такие страницы будут признаны дублирующими. Чтобы страницы индексировались отдельно друг от друга, необходимы отличия в текстовом содержимом.

В. Совершенно разные по содержимому и тексту страницы признаются дублями одной страницы и исключаются из поиска, почему?
О. Такая ситуация, как правило, связана с тем, что страницы в какой-то момент отдавали сообщение об ошибке. Проверить это можно при помощи оператора [url:] в результатах поиска. Найдите с его помощью страницу-дубль, включенную в поиск: в описании страницы будет отображаться то сообщение, которое получал наш робот, когда посещал страницы. Проверьте сохраненную копию страницы: в ней тоже мог сохраниться контент, получаемый роботом. Используя инструмент "Проверка ответа сервера" посмотрите, какое содержимое страницы отдают сейчас. Если страницы отдают разное содержимое, то они смогут вернуться в поиск после их повторного индексирования. Ускорить этот процесс поможет инструмент переобхода в Яндекс.Вебмастере.
Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, мы рекомендуем настраивать со страниц HTTP-код ответа 503.

В. Со страниц-дублей установлен редирект на нужные страницы, но в поиске все равно участвуют неправильные страницы.
О. Убедитесь, что на страницах установлен постоянный редирект 301. В случае временного редиректа 302 или использования мета-тега refresh в поиске может участвовать страница по наиболее короткому адресу. Если установлен постоянный редирект, возможно, что робот еще не успел повторно проиндексировать страницу: с помощью инструмента "Проверка статуса URL" Вы можете проверить, какая версия страницы участвует в поиске и ее статус. Ускорить переобход страниц с редиректом также поможет "Переобход страниц" - в течение одной-двух недель они выпадут из поиска.

В. Можно ли использовать директиву Disallow в robots.txt для запрета индексирования дублей?
О. Да, такой запрет можно использовать, однако при использовании директивы Disallow передать какие-либо показатели запрещенных страниц не получится, поэтому мы рекомендуем использовать атрибут тега <link> rel="canonical", либо редирект. Для страниц с GET-параметрами можно использовать директиву Clean-param.

В. На страницы товаров больше нечего добавить: они, к примеру, отличаются только фото, но цена и описание одинаковые.
О. Возможно, стоит пересмотреть структуру сайта: такие страницы, кажется, не смогут находиться по релевантным запросам, поэтому часто их стоит объединить в одну страницу и использовать её в качестве посадочной страницы по группе запросов.

27 комментариев
полезное от Платона,на заметку
Поговорим о главной
7 ноября 2017, 16:15

Нам часто пишут с вопросами о пункте Диагностики Яндекс.Вебмастера "Главная страница сайта недоступна":

  • почему главная страница открывается, а Вебмастер сообщает об ошибке?
  •  почему раньше страница была доступна, а сейчас нет?
  • что нужно проверять в первую очередь при получении предупреждения?

Прямо сейчас такое предупреждение отображается для более 100 тысяч сайтов, добавленных в сервис. Важно разобраться в проблеме, поскольку с главной страницы робот начинает обход нового ресурса, формирует структуру сайта, зачастую использует её в качестве наиболее релевантной страницы по навигационным запросам. Предупреждение может помочь избежать проблем во всём перечисленном.

Используя в Яндекс.Вебмастере инструмент "Проверка статуса URL", можно узнать больше подробностей о странице, которая хранится сейчас в поисковой базе и попробовать разобраться самостоятельно.

Как разобраться? 
В разделе "Статистика обхода" можно посмотреть, какой именно код ответа отдавала страница на запросы робота:

В графе "Стало" отображается код, который получил робот при посещении страницы. 
Если код ответа отличается от 200 ОК, то рекомендую убедиться в актуальности проблемы при помощи инструмента "Проверка ответа сервера". В этом же инструменте обратите внимание на отдаваемое страницей содержимое: возможна ситуация, при которой страница отвечает кодом 200 ОК и не может индексироваться. Например, если страница будет содержать в HTTP-ответе заголовок "Content-length: 0", то робот не сможет проиндексировать такую страницу. При проверке ответа вместо содержимого будет отображаться сообщение "Содержимое страницы отсутствует":

Если страница доступна и проверка показывает, что страница отвечает 200 ОК, то проверьте её исходный код: существует вероятность, что страница запрещена при помощи мета-тега noindex.

Если в результате проверки страница отвечает кодом 200 ОК и проблем с доступностью контента нет, то предупреждение в Вебмастере пропадет в течение нескольких дней и можно считать, что с проблемой справились ;)

10 комментариев
на заметку,полезное от Платона
Яндекс.Вебмастер оповестит о неработающем счётчике Метрики
8 сентября 2017, 09:41

Подробнее - в нашем блоге для вебмастеров.

Нет комментариев
Новый алгоритм Поиска - "Королёв"
23 августа 2017, 10:42

Вчера запустили новую версию поиска, основанную на алгоритме "Королёв". Подробнее - здесь. 

2 комментария
Деликатный переезд на https или о чем еще стоит знать.
20 марта 2017, 14:21

В одном из моих прошлых постов я уже поднимал тему деликатного переезда на протокол https. Сегодня я постараюсь ответить на частые вопросы, которые возникают при переезде.

1. Нужно ли переходить на HTTPS? Поможет ли это улучшить позиции?

В поисковой системе Яндекс сайты по протоколу HTTP/HTTPS индексируются и участвуют в поиске на равных условиях. Принимая решение о подключении SSL-сертификата, ориентироваться стоит на безопасность пользователей. Например, в случаях, если на сайте можно совершать покупки или другие операции с финансами.

2. Планируете ли вы помечать все сайты по протоколу HTTP как небезопасные?

Таких планов в настоящий момент нет.

3. Мой сайт сразу работает по протоколу HTTPS. Нужно ли сначала добавить его по HTTP и дождаться индексирования?

Нет, этого делать не обязательно. Вы можете сразу добавить его в Яндекс.Вебмастер по адресу с HTTPS.

4. Стоит ли ждать, пока сайт HTTPS проиндексируется перед тем, как начинать переезд?

Нет, переезд можно начинать в любой момент.

5. Есть ли разница между 301-м и 302-м редиректом при переезде?

Нет, и в том, и в другом случае переезд будет совершен в обычном режиме.

6. Нужно ли добавлять файл sitemap для HTTPS-сайта?

Да. Для сайта по протоколу HTTPS лучше создать свой файл sitemap и указать в нем ссылки на страницы по протоколу HTTPS. Сделать это можно сразу после начала переезда.

7. Мы захотели подключить SSL-сертификат, добавили https://site.ru в Яндекс.Вебмастер, а выясняется, что он уже неглавное зеркало сайта с HTTP. Нужно ли расклеивать их для смены главного зеркала?

Расклеивать сайты не нужно, вы можете просто сменить главное зеркало в данной группе. Процесс в целом ничем не отличается от склейки, только в этом случае я особенно не рекомендую использовать редирект для переезда: получится, что главное зеркало недоступно из-за редиректа, а цель редиректа - это неглавное зеркало и в поиск попасть не сможет. В результате в поиск страницы не смогут попасть совсем. В такой ситуации устанавливайте директиву "Host: https://site.ru", используйте "Переезд сайта", адрес в поиске будет изменён в течение нескольких недель. УСТАРЕЛО! О том, как сейчас - здесь и здесь .

8. Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?

Это связано с установленным Вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.

9. Завершили переезд на HTTPS, но в Яндекс.Вебмастере висит предупреждение о противоречивой директиве Host.
Если главное зеркало - сайт с HTTPS, протокол в директиве Host также необходимо указать: "Host: https://site.ru" УСТАРЕЛО!

10. Как узнать, что переезд завершился?

В разделе "Уведомления" Яндекс.Вебмастера вы увидите сообщение о том, что для сайта site.ru изменилось главное зеркало и теперь главным зеркалом признан домен https://site.ru . В разделе "Мои сайты" сервиса сайты начнут отображаться как "связанные":

Главное зеркало будет располагаться в самом верху группы. Инструмент "Переезд сайта" для неглавного зеркала сменится на инструмент "Отклейка зеркал".

11. Сайты склеились, а Внешние ссылки и Оригинальные тексты не перенеслись, что делать?

Показатели старого сайта с HTTP, включая ссылки и оригинальные тексты, учитываются для нового главного зеркала. При этом отображаться они будут в панели Яндекс.Вебмастера именно для того сайта, для которого были добавлены.

12. Нужно ли удалять старый сайт из Яндекс.Вебмастера?

Удалять старый сайт необязательно. Вы можете оставить его, чтобы проверять информацию о внешних ссылках (см. пункт выше) и другие статистики неглавного зеркала. По желанию, его можно и удалить из сервиса, на индексирование главного зеркала это никак не повлияет.

184 комментария
https,поиск,переезд на новый домен,зеркала
Новый раздел Вебмастера — сводка данных о представлении сайта в поиске и индексе
11 января 2017, 11:43

В Вебмастере появился дашборд со всеми основными параметрами сайта. Подробнее - в блоге для вебмастеров.

6 комментариев