Платон Щукин

API у турбо-страниц
1 июня, 17:29

Подробности - в блоге для вебмастеров.

Нет комментариев
Сниппеты: популярное
10 мая, 16:27

В своем блоге я уже описывал основные принципы формирования сниппетов в поиске Яндекса. В этой статье я хочу поделиться с вами примерами, вопросы по которым наиболее часто поступают в саппорт.

Напомню, что сниппет для одной и той же страницы может меняться. Мета-тег description и тег title не имеют однозначный приоритет при формировании сниппета. Сниппет страницы формируются исходя из слов поискового запроса. А это значит, что в сниппет подставляются фрагменты текста со страницы, в которых есть слова из запроса пользователя.

Давайте рассмотрим несколько типовых примеров.

1. В сниппет попал служебный текст или e-mail.

Возможна ситуация, когда в сниппет попадают служебные символы (см. пример ниже).

ИЛИ,

если ввести в поисковую строку адрес сайта, то часто можно наблюдать, как в сниппет попадает e-mail. Происходит это потому, что электронная почта содержит адрес сайта.

В обоих примерах сниппет выглядит непривлекательно. В случае попадания служебных символов (e-mail) в сниппет нужно проверить код страницы на предмет наличия таких символов (e-mail) и удалить их, если они не нужны. Если же служебный текст (e-mail) уместен на исходной странице, но в сниппете его показывать не нужно, то рекомендую запретить его индексирование с помощью тега <noindex>.

2. На странице прописано несколько мета-тегов description.

На странице сайта может находиться несколько мета-тегов description. Чаще всего, такой вариант возможен, когда на странице используется микроразметка.
При формировании сниппета мета-теги description (<meta itemprop="description" content="" >) из микроразметки учитываются. Т.е. содержимое мета-тегов description из микроразметки служит возможным источником для текста в сниппете.

3. Заголовок и описание обновлены на странице, но в поиске показываются устаревшие.

Если вы видите в поиске устаревшие title и description, а на странице сайта заголовок и описание уже обновлены, то, скорее всего, в поиске участвует сохраненная копия страницы за ту дату, когда на искомой странице еще были прописаны старые заголовок и описание. Узнать, какая версия страницы участвует в поиске, можно с помощью инструмента Проверить статус URL в сервисе Я.Вебмастер.
После того, как были внесены изменения на страницу, нужно подождать несколько дней, пока эти изменения станут учитываться в поиске. Кроме того, рекомендую использовать инструмент Переобход страниц, чтобы ускорить обновление данных о странице в базе индексирующего робота.

4. Прописаны одинаковые или похожие title и description.

Если содержимое тега title и мета-тега description одинаковое или очень похожее, то описание из мета-тега description не будет учитываться при формировании сниппета страницы в поиске. Наши алгоритмы стремятся не показывать пользователю идентичную информацию в заголовке и в описании. Следите за тем, чтобы title и description не повторяли друг друга, наполните их разнообразным и отличным друг от друга контентом.

Рекомендации по составлению мета-описаний

5. Сниппет формируется из Я.Каталога.

Я.Каталог закрылся. Однако, если ваш сайт размещался в Я.Каталоге, то сниппет главной страницы может браться из описания сайта, которое было в Я.Каталоге. Если эти данные устарели или вы не хотите, чтобы описание формировалось из Я.Каталога, то нужно добавить на главную страницу сайта мета-тег <meta name="robots" content="noyaca"/>. Этот тег укажет, что Я.Каталог не может быть источником данных для сниппета.

6. Как настроить картинку в сниппете.

Сразу отмечу, что вручную повлиять на появление картинки в поисковой выдаче возможности нет и не нужно специально прописывать картинку с помощью микроразметки. Индексирующий робот самостоятельно выбирает изображение для добавления в результаты поиска со всех представленных на странице картинок. При выборе картинки учитывается множество факторов, среди которых, например, присутствие картинки на Я.Картинках.

Советы вебмастеру по индексированию картинок

Как всегда, свои вопросы про сниппеты вы можете задать через форму обратной связи. При описании проблем, пожалуйста, указывайте ссылки, о которых идет речь, а также запрос, при котором воспроизводится проблема.

13 комментариев
Подарок на День вебмастера
4 апреля, 15:29

Подробности - в нашем блоге для вебмастеров.

Нет комментариев
301-й редирект полностью заменил директиву Host
20 марта, 13:42

За подробностями - сюда. 

Нет комментариев
Переезд сайта после отказа от директивы Host
12 марта, 18:22

В свете отказа от директивы Host я бы хотел рассказать подробнее о рекомендациях по переезду сайта. Данные рекомендации предназначаются как для переезда на протокол https, так и для переезда на новое доменное имя, поскольку алгоритм будет совпадать.

Директива Host позволяла сохранить доступность старого сайта на период переезда, однако ее использование было также сопряжено с некоторыми неудобствами. Например, необходимо было проверять, что в директиве Host всех зеркал указан один и тот же сайт, иначе переезд мог произойти некоректно. В связи с этим было решено отказаться от использования директивы Host - теперь переезд будет выполняться только при помощи редиректа HTTP-301. Это также упростит совмещение переезда в Яндексе и других поисковых системах. Теперь для переезда я рекомендую следующее:

1. Добавьте новый домен в Вебмастер (в том числе сайт по протоколу HTTPS, если переезд выполняется на HTTPS) и убедитесь, что он не склеен в группу зеркал с другим сайтом. Если это так, воспользуйтесь инструментом "Отклейка зеркал", чтобы расклеить сайты. После окончания расклейки переходите ко второму пункту.

2. Настройте редирект 301 со страниц старого сайта на аналогичные страницы нового. При этом я рекомендую учитывать несколько важных моментов:

- сайты должны совпадать между собой структурно, поэтому страницы старого сайта должны выполнять редирект именно на аналогичные страницы нового сайта. Если же структура сайта при переезда изменилась, Вы можете установить редирект со страниц старого сайта на аналогичные страницы нового, а с них установить редирект на нужные адреса. Наши рекомендации по смене структуры сайта описаны в разделе Помощи.

- оба сайта должны быть доступны роботу. Проверьте, что в robots.txt обоих сайтов содержатся одинаковые правила, ведь если будут запрещены разные страницы, это может привести к различию контента. Если сайты используют один и тот же файл robots.txt, то файл sitemap лучше указать по адресу нового главного зеркала, так как после переезда индексироваться будет именно он.

- убедитесь, что большая часть страниц сайтов доступна и отвечает кодом HTTP-200 ОК или кодом редиректа 301. Если на доменах существенная доля страниц будет недоступна из-за кода ответа 404, это может помешать переезду. В таком случае недоступные страницы можно запретить к индексированию в файле robots.txt, чтобы робот-зеркальщик не посещал их при сверке контента.

3. Проверьте, что все зеркала в группе выполняют редирект на желаемое главное зеркало. Это также относиться к версиям "с www" или "без www".

Когда все необходимые настройки будут внесены, в панели Яндекс.Вебмастера старого адреса отправьте заявку на переезд сайта. Если заявка была успешно принята, значит, настройки выполнены корректно и сайты смогут склеиться. Процесс склейки был значительно ускорен и сейчас может занимать от нескольких дней до 3 недель. Замечу, что завершение переезда не означает, что все страницы сайта сразу попадут в поиск по адресу главного зеркала. Страницы неглавного зеркала будут участвовать в поиске какое-то время, пока аналогичные страницы главного зеркала не будут проиндексированы. Постепенно, по мере обхода нужного сайта, неглавное сможет пропасть из поиска.

Зачастую также возникает вопрос, почему в Яндекс.Вебмастере у неглавного зеркала большое число страниц в списке "Загруженных", и это число может даже увеличиваться, хотя в поиске страницы не появляются. В этом нет какой-либо ошибки: в список загруженных входят все страницы, ссылки на которые известны индексирующему роботу, поэтому данные о таких страницах вполне могут храниться в базе робота. Попадать в поиск такие страницы не будут, так как принадлежат неглавному зеркалу.

Не забудьте также, что для нового домена в Яндекс.Вебмастере необходимо добавить свой файл sitemap и установить региональность.

47 комментариев
Турбо-страницы: опыт первых трёх месяцев
20 февраля, 18:46

Подробности - в блоге для вебмастеров.

Нет комментариев
Новый инструмент - "Скорость обхода"
16 февраля, 10:02

В Яндекс.Вебмастере появился новый инструмент — «Скорость обхода», который находится в разделе «Индексирование». Подробности - в нашем блоге для вебмастеров.

Нет комментариев
Открылась форма добавления в «Безопасную Гавань» IAB Russia
31 января, 15:21

Подробности - в нашем блоге для вебмастеров.

Нет комментариев
Расскажите нам про поисковые запросы!
19 января, 13:58

Мы все больше внимания уделяем инструменту «Поисковые запросы», и очень хотим узнать, как вы его используете и что ожидаете от инструмента. Пожалуйста, пройдите опрос в нашем блоге для вебмастеров.

4 комментария
Как перестать беспокоиться о сайте и уйти на каникулы.
26 декабря 2017, 15:09

Проверяете Яндекс.Вебмастер едва ли не чаще, чем социальные сети? Мы вас так понимаем :) Благодаря многочисленным новым инструментам, которые появились в сервисе за этот год, новые данные появляются ежедневно, а то и чаще. К тому же самые важные из них отлично видны на единой странице "Сводка". Иногда достаточно одного взгляда на неё, чтобы увидеть проблему.

Впереди зимние праздники и каникулы - отличное время, чтобы проводить больше времени со своими родными и близкими. А Яндекс.Вебмастер позаботится, чтобы вы не упустили из виду существенные события в жизни сайта. Рассказываем, как.

1. Настройте мониторинг самых важных страниц сайта с помощью инструмента "Важные страницы": добавьте адреса, которые нужно отслеживать, и настройте уведомления в этом же разделе, указав, о каких событиях сообщать. Например, если страница с вашим основным товаром, услугой, самой популярной у посетителей статьей перестанет отвечать роботу кодом 200, вы в ближайшее время получите письмо по электронной почте и сможете исправить ситуацию, не допустив выпадения страницы из поиска.

Полезно отметить и событие изменения заголовка. Вряд ли страница с детскими санками вдруг станет называться "самокат", но может случиться так, что из-за проблем на сервере поисковый робот получит страницу-заглушку с кодом ответа 200 со служебным текстом.

2. В разделе "Настройка уведомлений" установите получение сообщений о проблемах на сайте. Если сайтов у вас много, будет очень кстати возможность индивидуальной настройки уведомлений для каждого из них. Напоминаем, что точка означает общую настройку, а конверт или звонок - индивидуальную для сайта.

Советуем не пренебрегать колонкой "рекомендации", ведь в эту категорию попадают сообщения о неработающем счётчике Яндекс.Метрики. Эта рекомендация - одна из последних "фишек" в разделе "Диагностика сайта" - появилась потому, что Яндекс.Метрика становится всё более важным источником данных для Поиска. Если посетители решают на вашем сайте свои задачи, согласитесь, будет здорово, если наши алгоритмы об этом узнают.

3. Подпишитесь на дайджест - еженедельное письмо о том, что происходило с сайтом. Подписка настраивается в колонке "Еженедельная сводка по сайту" в том же разделе "Настройка уведомлений". Дайджест не сообщит о проблемах мгновенно, но даст общую картину: вы узнаете об изменении общего количества страниц в поиске, динамике кликов и показов, решении критичных и фатальных проблем, если такие были.

Не забудьте, пожалуйста, что для получения писем по электронной почте нужно обязательно указать её адрес в поле "Адрес для почтовых уведомлений".

Даже если вы контрол-фрик вебмастер с повышенным уровнем ответственности, не забывайте, что отдыхать все-таки надо. Делегируйте права на сайт кому-то из коллег, чтобы они могли сменить вас на посту. Линия на графике кликов пошла вниз, а в блоке "Обновления поиска" нарисовался длинный синий столбик ниже нуля? - Дело плохо: из поиска выпали важные страницы, которые хорошо находились по запросам и привлекали пользователей. Скорее ищите причину исключения страниц внутри раздела "Страницы в поиске", а когда устраните её - отправляйте страницы на переобход. На графике обхода появились ошибки 5xx? - Будите специалистов хостинга, пусть разберутся, что не так с доступностью сервера.

А вообще, не забывайте, что Новый Год - это время чудес и радости, поэтому, как я уже писал выше, позвольте себе расслабиться и отдохнуть ;) А я хочу пожелать вам в Новом Году роста конверсии и посещаемости, быстрой индексации, побольше пользователей и общего процветания проектам!

P.S. Не забудьте про нашу новогоднюю традицию: опрос о нашей работе по итогам года ;)

Ваш Платон.

4 комментария
Яндекс.Вебмастер,на заметку
Наша новогодняя традиция: опрос Яндекса для владельцев сайтов и вебмастеров
21 декабря 2017, 13:27

У нас есть новогодняя традиция: за несколько дней до праздника мы спрашиваем вебмастеров и владельцев сайтов, как им работалось в уходящем году с сервисами Яндекса. Как поживают ваши проекты? Как себя вел Вебмастер — хорошо или не очень? С чем он вам помог, а с чем нет?

Опрос небольшой и займёт всего минут десять. Вот он:

Если вы уже заполняли анкету год назад (спасибо!) — пожалуйста, сделайте это снова. В этом году мы многое поменяли — и нам важно оценить результат. 
Если вас что-то смутило, или, наоборот, понравилось, обязательно напишите нам об этом!

Команда Поиска

Нет комментариев
Дубли: как их избежать. Вопросы и ответы.
5 декабря 2017, 14:08

В советах интернет-магазинам я уже затрагивал страницы товаров с похожим или идентичным контентом. Сегодня расскажу о том, как избежать признания страниц дублирующими, и отвечу на популярные вопросы по этой теме.

Что называем дублями?

Страницы, текстовое содержимое которых полностью или практически совпадает.

Популярные примеры это страницы с GET-параметрами и метками (UTM и др.) в url, а также страницы в разных разделах сайта с отличающимся только url. Наличие таковых не приносит пользы и может негативно сказаться на разных этапах взаимодействия с поисковой системой:

  • До момента определения страниц дублями они могут конкурировать между собой в результатах поиска по запросам и пользователь после перехода на сайт может оказаться не на целевой для него странице.
  • Когда индексирующий робот определит дубли, в поиске останется только одна страница-дубль, которая будет выбрана автоматически. А так как робот может пересматривать свой выбор, то страница в поиске может меняться.
  • На обход дублей роботу требуется время, из-за чего обход нужных страниц сайта может занимать больше времени.

Чтобы избавиться от дублей и последствий их появления, мы рекомендуем настраивать у них атрибут rel="canonical", указывая основной адрес, либо использовать редирект 301 на нужные страницы - это укажет роботу на то, какая из страниц должна быть в поиске.

Случается, что робот признаёт дублями разные, казалось бы по внешнему виду, страницы. А присутствие в поиске каждой могло быть полезно сайту и пользователю, который осуществляет поиск. Единственно правильное решение это сделать их значительно отличающимися:

  • добавить разное текстовое содержимое;
  • добавить UGC в виде возможности пользователям оставлять комментарии, рецензии и т.п.;
  • не лучший, но действующий метод - использование тега noindex: "шаблон" сайта содержит на страницах большое количество текста, который совпадает на всех страницах, что может частично повлиять на признание страниц дублями. В такой ситуации возможно использовать тег noindex, запретив к индексированию совпадающий текст: меню навигации, "подвал" сайта и т.п., то есть всё то, что робот видит в качестве идентичного текста.

Рубрика Вопрос/Ответ

В. У страниц почти одинаковый адрес, не посчитает ли их робот дублирующими?
О. Нет, сравнивается непосредственно содержимое самих страниц и адрес не играет роли.

В. У меня фото разное на страницах, а текст одинаковый, будут дубли?
О. Да, такие страницы будут признаны дублирующими. Чтобы страницы индексировались отдельно друг от друга, необходимы отличия в текстовом содержимом.

В. Совершенно разные по содержимому и тексту страницы признаются дублями одной страницы и исключаются из поиска, почему?
О. Такая ситуация, как правило, связана с тем, что страницы в какой-то момент отдавали сообщение об ошибке. Проверить это можно при помощи оператора [url:] в результатах поиска. Найдите с его помощью страницу-дубль, включенную в поиск: в описании страницы будет отображаться то сообщение, которое получал наш робот, когда посещал страницы. Проверьте сохраненную копию страницы: в ней тоже мог сохраниться контент, получаемый роботом. Используя инструмент "Проверка ответа сервера" посмотрите, какое содержимое страницы отдают сейчас. Если страницы отдают разное содержимое, то они смогут вернуться в поиск после их повторного индексирования. Ускорить этот процесс поможет инструмент переобхода в Яндекс.Вебмастере.
Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, мы рекомендуем настраивать со страниц HTTP-код ответа 503.

В. Со страниц-дублей установлен редирект на нужные страницы, но в поиске все равно участвуют неправильные страницы.
О. Убедитесь, что на страницах установлен постоянный редирект 301. В случае временного редиректа 302 или использования мета-тега refresh в поиске может участвовать страница по наиболее короткому адресу. Если установлен постоянный редирект, возможно, что робот еще не успел повторно проиндексировать страницу: с помощью инструмента "Проверка статуса URL" Вы можете проверить, какая версия страницы участвует в поиске и ее статус. Ускорить переобход страниц с редиректом также поможет "Переобход страниц" - в течение одной-двух недель они выпадут из поиска.

В. Можно ли использовать директиву Disallow в robots.txt для запрета индексирования дублей?
О. Да, такой запрет можно использовать, однако при использовании директивы Disallow передать какие-либо показатели запрещенных страниц не получится, поэтому мы рекомендуем использовать атрибут тега <link> rel="canonical", либо редирект. Для страниц с GET-параметрами можно использовать директиву Clean-param.

В. На страницы товаров больше нечего добавить: они, к примеру, отличаются только фото, но цена и описание одинаковые.
О. Возможно, стоит пересмотреть структуру сайта: такие страницы, кажется, не смогут находиться по релевантным запросам, поэтому часто их стоит объединить в одну страницу и использовать её в качестве посадочной страницы по группе запросов.

24 комментария
полезное от Платона,на заметку
Поговорим о главной
7 ноября 2017, 16:15

Нам часто пишут с вопросами о пункте Диагностики Яндекс.Вебмастера "Главная страница сайта недоступна":

  • почему главная страница открывается, а Вебмастер сообщает об ошибке?
  •  почему раньше страница была доступна, а сейчас нет?
  • что нужно проверять в первую очередь при получении предупреждения?

Прямо сейчас такое предупреждение отображается для более 100 тысяч сайтов, добавленных в сервис. Важно разобраться в проблеме, поскольку с главной страницы робот начинает обход нового ресурса, формирует структуру сайта, зачастую использует её в качестве наиболее релевантной страницы по навигационным запросам. Предупреждение может помочь избежать проблем во всём перечисленном.

Используя в Яндекс.Вебмастере инструмент "Проверка статуса URL", можно узнать больше подробностей о странице, которая хранится сейчас в поисковой базе и попробовать разобраться самостоятельно.

Как разобраться? 
В разделе "Статистика обхода" можно посмотреть, какой именно код ответа отдавала страница на запросы робота:

В графе "Стало" отображается код, который получил робот при посещении страницы. 
Если код ответа отличается от 200 ОК, то рекомендую убедиться в актуальности проблемы при помощи инструмента "Проверка ответа сервера". В этом же инструменте обратите внимание на отдаваемое страницей содержимое: возможна ситуация, при которой страница отвечает кодом 200 ОК и не может индексироваться. Например, если страница будет содержать в HTTP-ответе заголовок "Content-length: 0", то робот не сможет проиндексировать такую страницу. При проверке ответа вместо содержимого будет отображаться сообщение "Содержимое страницы отсутствует":

Если страница доступна и проверка показывает, что страница отвечает 200 ОК, то проверьте её исходный код: существует вероятность, что страница запрещена при помощи мета-тега noindex.

Если в результате проверки страница отвечает кодом 200 ОК и проблем с доступностью контента нет, то предупреждение в Вебмастере пропадет в течение нескольких дней и можно считать, что с проблемой справились ;)

10 комментариев
на заметку,полезное от Платона
Яндекс.Вебмастер оповестит о неработающем счётчике Метрики
8 сентября 2017, 09:41

Подробнее - в нашем блоге для вебмастеров.

Нет комментариев
Новый алгоритм Поиска - "Королёв"
23 августа 2017, 10:42

Вчера запустили новую версию поиска, основанную на алгоритме "Королёв". Подробнее - здесь. 

2 комментария
Деликатный переезд на https или о чем еще стоит знать.
20 марта 2017, 14:21

В одном из моих прошлых постов я уже поднимал тему деликатного переезда на протокол https. Сегодня я постараюсь ответить на частые вопросы, которые возникают при переезде.

1. Нужно ли переходить на HTTPS? Поможет ли это улучшить позиции?

В поисковой системе Яндекс сайты по протоколу HTTP/HTTPS индексируются и участвуют в поиске на равных условиях. Принимая решение о подключении SSL-сертификата, ориентироваться стоит на безопасность пользователей. Например, в случаях, если на сайте можно совершать покупки или другие операции с финансами.

2. Планируете ли вы помечать все сайты по протоколу HTTP как небезопасные?

Таких планов в настоящий момент нет.

3. Мой сайт сразу работает по протоколу HTTPS. Нужно ли сначала добавить его по HTTP и дождаться индексирования?

Нет, этого делать не обязательно. Вы можете сразу добавить его в Яндекс.Вебмастер по адресу с HTTPS.

4. Стоит ли ждать, пока сайт HTTPS проиндексируется перед тем, как начинать переезд?

Нет, переезд можно начинать в любой момент.

5. Есть ли разница между 301-м и 302-м редиректом при переезде?

Нет, и в том, и в другом случае переезд будет совершен в обычном режиме.

6. Нужно ли добавлять файл sitemap для HTTPS-сайта?

Да. Для сайта по протоколу HTTPS лучше создать свой файл sitemap и указать в нем ссылки на страницы по протоколу HTTPS. Сделать это можно сразу после начала переезда.

7. Мы захотели подключить SSL-сертификат, добавили https://site.ru в Яндекс.Вебмастер, а выясняется, что он уже неглавное зеркало сайта с HTTP. Нужно ли расклеивать их для смены главного зеркала?

Расклеивать сайты не нужно, вы можете просто сменить главное зеркало в данной группе. Процесс в целом ничем не отличается от склейки, только в этом случае я особенно не рекомендую использовать редирект для переезда: получится, что главное зеркало недоступно из-за редиректа, а цель редиректа - это неглавное зеркало и в поиск попасть не сможет. В результате в поиск страницы не смогут попасть совсем. В такой ситуации устанавливайте директиву "Host: https://site.ru", используйте "Переезд сайта", адрес в поиске будет изменён в течение нескольких недель. УСТАРЕЛО! О том, как сейчас - здесь и здесь .

8. Выполнили переезд, настроили редирект, а теперь в Яндекс.Вебмастере для сайта с HTTP висит предупреждение, что robots.txt недоступен. Что делать?

Это связано с установленным Вами редиректом. Файл site.ru/robots.txt редиректит на https://site.ru/robots.txt и поэтому недоступен. В этом случае можно либо снять редирект только с файла robots.txt, либо игнорировать данное сообщение. На обход главного зеркала с HTTPS это никак не повлияет.

9. Завершили переезд на HTTPS, но в Яндекс.Вебмастере висит предупреждение о противоречивой директиве Host.
Если главное зеркало - сайт с HTTPS, протокол в директиве Host также необходимо указать: "Host: https://site.ru" УСТАРЕЛО!

10. Как узнать, что переезд завершился?

В разделе "Уведомления" Яндекс.Вебмастера вы увидите сообщение о том, что для сайта site.ru изменилось главное зеркало и теперь главным зеркалом признан домен https://site.ru . В разделе "Мои сайты" сервиса сайты начнут отображаться как "связанные":

Главное зеркало будет располагаться в самом верху группы. Инструмент "Переезд сайта" для неглавного зеркала сменится на инструмент "Отклейка зеркал".

11. Сайты склеились, а Внешние ссылки и Оригинальные тексты не перенеслись, что делать?

Показатели старого сайта с HTTP, включая ссылки и оригинальные тексты, учитываются для нового главного зеркала. При этом отображаться они будут в панели Яндекс.Вебмастера именно для того сайта, для которого были добавлены.

12. Нужно ли удалять старый сайт из Яндекс.Вебмастера?

Удалять старый сайт необязательно. Вы можете оставить его, чтобы проверять информацию о внешних ссылках (см. пункт выше) и другие статистики неглавного зеркала. По желанию, его можно и удалить из сервиса, на индексирование главного зеркала это никак не повлияет.

182 комментария
https,поиск,переезд на новый домен,зеркала
Новый раздел Вебмастера — сводка данных о представлении сайта в поиске и индексе
11 января 2017, 11:43

В Вебмастере появился дашборд со всеми основными параметрами сайта. Подробнее - в блоге для вебмастеров.

6 комментариев
Как прошел 2016 год в службе поддержки вебмастеров
29 декабря 2016, 14:56

Вот это был год! Мы полностью перешли на новую версию Яндекс.Вебмастера, добавили и доработали множество инструментов, например страницы в поиске, переобход страниц, статистика поисковых запросов, провели две Вебмастерские, - и это только самое яркое!
За это время служба поддержки ответила на более чем 200 000 вопросов вебмастеров.

Вы искали – мы отвечали

Больше всего вопросов в службу поддержки Яндекс.Вебмастера вызывала тема нарушений. На них пришлось 20% писем. Так как вопрос животрепещущий, мы приложили много усилий, чтобы в этом году в сервисе Вебмастер появилась информация о большинстве нарушений и возможность сообщить об исправлениях. Искренне желаем всем вебмастерам в новом году не сталкиваться с подобными проблемами, однако если что - вы знаете, где теперь быстро и легко получить информацию ;)

Второе место поделили вопросы, касающиеся обхода сайтов и непосредственного ранжирования документов. Часть из них вызвана ошибками на стороне серверов, где размещаются сайты, где-то встречались ошибки в поисковой оптимизации со стороны вебмастеров, но также мы нашли и на своей стороне моменты, которые стоит улучшить. Большое спасибо всем, кто сообщал нам о замеченных странностях в работе поиска или робота!

Десятую часть от всех писем составили теоретические вопросы: как настроить индексирование, как улучшить ранжирование, на что обращать внимание при переезде сайта, как правильно склеить зеркала. Немало спрашивали про создание сайтов, о корректном использовании тех или иных механизмов продвижения и развития сайтов, но которые не связаны с ошибками.

И еще столько же обращений касаются непосредственно сервиса Яндекс.Вебмастер - вопросы про интерфейс сервиса, про работу инструментов, пожелания, возможные баги. Предложениям и ошибкам уделяется особое внимание.

Вопросы про мобильные версии сайтов и мобильное ранжирование занимают всего лишь 1%, однако эта тема с каждым месяцем становится все более актуальной для вебмастеров, поэтому число писем по мобильному поиску неуклонно растет.

Работа над ошибками

Мы постоянно стремимся к чему-то хорошему, но без вас наши усилия не принесли бы должного эффекта. Так, вы можете первыми просигнализировать о той или иной проблеме, сообщить о некорректной работе инструмента в Вебмастере или указать на ошибку на странице Помощи. Служба поддержки детально анализирует и формулирует такие письма в баг-репорты, а затем максимально быстро передает их менеджерам и разработчикам для исправления ситуации. За этот год от пользователей поступило порядка 650 баг-репортов, 550 из которых уже решены. Поэтому, если вы замечаете в работе наших сервисов или инструментов что-то неладное, пишите нам.

Многие ваши пожелания находят свое применение и становятся частью сервиса, спасибо вам за это! Внедрить тот или иной опционал не всегда просто технически, однако за этот год мы реализовали около двух десятков ваших предложений. Например, по вашим просьбам мы добавили возможность выгружать данные о поисковых запросах в Вебмастере. Если у вас возникают идеи или пожелания по сервису Яндекс.Вебмастер, можно воспользоваться формой обратной связи - вдруг мы ещё не знаем о них! :)

Обратная связь какая она есть

Случается, мы видим среди писем и замечания по работе формы обратной связи о том, что она очень сложна и в ней трудно отыскать окно для сообщения. Перед формой для обращения, как правило, размещены тексты первой помощи или шаги решения распространенных проблем. Делается это вовсе не для того, чтобы запутать вас, а с целью как можно скорее проинформировать и помочь найти ответ на вопрос. Ведь для многих пользователей найти решение на страницах обратной связи продуктивнее, чем получить этот же ответ, но в течение ближайших суток. Также мы стараемся добавлять на страницы подсказки, полезные ссылки, для того, чтобы вы могли быстрее попасть в нужную тему формы обратной связи или на более полезную для вас страницу.

Безусловно, если вам что-то не понятно, или что-то очень не нравится в нашем фидбеке или в сервисе, всегда можно сказать об этом, желания имеют свойство сбываться! :)

Мы стремимся анализировать полезность Помощи и форм обратной связи и стараемся понимать, насколько они информативны, основываясь на оценках, которые вы даете. Вы наверняка уже заметили, что многие страницы сервиса можно оценить, дав либо высокий балл, либо указать, по каким причинам информация на них вам не понравилась. Например, как на этой странице. Это дает нам хороший сигнал, что на ней нужно доработать, или что она отвечает на вопросы пользователей. Например, так выглядит разброс голосов пользователей при оценке страниц формы обратной связи Вебмастера:

Возможность голосования мы внедрили только летом, но уже получили достаточно данных, чтобы сформировать несколько десятков задач на улучшение отдельных рекомендаций на страницах Помощи.

И о самом главном!

В заключение хотелось бы поблагодарить вас за ваши письма, пожелания и замечания - так вы помогаете делать наши сервисы лучше и удобнее. Ставьте оценки, высказывайте свое мнение, делитесь полезной информацией, пользуйтесь Вебмастером и другими нашими сервисами, открывайте новые горизонты и добивайтесь невероятных успехов! Удачи и исполнения желаний в новом году! Больше трафика вашему сайту! Спасибо, что вы с нами!

10 комментариев
итоги года,служба поддержки,обратная связь
Знание - сила. Что стоит знать, чтобы быстро исправить проблемы с безопасностью сайта.
26 декабря 2016, 14:41

Наверняка многие из вас сталкивались с ситуацией, когда при переходе на сайт из поиска возникает предупреждение, что сайт может быть небезопасен:

Такое предупреждение выдается специальной системой поиска опасных сайтов, которая работает в Яндексе. Сайт может посчитаться небезопасным из-за наличия вредоносного кода непосредственно на его страницах, а также при обнаружении вредоносной активности, например, перенаправления (редиректа) на вредоносный ресурс, подгрузке опасного url и т.д. Поскольку большинство пользователей, видя предупреждение, предпочитают не переходить на подобный ресурс, его посещаемость сильно падает. Этому способствует и то, что опасный сайт понижается или вовсе исключается из поисковой выдачи.

Никто бы не хотел, чтобы подобное случилось с его собственным сайтом. Но если это все же произошло, то можно обратиться к специальному разделу нашей Помощи, где подробно описаны шаги, которые помогут найти и исправить проблему.

В этом посте мы рассмотрим часто встречающиеся ситуации, проблемы и вопросы.

Не получается найти вредоносный код

"В разделе "Безопасность и нарушения" сервиса Яндекс.Вебмастер в качестве примера указана несуществующая страница, например, site.com/123. Это же какая-то ошибка!"

Некоторые веб-серверы конфигурируются так, чтобы на запрос несуществующей страницы в ответ возвращать ошибку с кодом 404 и нестандартную страницу-заглушку, которая формируется, например, специальным шаблоном CMS. Вредоносный код может быть добавлен именно в этот шаблон. Страница, генерирующаяся для ошибки 404, - это такая же страница, как остальные, просто она формируется другим шаблоном.

Для исправления проблемы нужно проверить на наличие вредоносного кода шаблоны, хранящиеся на сервере.

"С сайтом долгое время не проводилось никаких действий, дата последнего изменения файлов - год назад. Вирусов не может быть!"

Злоумышленники, чтобы не оставлять следов взлома, часто сохраняют дату последнего редактирования такой, какой она была до добавления вредоносного кода.

Стоит проверять в первую очередь те файлы, которые были изменены недавно, но проверить нужно все файлы.

"Указанного в качестве примера вредоносного кода или подобного ему нет. Система ошиблась!"

Часто вредоносный код динамически вставляется в HTTP-ответ сервера и может присутствовать (быть "виден") только при определенных условиях, например:

  • при переходе на сайт из поисковой системы (для этого серверный вредоносный код проверяет, откуда пользователь перешел на сайт, используя реферер);
  • при первом посещении сайта пользователем (например, по наличию куки пользователя или запоминанию его IP-адреса);
  • при использовании мобильного или, наоборот, настольного компьютера (по заголовку user-agent в запросе);
  • когда IP-адрес принадлежит определенному региону;
  • когда это не администратор сайта (например, проверяя, входит ли IP-адрес посетителя в тот же диапазон IP-адресов, что и сервер, на котором работает сайт).

Поэтому, если вредоносный код на страницах не виден, нужно использовать приватный режим просмотра в браузере и обращение через внешний прокси-сервер. Кроме этого может помочь проверка кода страниц сайта несколько раз в разное время и на различных устройствах.

"Почему вы не предоставляете серверный код?"

Наша система не проверяет файлы, хранящиеся на вашем сервере, - она не имеет к ним доступа. Она проверяет только страницы (их код, поведение), которые возвращает сервер и которые доступны всем. Поэтому все примеры вредоносного кода, которые может предоставить система, берутся не из файлов на сервере, а из исходного кода страниц, которые сервер формирует и возвращает.

"Другие сервисы и поисковые системы ничего опасного не находят. Значит, мой сайт чист!"

Ни одна поисковая система или сервис не в состоянии проверить все страницы в интернете, проверять их моментально. Кроме того, разные системы умеют находить разные виды угроз.

Яндекс использует собственную систему проверки, которая постоянно обновляется, чтобы обнаруживать новые виды угроз и делать это как можно быстрее. Отсутствие предупреждения в других поисковых системах, сервисах, браузерах не означает, что сайт безопасен. Вероятнее всего, другие системы или не умеют находить данный вид угрозы, или еще не перепроверили страницы сайта.

Ошибки в других сервисах и продуктах

Иногда вебмастера обращаются к нам с просьбой помочь найти на сайте вредоносный код, который был обнаружен сторонним сервисом или продуктом, например, антивирусом. В подобных случаях нам сложно сказать, на что именно среагировала чужая система. Мы советуем как можно быстрее обратиться службу данного продукта.

Ошибки браузера при проверке SSL-сертификата сайта

Наша система проверки сайтов не проверяет валидность SSL-сертификата сайта и корректность работы сайта по протоколу HTTPS. Проблемы, о которых сообщает наша система, никак не связаны с возможными проблемами настройки сертификатов. Поэтому мы не даём рекомендации по настройке сертификатов и HTTPS, по данным вопросам лучше всего обратиться к хостинг-провайдеру.

Но мы крайне рекомендуем пользоваться защищенным протоколом HTTPS, чтобы защитить информацию от перехвата и изменения злоумышленниками. А так же серьезно отнестись к ошибкам проверки сертификата сайта - они могут свидетельствовать о попытках получения доступа и модификации данных, которые передаются между сервисом и пользователем.

Необходимые действия предприняты, но сайт все равно считается опасным

"Я удалил опасную страницу, которая указана в качестве примера. Почему сайт не проходит проверку?"

Это одна из наиболее часто встречающихся проблем. Как мы уже писали выше, угроза может проявляться только в определенный период времени, на конкретных страницах, при обращении с определенных адресов, при использовании нужного злоумышленникам типа устройства. Удаление страниц, которые указаны в Яндекс.Вебмастере, не гарантирует, что с сайтом все хорошо - опасность может присутствовать и на других страницах, может быть связана с изменением конфигурации сервера или CMS. Новый пример страницы может появиться лишь после следующей проверки, на что может уйти несколько дней. Кроме того, не каждый метод проверки позволяет предоставить Вебмастеру пример с проблемой.

"Я закрыл доступ к страницам. Причин предупреждать об опасности при переходе на сайт нет, уберите предупреждение"

Для того, чтобы проблемные страницы успешно перепроверились, нужно, чтобы сервер при обращении к ним отдавал результат с кодами 2xx, 3xx или 4xx. В случае, если при проверке система обнаруживает ошибки 5xx, то она делает вывод о проблемах сервера и необходимости проверить страницы через некоторое время. Вывод о том, что проблема исправлена система сделать не может - сервер может в любой момент начать отвечать тем же самым вредоносным контентом.

"Я ограничил доступ к своему сайту для определенной группы пользователей или настроил защиту от DDos атак после выявления вредоносного кода. Почему в Яндекс.Вебмастере появилось уведомление "Перепроверка Вашего сайта не удалась"?

Мы не рекомендуем ограничивать доступ к своему сайту после выявления вредоносного кода. В этом случае система Яндекса может не получить доступ к страницам, где ранее был обнаружен вредоносный код, следовательно, перепроверка может произойти с ошибкой. То, как представляется наша система поиска опасных сайтов, указано на странице нашей Помощи .

"Я закрыл индексирование зараженных страниц сайта в файле robots.txt, почему все равно пометка не снимается"

Сайты на опасность проверяются вне зависимости от настроек robots.txt . Исполнение директив этого файла предоставило бы злоумышленникам очень простую возможность защититься от обнаружения вредоносного кода. Кроме того, система проверки сайтов обнаруживает, насколько опасен может быть сайт для реальных пользователей, а их браузеры этот файл не используют.

При этом, чтобы не создавать чрезмерной нагрузки на сайты, наша система проверяет страницы сайтов выборочно.

"Мой сайт сломался совсем, снимите предупреждение"

Удивительно, но некоторых вебмастеров волнует предупреждение о сайте, который неработоспособен. Если сайт полезен, то гораздо важнее исправить все проблемы с ним (в том числе, о которых сообщила наша система) и тогда по результатам успешной проверки предупреждение будет убрано.

Если сайт будет неработоспособен значительное время, то в конце концов он будет признан окончательно переставшим существовать и предупреждение тоже будет убрано. Длительная перепроверка в данном случае требуется, чтобы избежать ситуации, когда сайт с неисправленной проблемой безопасности начнет опять работать.

Как предупреждение об опасности сайта отразится на его позициях в будущем

Информация о том, что сайт опасен, учитывается алгоритмами ранжирования, т.е. такой сайт может понижаться в результатах поиска . Однако подобные ограничения автоматически снимаются сразу же после проверки, которая показывает, что больше проблемы нет, вместе со снятием предупреждения в поиске и получения уведомления в сервисе Яндекс.Вебмастер.

При этом мы не можем гарантировать возвращение страниц сайта на прежние позиции, поскольку это зависят от многих факторов, которые могли измениться за то время, пока сайт был опасен. Но само по себе краткосрочное наличие вредоносного кода на сайте никак не повлияет на его ранжирование в будущем.

В то же время, если вредоносный код присутствует на сайте, то он становится менее привлекательным для пользователей, а количество его посетителей значительно сокращается. Если такая проблема остается неисправленной длительное время, позиции сайта могут снизиться по естественным причинам даже после удаления предупреждения.

Надеюсь,  ответы на данные вопросы помогли прояснить то, как работает наша система проверки сайтов на опасность, а также помогут в решении практических проблем.

2 комментария
вебмастер,безопасность,на заметку
Опрос вебмастеров о продуктах Яндекса
22 декабря 2016, 14:34

За этот год команда нашего Поиска проделала большую работу: запустила алгоритм Палех, открыла новый Вебмастер с новыми инструментами, много рассказывала о своих технологиях, отвечала на вопросы в саппорте.

Нам важно понять, как у нас получилось провести этот год, куда двигаться дальше, и выяснить, какие проблемы стоят перед нашей аудиторией, поэтому пожалуйста, потратьте десять минут своего времени, чтобы пройти этот опрос .

Нет комментариев