Также трансляция доступна здесь

Подробнее  - в блоге для вебмастеров.

За этот год команда нашего Поиска проделала большую работу: запустила алгоритм Палех, открыла новый Вебмастер с новыми инструментами, много рассказывала о своих технологиях, отвечала на вопросы в саппорте.

Нам важно понять, как у нас получилось провести этот год, куда двигаться дальше, и выяснить, какие проблемы стоят перед нашей аудиторией, поэтому пожалуйста, потратьте десять минут своего времени, чтобы пройти этот опрос .

Наверняка многие из вас сталкивались с ситуацией, когда при переходе на сайт из поиска возникает предупреждение, что сайт может быть небезопасен:

Такое предупреждение выдается специальной системой поиска опасных сайтов, которая работает в Яндексе. Сайт может посчитаться небезопасным из-за наличия вредоносного кода непосредственно на его страницах, а также при обнаружении вредоносной активности, например, перенаправления (редиректа) на вредоносный ресурс, подгрузке опасного url и т.д. Поскольку большинство пользователей, видя предупреждение, предпочитают не переходить на подобный ресурс, его посещаемость сильно падает. Этому способствует и то, что опасный сайт понижается или вовсе исключается из поисковой выдачи.

Никто бы не хотел, чтобы подобное случилось с его собственным сайтом. Но если это все же произошло, то можно обратиться к специальному разделу нашей Помощи, где подробно описаны шаги, которые помогут найти и исправить проблему.

В этом посте мы рассмотрим часто встречающиеся ситуации, проблемы и вопросы.

Не получается найти вредоносный код

"В разделе "Безопасность и нарушения" сервиса Яндекс.Вебмастер в качестве примера указана несуществующая страница, например, site.com/123. Это же какая-то ошибка!"

Некоторые веб-серверы конфигурируются так, чтобы на запрос несуществующей страницы в ответ возвращать ошибку с кодом 404 и нестандартную страницу-заглушку, которая формируется, например, специальным шаблоном CMS. Вредоносный код может быть добавлен именно в этот шаблон. Страница, генерирующаяся для ошибки 404, - это такая же страница, как остальные, просто она формируется другим шаблоном.

Для исправления проблемы нужно проверить на наличие вредоносного кода шаблоны, хранящиеся на сервере.

"С сайтом долгое время не проводилось никаких действий, дата последнего изменения файлов - год назад. Вирусов не может быть!"

Злоумышленники, чтобы не оставлять следов взлома, часто сохраняют дату последнего редактирования такой, какой она была до добавления вредоносного кода.

Стоит проверять в первую очередь те файлы, которые были изменены недавно, но проверить нужно все файлы.

"Указанного в качестве примера вредоносного кода или подобного ему нет. Система ошиблась!"

Часто вредоносный код динамически вставляется в HTTP-ответ сервера и может присутствовать (быть "виден") только при определенных условиях, например:

• при переходе на сайт из поисковой системы (для этого серверный вредоносный код проверяет, откуда пользователь перешел на сайт, используя реферер);
• при первом посещении сайта пользователем (например, по наличию куки пользователя или запоминанию его IP-адреса);
• при использовании мобильного или, наоборот, настольного компьютера (по заголовку user-agent в запросе);
• когда IP-адрес принадлежит определенному региону;
• когда это не администратор сайта (например, проверяя, входит ли IP-адрес посетителя в тот же диапазон IP-адресов, что и сервер, на котором работает сайт).

Поэтому, если вредоносный код на страницах не виден, нужно использовать приватный режим просмотра в браузере и обращение через внешний прокси-сервер. Кроме этого может помочь проверка кода страниц сайта несколько раз в разное время и на различных устройствах.

"Почему вы не предоставляете серверный код?"

Наша система не проверяет файлы, хранящиеся на вашем сервере, - она не имеет к ним доступа. Она проверяет только страницы (их код, поведение), которые возвращает сервер и которые доступны всем. Поэтому все примеры вредоносного кода, которые может предоставить система, берутся не из файлов на сервере, а из исходного кода страниц, которые сервер формирует и возвращает.

"Другие сервисы и поисковые системы ничего опасного не находят. Значит, мой сайт чист!"

Ни одна поисковая система или сервис не в состоянии проверить все страницы в интернете, проверять их моментально. Кроме того, разные системы умеют находить разные виды угроз.

Яндекс использует собственную систему проверки, которая постоянно обновляется, чтобы обнаруживать новые виды угроз и делать это как можно быстрее. Отсутствие предупреждения в других поисковых системах, сервисах, браузерах не означает, что сайт безопасен. Вероятнее всего, другие системы или не умеют находить данный вид угрозы, или еще не перепроверили страницы сайта.

Ошибки в других сервисах и продуктах

Иногда вебмастера обращаются к нам с просьбой помочь найти на сайте вредоносный код, который был обнаружен сторонним сервисом или продуктом, например, антивирусом. В подобных случаях нам сложно сказать, на что именно среагировала чужая система. Мы советуем как можно быстрее обратиться службу данного продукта.

Ошибки браузера при проверке SSL-сертификата сайта

Наша система проверки сайтов не проверяет валидность SSL-сертификата сайта и корректность работы сайта по протоколу HTTPS. Проблемы, о которых сообщает наша система, никак не связаны с возможными проблемами настройки сертификатов. Поэтому мы не даём рекомендации по настройке сертификатов и HTTPS, по данным вопросам лучше всего обратиться к хостинг-провайдеру.

Но мы крайне рекомендуем пользоваться защищенным протоколом HTTPS, чтобы защитить информацию от перехвата и изменения злоумышленниками. А так же серьезно отнестись к ошибкам проверки сертификата сайта - они могут свидетельствовать о попытках получения доступа и модификации данных, которые передаются между сервисом и пользователем.

Необходимые действия предприняты, но сайт все равно считается опасным

"Я удалил опасную страницу, которая указана в качестве примера. Почему сайт не проходит проверку?"

Это одна из наиболее часто встречающихся проблем. Как мы уже писали выше, угроза может проявляться только в определенный период времени, на конкретных страницах, при обращении с определенных адресов, при использовании нужного злоумышленникам типа устройства. Удаление страниц, которые указаны в Яндекс.Вебмастере, не гарантирует, что с сайтом все хорошо - опасность может присутствовать и на других страницах, может быть связана с изменением конфигурации сервера или CMS. Новый пример страницы может появиться лишь после следующей проверки, на что может уйти несколько дней. Кроме того, не каждый метод проверки позволяет предоставить Вебмастеру пример с проблемой.

"Я закрыл доступ к страницам. Причин предупреждать об опасности при переходе на сайт нет, уберите предупреждение"

Для того, чтобы проблемные страницы успешно перепроверились, нужно, чтобы сервер при обращении к ним отдавал результат с кодами 2xx, 3xx или 4xx. В случае, если при проверке система обнаруживает ошибки 5xx, то она делает вывод о проблемах сервера и необходимости проверить страницы через некоторое время. Вывод о том, что проблема исправлена система сделать не может - сервер может в любой момент начать отвечать тем же самым вредоносным контентом.

"Я ограничил доступ к своему сайту для определенной группы пользователей или настроил защиту от DDos атак после выявления вредоносного кода. Почему в Яндекс.Вебмастере появилось уведомление "Перепроверка Вашего сайта не удалась"?

Мы не рекомендуем ограничивать доступ к своему сайту после выявления вредоносного кода. В этом случае система Яндекса может не получить доступ к страницам, где ранее был обнаружен вредоносный код, следовательно, перепроверка может произойти с ошибкой. То, как представляется наша система поиска опасных сайтов, указано на странице нашей Помощи .

"Я закрыл индексирование зараженных страниц сайта в файле robots.txt, почему все равно пометка не снимается"

Сайты на опасность проверяются вне зависимости от настроек robots.txt . Исполнение директив этого файла предоставило бы злоумышленникам очень простую возможность защититься от обнаружения вредоносного кода. Кроме того, система проверки сайтов обнаруживает, насколько опасен может быть сайт для реальных пользователей, а их браузеры этот файл не используют.

При этом, чтобы не создавать чрезмерной нагрузки на сайты, наша система проверяет страницы сайтов выборочно.

"Мой сайт сломался совсем, снимите предупреждение"

Удивительно, но некоторых вебмастеров волнует предупреждение о сайте, который неработоспособен. Если сайт полезен, то гораздо важнее исправить все проблемы с ним (в том числе, о которых сообщила наша система) и тогда по результатам успешной проверки предупреждение будет убрано.

Если сайт будет неработоспособен значительное время, то в конце концов он будет признан окончательно переставшим существовать и предупреждение тоже будет убрано. Длительная перепроверка в данном случае требуется, чтобы избежать ситуации, когда сайт с неисправленной проблемой безопасности начнет опять работать.

Как предупреждение об опасности сайта отразится на его позициях в будущем

Информация о том, что сайт опасен, учитывается алгоритмами ранжирования, т.е. такой сайт может понижаться в результатах поиска . Однако подобные ограничения автоматически снимаются сразу же после проверки, которая показывает, что больше проблемы нет, вместе со снятием предупреждения в поиске и получения уведомления в сервисе Яндекс.Вебмастер.

При этом мы не можем гарантировать возвращение страниц сайта на прежние позиции, поскольку это зависят от многих факторов, которые могли измениться за то время, пока сайт был опасен. Но само по себе краткосрочное наличие вредоносного кода на сайте никак не повлияет на его ранжирование в будущем.

В то же время, если вредоносный код присутствует на сайте, то он становится менее привлекательным для пользователей, а количество его посетителей значительно сокращается. Если такая проблема остается неисправленной длительное время, позиции сайта могут снизиться по естественным причинам даже после удаления предупреждения.

Надеюсь,  ответы на данные вопросы помогли прояснить то, как работает наша система проверки сайтов на опасность, а также помогут в решении практических проблем.

Вот это был год! Мы полностью перешли на новую версию Яндекс.Вебмастера, добавили и доработали множество инструментов, например страницы в поиске, переобход страниц, статистика поисковых запросов, провели две Вебмастерские, - и это только самое яркое!
За это время служба поддержки ответила на более чем 200 000 вопросов вебмастеров.

Вы искали – мы отвечали

Больше всего вопросов в службу поддержки Яндекс.Вебмастера вызывала тема нарушений. На них пришлось 20% писем. Так как вопрос животрепещущий, мы приложили много усилий, чтобы в этом году в сервисе Вебмастер появилась информация о большинстве нарушений и возможность сообщить об исправлениях. Искренне желаем всем вебмастерам в новом году не сталкиваться с подобными проблемами, однако если что - вы знаете, где теперь быстро и легко получить информацию ;)

Второе место поделили вопросы, касающиеся обхода сайтов и непосредственного ранжирования документов. Часть из них вызвана ошибками на стороне серверов, где размещаются сайты, где-то встречались ошибки в поисковой оптимизации со стороны вебмастеров, но также мы нашли и на своей стороне моменты, которые стоит улучшить. Большое спасибо всем, кто сообщал нам о замеченных странностях в работе поиска или робота!

Десятую часть от всех писем составили теоретические вопросы: как настроить индексирование, как улучшить ранжирование, на что обращать внимание при переезде сайта, как правильно склеить зеркала. Немало спрашивали про создание сайтов, о корректном использовании тех или иных механизмов продвижения и развития сайтов, но которые не связаны с ошибками.

И еще столько же обращений касаются непосредственно сервиса Яндекс.Вебмастер - вопросы про интерфейс сервиса, про работу инструментов, пожелания, возможные баги. Предложениям и ошибкам уделяется особое внимание.

Вопросы про мобильные версии сайтов и мобильное ранжирование занимают всего лишь 1%, однако эта тема с каждым месяцем становится все более актуальной для вебмастеров, поэтому число писем по мобильному поиску неуклонно растет.

Работа над ошибками

Мы постоянно стремимся к чему-то хорошему, но без вас наши усилия не принесли бы должного эффекта. Так, вы можете первыми просигнализировать о той или иной проблеме, сообщить о некорректной работе инструмента в Вебмастере или указать на ошибку на странице Помощи. Служба поддержки детально анализирует и формулирует такие письма в баг-репорты, а затем максимально быстро передает их менеджерам и разработчикам для исправления ситуации. За этот год от пользователей поступило порядка 650 баг-репортов, 550 из которых уже решены. Поэтому, если вы замечаете в работе наших сервисов или инструментов что-то неладное, пишите нам.

Многие ваши пожелания находят свое применение и становятся частью сервиса, спасибо вам за это! Внедрить тот или иной опционал не всегда просто технически, однако за этот год мы реализовали около двух десятков ваших предложений. Например, по вашим просьбам мы добавили возможность выгружать данные о поисковых запросах в Вебмастере. Если у вас возникают идеи или пожелания по сервису Яндекс.Вебмастер, можно воспользоваться формой обратной связи - вдруг мы ещё не знаем о них! :)

Обратная связь какая она есть

Случается, мы видим среди писем и замечания по работе формы обратной связи о том, что она очень сложна и в ней трудно отыскать окно для сообщения. Перед формой для обращения, как правило, размещены тексты первой помощи или шаги решения распространенных проблем. Делается это вовсе не для того, чтобы запутать вас, а с целью как можно скорее проинформировать и помочь найти ответ на вопрос. Ведь для многих пользователей найти решение на страницах обратной связи продуктивнее, чем получить этот же ответ, но в течение ближайших суток. Также мы стараемся добавлять на страницы подсказки, полезные ссылки, для того, чтобы вы могли быстрее попасть в нужную тему формы обратной связи или на более полезную для вас страницу.

Безусловно, если вам что-то не понятно, или что-то очень не нравится в нашем фидбеке или в сервисе, всегда можно сказать об этом, желания имеют свойство сбываться! :)

Мы стремимся анализировать полезность Помощи и форм обратной связи и стараемся понимать, насколько они информативны, основываясь на оценках, которые вы даете. Вы наверняка уже заметили, что многие страницы сервиса можно оценить, дав либо высокий балл, либо указать, по каким причинам информация на них вам не понравилась. Например, как на этой странице. Это дает нам хороший сигнал, что на ней нужно доработать, или что она отвечает на вопросы пользователей. Например, так выглядит разброс голосов пользователей при оценке страниц формы обратной связи Вебмастера:

Возможность голосования мы внедрили только летом, но уже получили достаточно данных, чтобы сформировать несколько десятков задач на улучшение отдельных рекомендаций на страницах Помощи.

И о самом главном!

В заключение хотелось бы поблагодарить вас за ваши письма, пожелания и замечания - так вы помогаете делать наши сервисы лучше и удобнее. Ставьте оценки, высказывайте свое мнение, делитесь полезной информацией, пользуйтесь Вебмастером и другими нашими сервисами, открывайте новые горизонты и добивайтесь невероятных успехов! Удачи и исполнения желаний в новом году! Больше трафика вашему сайту! Спасибо, что вы с нами!