Блог Яндекса для вебмастеров

август 2011
Статистика популярных запросов в XML-поиске
3 августа 2011, 13:29

Яндекс.XML  — это сервис, который позволяет автоматически задавать Яндексу поисковые запросы и получать его ответы в формате XML. С помощью Яндекс.XML можно организовать поиск по одному сайту, поиск по порталу или создать приложение, использующее возможности поиска.

Сегодня на сервисе Яндекс.XML появилась статистика популярных поисковых запросов.  Все, кто используют XML-поиск,  могут узнать, какие запросы задают пользователи на их сайтах, и проанализировать эти данные. Они находятся в разделе «Популярные запросы».

Для просмотра доступна общая статистика (без ограничения по региону), а также для каждого из шести региональных срезов (Россия, Украина, Беларусь, Казахстан, Москва, Санкт-Петербург).


Михаил Сенин и команда Поиска

11 комментариев
XML-поиск,Поиск для сайта
Очень просто и понятно о том, что такое robots.txt, и для чего он нужен
8 августа 2011, 17:48
25 комментариев
робот,безопасность
Новое в поиске (июль 2011)
8 августа 2011, 18:01

Новости в поиске за предыдущий месяц:

 

 

Команда поиска

4 комментария
новое в поиске
Поиск поможет оригиналам
15 августа 2011, 11:27

Вебмастера часто жалуются на воровство информации с их сайтов. И действительно, хорошие тексты очень быстро расходятся по Сети. За ними охотятся для того, чтобы привлечь трафик на свой сайт.

Мы предлагаем вам принять участие в альфа-тестировании нашего нового инструмента. Перед публикацией на своем сайте текста, который ранее не был размещен в интернете, предупредите Яндекс о скором выходе текста. Мы будем знать, что оригинальный текст впервые появился именно на вашем сайте, и попробуем использовать это в настройке поисковых алгоритмов.

Обратите внимание, что учет вашей заявки в работе поисковых алгоритмов не гарантируется.

Для того чтобы отправить заявку, воспользуйтесь сервисом Яндекс.Вебмастер. В разделе «Содержимое сайта» необходимо подключить раздел «Оригинальные тексты». Рекомендуемый минимальный объем – 500 знаков, максимальный - 32000 знаков.

Пожалуйста, загружайте только оригинальные тексты, которые до сих пор не были опубликованы в интернете.
На время альфа-тестирования данная возможность доступна сайтам с ТИЦ не менее 10.

Ответы на часто задаваемые вопросы


Команда Поиска, оригиналы

83 комментария
Я.Вебмастер
Не все партнерские программы одинаково полезны
17 августа 2011, 22:00
При использовании бирж трафика вебмастер очень часто сам добавляет блок заражённой партнёрской программы на страницы своего сайта. Поэтому основная рекомендация для вебмастеров в данном случае — сначала изучить репутацию сети, и только после этого размещать у себя её блоки.
Введение


Пожалуй, самым нетрудоёмким способом монетизации сайта является размещение на его страницах рекламных баннеров, текстовых объявлений, а также блоков различных партнёрских программ, занимающихся скупкой трафика (при помощи PopUp, BodyClick, Iframe и т. д.).

Часто вебмастеры считают, что вредоносный код не может распространяться через такие блоки, поэтому без размышлений добавляют к себе на страницы код, предоставляемый партнёрскими программами.

Яндекс постоянно выявляет случаи распространения вредоносного ПО через блоки партнёрских программ, причём через блоки некоторых из них – существенно чаще, чем через блоки других. Это может происходить из-за того, что злоумышленники заказывают распространение через партнёрские программы контента, который на самом деле является вредоносным кодом, или из-за взлома злоумышленниками серверов партнёрских программ. Бывает, что злоумышленники зарабатывают таким образом на распространении вредоносного ПО, которым управляют другие злоумышленники (PPI).

В интернете есть несколько компаний, которые регулярно проверяют сайты на наличие в них вредоносного кода. Если становится известно, что сайт распространяет вредоносный код, то браузеры, антивирусы и поисковые системы начинают предупреждать об этом своих пользователей.

Например, Яндекс отображает страницы таких сайтов в результатах поиска с пометкой «Сайт может угрожать безопасности вашего компьютера», а также предупреждает об опасных страницах пользователей в новом Firefox 6.0 с сервисами Яндекса, который можно загрузить с этой страницы.

Таким образом, если установить на страницы сайта блок заражённой партнёрской программы, то вместо прибыли можно получить ощутимое уменьшение трафика, числа клиентов и, возможно, ухудшение репутации сайта и компании в целом.


Сайты, адверты и заражённые биржи трафика


Одним из примеров распространения вредоносного кода через партнёрские программы являются программы, построенные на CMS AdminStation. При помощи этой CMS и её модулей можно организовать биржу по скупке и продаже трафика. Некоторые из этих бирж являются заражёнными и распространяют вредоносный код.
Каждому зарегистрированному в партнёрской программе вебмастеру (адверту) сайта, построенного на данной CMS, выделяется уникальный идентификатор, а также набор блоков кода, которые адверт должен добавить на страницы сайта.
Чаще всего вредоносный код распространяется с URL, выданного адверту для выкупа трафика партнёрской сети. При этом используется теги <iframe> или <script> с атрибутом:
 

src=”http://host/js/if.php?id=”


где:
 

– уникальный идентификатор адверта, автоматически присваиваемый ему при регистрации в партнёрской программе.



Эти теги могут как присутствовать на странице статически, так и динамически добавляться на неё с помощью Document.Write().

Общую схему распространения вредоносного кода можно представить так:





Рис.1 – Заражение сайтов адвертами, разместивших свои блоки вредоносного кода с заражённых бирж трафика


Статистика заражений

Общая статистика заражений по биржам трафика


Яндекс располагает информацией о случаях заражения компьютеров через блоки более чем со 140 бирж трафика, построенных на CMS AdminStation. Но через блоки 11 из них вредоносный код, по нашим данным, распространяется особенно часто:

  • alb-music.ru;
  • code-iframe.co.cc;
  • gold-wm.ru;
  • maroder.info;
  • medianaft.ru;
  • protrafv2.com;
  • royal-traff.ru;
  • traffbiz.ath.cx;
  • traffbiz.net;
  • trfmxk.info;
  • wmip.ru.



Рис.2 – Относительное количество случаев выявления вредоносного кода в блоках бирж трафика

На страницы, которые участвуют в распространении вредоносного кода, блоки с таким кодом устанавливают разные адверты. Для каждой из заражённых бирж трафика в распространении вредоносного кода «лидируют» адверты с различными идентификаторами.


Статистика заражений по адвертам, наиболее активно распространяющим вредоносный код


Ниже приведена статистика пяти «лидирующих» идентификаторов адвертов на каждой из пяти «лидирующих» заражённых бирж трафика (за исключением maroder.info, так как этот хост на момент проверки 28.07.2011 был недоступен).




Рис.3 – Относительное количество случаев выявления вредоносного кода
в блоках бирж трафика, размещённых различными адвертами

Адверт с идентификатором 5 на medianaft.ru пытается распространять вредоносный код чаще всего и практически всегда перенаправляет трафик адверту с идентификатором 9 на royal-traff.ru. Зависимостей между адвертами, которые лидируют в количестве переходов на заражённые биржи трафика traffbiz.net, wmip.ru и gold-wm.ru, замечено не было.


Биржи трафика, переставшие распространять вредоносный код


За прошедший месяц некоторые из бирж трафика, указанных выше, перестали распространять вредоносный код.




Рис.4 – График относительного количества случаев выявления вредоносного кода в блоках бирж трафика,
прекративших распространение вредоносного кода с 22.06.2011 по 28.07.2011


Видно, что распространение вредоносного кода в блоках с traffbiz.net резко упало во вторую неделю июля и стремится к нулю. Зато резко возросло количество вредоносного кода в блоках с traffbiz.ath.cx, распространение вредоносного кода с которых продлилось шесть дней — с 8 по 14 июля. Распространение вредоносного кода с блоков бирж alb-music.ru и protrafv2.com резко прекратилось в первую неделю июля и также стремится на данный момент к нулю. В блоках с биржи if-web.ru замечено начало распространения вредоносного кода в первую неделю июля, а биржа code-iframe.co.cc резко прекратила распространение вредоносного кода в третью неделю июля, и сейчас с блоков этих бирж код также практически не распространяется.


Биржи трафика, у которых были отмечены пики распространения вредоносного кода


За период наблюдения нами были замечены пики частоты распространения вредоносного кода в блоках с некоторых заражённых бирж трафика.




Рис.5 – График относительного количества случаев выявления вредоносного кода в блоках бирж трафика,
у которых отмечались пики вредоносной активности c 22 июня по 28 июля



В первую неделю июля были зафиксированы пики распространения вредоносного кода через блоки с traffbiz.net и maroder.info, во второй неделе июля пики пришлись на хосты traffbiz.atx.cx и maroder.info. Третья неделя июля отмечена резким проявлением вредоносной активности сразу нескольких бирж заражённого трафика, таких как medianaft.ru, gold-wm.ru, maroder.info, trfxk.info.


Биржи трафика, продолжающие активно распространять вредоносный код


Существуют и биржи трафика, через блоки которых вредоносный код активно распространялся в прошлом и продолжает распространяться в настоящее время.




Рис.6 – График относительного количества случаев выявления вредоносного кода в блоках бирж трафика,
через которые постоянно распространяется вредоносный код


Распространяемые вредоносные программы


Вредоносный код, распространяемый через биржи трафика, пытается использовать уязвимости в популярных браузерах и их плагинах. При удачной эксплуатации хотя бы одной из уязвимостей на компьютер пользователя загружается и устанавливается вредоносная программа.
Через блоки различных адвертов распространяются вредоносные программы, которые очень сильно отличаются по функциональности. Кроме того, в блоках некоторых из заражённых бирж трафика видна специализация на распространении того или иного класса вредоносных программ. Например, вредоносный код, распространяемый через блоки с wmip.ru, занимается вымогательством денег посредством блокировки доступов к различным популярным ресурсам или работы всей операционной системы в целом.
Далее описаны некоторые из наиболее активно распространяемых злоумышленниками вредоносных программ.



Мошенник


Один из вирусов блокирует доступ к таким популярным социальным сетям, как odnoklassniki.ru и vk.com. По данным virustotal.com, на момент проверки, 28 июля, он детектировался всего двумя антивирусами из 43.
Хеши семпла:

  • MD5: 340401a22e63636197b67c1d4b82319f;
  • SHA1: 04a6851876a1de19ae8140cc896f7aa62c3a4824;
  • SHA256: 585c40c45f10a9c7085ad315d3e918740713360803ab31d7cc73237bebfd464a.



Рис.7 – Блокировка доступа к сайту www.odnoklassniki.ru


Блокер


Другой, не менее опасный вирус, распространяемый через wmip.ru, блокирует работу операционной системы в целом. На момент проверки, 28 июля, по данным virustotal.com, он детектировался десятью антивирусами из 43.
Хеши семпла, блокирующего работу операционной системы:

  • MD5: 45deaad9607a367e6def85a7940004db;
  • SHA1: 488488f87dc7a7b56915d5b4e8b65f965d920205;
  • SHA256: 9d44f8754d2618384f3b25b8506a56c49aa7eed5c235f3868394d4bb51a1a2e3.




Рис.8 – Блокировка работы операционной системы


Банковский троян


Из обнаруженного вредоносного ПО наибольшую опасность представляет банковский троян (формграббер) под названием Carberp по классификации Symantec. Он передаёт злоумышленникам учётные записи в системах клиент-банк, в результате чего злоумышленники получают доступ к банковским счетам пользователей. Троян распространяется через хост gold-wm.ru, и на момент проверки 28 июля, по данным virustotal.com, выявлялся 24 антивирусами из 43.

Carberp — это модульный формграббер, который имеет в своем наборе модули (stopav.plug, passw.plug, miniav.plug) для отключения ряда антивирусов, кражи паролей и даже для удаления своих конкурентов – таких вирусов, как:

  • Limbo;
  • ZeuS;
  • Barracuda;
  • SpyEye.


Рекомендации


При использовании бирж трафика вебмастер очень часто сам добавляет блок заражённой партнёрской программы на страницы своего сайта. Поэтому основная рекомендация для вебмастеров в данном случае — сначала изучить репутацию сети, и только после этого размещать у себя её блоки. В некоторых случаях вредоносный код может попадать на страницы сайта из блоков известных, обладающих хорошей репутацией рекламных сетей, но это скорее единичные ошибки этих сетей, а не закономерность и уж точно не основной бизнес.

Если блок с вредоносным кодом добавил кто-то другой, как от него избавиться описано в статье Как удалить вредоносный код на стороне сервера. Если ваш компьютер заразился, ознакомьтесь со статьей Бесплатные антивирусы и утилиты для лечения компьютера. Также рекомендуем ознакомиться со статьей Как обезопасить свой компьютер при работе в интернете.

Чем больше у нас примеров вредоносного кода – тем больше у нас информации, чтобы помочь вам и другим вебмастерам. Потому если вы найдёте вредоносный код на своём веб-сервере или рабочей станции – пришлите его нам для анализа по адресу virus-samples@yandex-team.ru. Как это сделать – написано в статье Как отправить вредоносный код специалистам Яндекса на анализ.

Команда безопасного поиска Яндекса

2 комментария
безопасность,вирусы
Использование Safe Browsing API Яндекса
26 августа 2011, 17:12
Яндекс выпустил сборку Firefox 6.0, которая использует Safe Browsing API Яндекса, чтобы предупреждать пользователей об опасных страницах.

С помощью сервера этого API Яндекс даёт браузеру возможность проверять URL по базе опасных URL, известных Яндексу. Маски, по которым происходит проверка, построены на основании примерно 3 млн. опасных страниц, известных Яндексу и актуальных для его пользователей. Эта же база используется для предупреждения пользователей об опасных страницах в результатах поиска Яндекса и в браузере Opera.Яндекс выпустил сборку Firefox 6.0 с со своими сервисами. Одна из новинок – в том, что эта сборка:
  • использует Safe Browsing API Яндекса, чтобы предупреждать пользователей об опасных страницах;
  • при нажатии на «Почему эта страница была заблокирована» – показывает страницу Яндекса с информацией о заражении страницы и возможностью просмотреть её сохранённую безопасную копию.


Яндекс не разработал протокол Safe Browsing API заново, а использовал открытую документацию, чтобы реализовать сервер, позволяющий ему выступать в качестве провайдера данных, доступных по этому протоколу.

Важнее то, что с помощью сервера этого API Яндекс даёт браузеру возможность проверять URL по базе опасных URL, известных Яндексу. Маски, по которым происходит проверка, построены на основании примерно 3 млн. опасных страниц, известных Яндексу и актуальных для его пользователей. Эта же база используется для предупреждения пользователей об опасных страницах в результатах поиска Яндекса и в браузере Opera.

Упрощённо работу Safe Browsing API можно представить следующим образом:




При использовании данной технологии:
  1. Объём данных невелик (примерно 5-10 МБ за первые сутки, дальше – в среднем не больше 1 МБ в сутки). Информация о новых URL, ставших или переставших быть опасными, также становится доступной достаточно оперативно. В первый раз это происходит примерно за 5 часов, в дальнейшем – в среднем в течение часа.
  2. В Яндекс отправляются только префиксы хешей некоторых масок, которым соответствуют URL просматриваемых страниц, это происходит примерно в 1% случаев просмотра страниц.
  3. Firefox кеширует результаты проверки URL на 10-20 мин.

Нужно понимать, что у базовой технологии Safe Browsing есть свои ограничения, вне зависимости от провайдера данных. Браузер с Safe Browsing API:
  1. только предупреждает об опасности страниц - а выбор, смотреть или не смотреть, делаете вы;
  2. защищает только от опасных страниц, и не заменяет обычный антивирус, а дополняет его функциональность;
  3. как и антивирус, не гарантирует 100% защиты, и его использование не отменяет правил безопасной работы в интернете.

Если хотите использовать Safe Browsing API Яндекса или маски опасных URL, на основании которых выдаются вердикты об опасности страниц, в своих системах и продуктах – обращайтесь, пожалуйста, по адресу safesearch@yandex-team.ru.

Команда безопасного поиска Яндекса

3 комментария
безопасность,вирусы