Блог Яндекса для вебмастеров

ноябрь 2012
Яндекс.Вебмастер расскажет больше об исключенных страницах
1 ноября 2012, 18:47

На этапе загрузки или обработки страниц поисковый робот может столкнуться с различными препятствиями, которые не позволяют ему проиндексировать документы. На сервисе Яндекс.Вебмастер есть раздел «Исключенные страницы» — там вы найдете подробную информацию о таких страницах и о причинах их исключения.

Наличие исключенных страниц на сайте — это нормальная ситуация, не всегда требующая исправления. Например, какие-то страницы на вашем сайте перестают существовать или вы сами запрещаете их индексирование в robots.txt. Но иногда проблемы возникают на стороне сервера или сайта, и это, как правило, приводит к нежелательному выпадению страниц из результатов поиска.


Не так давно мы обновили раздел «Исключенные страницы» и разделили все причины исключения на три группы:

Ошибки на стороне сервера или сайта
На эту группу стоит обратить внимание в первую очередь – в этом случае вам необходимо устранить причину возникновения этих ошибок.

Страницы запрещены к индексированию вебмастером или не существуют
Здесь, как правило, ничего исправлять не нужно. В этом разделе показывается информация об удаленных и более не существующих на сайте страницах, о страницах, запрещенных в robots.txt, неканонических страницах и т.д.

Не поддерживается роботом
Сюда попадают страницы с неподдерживаемым форматом, языком и т.п.

Такое разделение помогает понять, что необходимо исправить, а что исправлять не требуется. Если какая-то причина исключения конкретно для вашего сайта не является ошибкой, вы всегда можете самостоятельно внести изменения в разделе «Настройки», выбрав «Исключенные страницы». Смотрите также Справочник по ошибкам индексирования.

Кроме того, на графике в разделе «Общая информация о сайте» теперь показываются данные только о страницах из первой группы (которые были исключены по причине ошибок на стороне сервера или сайта), что помогает максимально быстро обнаружить проблему во взаимодействии вашего сайта с поисковой системой.

 

 

36 комментариев
Я.Вебмастер
Новое в поиске (октябрь 2012)
8 ноября 2012, 17:52

В октябре в поиске запустились несколько проектов в рамках программы «Интентный поиск», о которой мы рассказали в одной из наших публикаций. Цель этой программы — понять, какую задачу пытается решить человек, и предложить наилучшее решение. 

В результатах поиска Яндекса по запросам, связанным с поиском мобильных приложений для iPhone, iPad или Android, теперь показываются результаты из AppStore и Google Play. В прошлом году мы запустили поиск приложений на смартфонах, а теперь такая возможность появилась и в веб-поиске.

 

Сразу несколько новостей у поисковых подсказок.

Поисковые подсказки выучили английский язык
Теперь, чтобы вспомнить или узнать перевод нужного слова с русского на английский (или наоборот), не обязательно переходить к результатам поиска. Нужно всего лишь набрать это слово в поисковой строке Яндекса и добавить «перевод» или «по-английски».

Также подсказки научились отвечать [сколько сейчас времени] и показывать точное время для всех городов мира. 

Специально для спортивных болельщиков в подсказках теперь есть информация о хоккейных и футбольных матчах. Счет закончившихся, а также день и время предстоящих игр теперь можно узнать, даже не набирая запрос до конца.

 

А начинающим вебмастерам мы рекомендуем посмотреть видеогид по сервису Вебмастер. В нем легко и доступно объясняется, как работает поиск и как взаимодействовать с ним при помощи Яндекс.Вебмастера.

 

Команда поиска

11 комментариев
новое в поиске
Команда Безопасного поиска рассказывает об опасных обновлениях
12 ноября 2012, 12:17
Сегодня все большую популярность набирает схема распространения вредоносного ПО под видом обновления для популярных легитимных продуктов. Чаще всего пользователю предлагается установить обновление браузера, мотивируя это тем, что браузер пользователя устарел и является небезопасным. О том, как это выглядит и как с этим бороться, читайте в блоге Безопасного поиска.

Сегодня все большую популярность набирает схема распространения вредоносного ПО под видом обновления для популярных легитимных продуктов. Чаще всего пользователю предлагается установить обновление браузера, мотивируя это тем, что браузер пользователя устарел и является небезопасным.


Предложения злоумышленников скачать или обновить браузер могут выглядеть так:




Встречаются «обновления» и других распространенных продуктов, например Adobe Flash Player или Skype:




Страницы злоумышленников могут имитировать «онлайн-сканирование» компьютера пользователя на наличие вирусов, чтобы затем предложить «вылечить» компьютер пользователя:



Подставные сайты копируют интерфейс своих легитимных аналогов, и это зачастую вводит пользователей в заблуждение.


Чтобы заманить пользователей на страницы поддельных обновлений и антивирусов, злоумышленники обычно взламывают легитимные сайты и размещают на них код, автоматически перенаправлющий браузер на эти страницы. Примеры такого кода приведены в конце статьи.


Особый интерес для злоумышленников представляют пользователи мобильных платформ, поэтому перенаправление может осуществляться только для пользователей с определенным HTTP-заголовком User-Agent (например, содержащим подстроку "android"), или по значению JavaScript-свойства navigator.


Конечная цель злоумышленников — получить деньги, узнав номер его телефона, чтобы подписать на платные SMS-услуги, или убедив пользователя установить на свой телефон ПО, которое будет без ведома пользователя отправлять платные SMS.


Для подписки на SMS-услугу обычно используется следующий сценарий: в процессе «обновления» браузера или сразу после этого пользователю предлагается ввести свой номер телефона для получения уникального кода, который необходим для активации обновления:



Для получения злоумышленниками возможности отправлять SMS, .jar или .apk файл выдается пользователю под видом рекомендуемого обновления. Мы исследовали одно из подобных поддельных обновлений браузера Opera (SHA256: 5ee665761c36d3b26b549c976b55e474d68213f840ecb91634a33c352c724227) для операционной системы Android. Оказалось, что теперь мошенников интересует не только отправка SMS.


Из манифеста приложения видно, что набор разрешений безопасности, которые запрашивает приложение, является аномальным для браузера, в частности на отправку, получение и чтение SMS, а также на доступ к контактам:



В результате декомпиляции обнаружилось, что «браузер» осуществляет отправку нескольких SMS без разрешения пользователя. Отправка сообщений происходит в методе send класса Msg. Код отправки сообщений выглядит так (здесь и далее листинг программы представлен в опкодах Dalvik



Кроме отправки SMS, также осуществляется чтение контактов пользователя и отправка их злоумышленникам. Это происходит в классе DeviceRegistrar. Сбор контактов и упаковка их в JSON происходит в методе makeContactsJsonData. Сначала получается доступ к базе контактов, а далее происходит последовательное чтение имени контакта и номера телефона:



Таким образом, помимо денег, мошенники крадут у пользователей персональную информацию. Результаты проверки разобранного образца сервисом VirusTotal можно посмотреть здесь.


Зачастую подобного рода сайты содержат неприметную ссылку на раздел с формальным пользовательским соглашением, в котором указывается, что услуга, на которую соглашается пользователь, на самом деле является платной и имеет определенную цену:




Однако нигде в так называемом пользовательском соглашении не указано, что программное обеспечение осуществляет передачу персональных данных пользователей мошенникам. Возврат денег в случае мошенничества является трудной процедурой. Также не существует ни одного заявления мобильных операторов о политике в случае подобного рода мошенничества.


Каждый день мы выявляем более 500 хостов, при помощи которых осуществляется подобное мошенничество.



Чтобы не стать жертвой подобных атак, помните:

  1. Большая часть современных приложений обновляются автоматически.
  2. Рекомендуется устанавливать приложения и обновления ПО с сайта производителя или из надежных источников – таких как магазины приложений.
  3. Многие вредоносные сайты копируют интерфейс своих легитимных аналогов, и ни один сайт не может гарантировать отсутствие в интернете своего клона. Так, например, некоторые партнерские программы уже сейчас предлагают услуги по созданию сайтов-подделок под ещё не открывшийся Yandex.Store.




  4. Для перенаправления пользователей злоумышленники размещают на легитимных сайтах вредоносный код. Если подобный код есть на вашем сайте, он будет помечен в результатах поиска Яндекса как опасный.


    • <script>-тэг, осуществляющий перенаправление. Пример:



      Код может быть дополнительно обфусцирован:



      После деобфускации выполнится следующий код:



    • Правила для .htaccess файла, которые проверяют HTTP-заголовок User-Agent, и в случае соответствия выполняют перенаправление на вредоносную страницу. Пример:


    • PHP-код, который осуществляет загрузку данных с удаленного сервера с помощью функции file_get_contents или библиотеки curl в зависимости от настроек сервера. Загруженные данные включаются в HTTP-ответ сервера. Пример:




Для того чтобы предотвратить заражение своего сайта, воспользуйтесь нашими рекомендациями, приведёнными здесь.

О том, как удалить вредоносный код с своего сайта, читайте в этой статье.
Если вы обнаружите примеры клиентского или серверного вредоносного кода, то присылайте их, пожалуйста, по адресу virus-samples@yandex-team.ru .


Команда Безопасного Поиска Яндекса

9 комментариев
безопасность,вирусы
Новые форматы семантической разметки в валидаторе
13 ноября 2012, 13:11

Не так давно мы писали, что валидатор микроразметки научился проверять все форматы Schema.org и microdata независимо от того, обрабатывает ли их Яндекс в Поиске. Сервис продолжает развиваться, и теперь валидатор работает для всех популярных микроформатов, а также для OpenGraph и RDFa.


Популярность стандарта RDFa растёт, он получил большое распространение за рубежом. Поддержка RDFa в валидаторе – еще один шаг, который облегчает применение семантической разметки.


Разметка OpenGraph используется социальными сетями и видеохостингами. Размеченные с помощью этого стандарта видеоролики лучше находятся в поиске Яндекса по видео и на сервисе Яндекс.Видео, а также показываются с правильным описанием и параметрами. О том, как сделать разметку вашего ролика, читайте в нашей документации.


Помимо этого, OpenGraph помогает улучшить представление сайта в социальных сетях. Этот стандарт понимают многие социальные сети – в том числе Фейсбук, Твиттер и ВКонтакте.

Когда люди нажимают кнопку «Поделиться» на страницах сайта, в социальной сети информация выглядит по-разному. Например, как в виде ссылки, так и в виде красивой картинки с понятным описанием, которое позволяет сразу узнать о содержании статьи или страницы.


Разметка позволяет владельцу сайта самому указать, что будет показываться в социальной сети. Например, задать изображения, которые будут использоваться, или составить информативное описание.
Посмотрите публикации на тему того, как работает OpenGraph с различными сайтами: «Интеграция сайта с Facebook через OpenGraph» – история портала Sports.ru, «Open Graph: Решаем проблему кнопки Like от Facebook».

Разметка на сервисе Яндекс.Авто


На сервисе Яндекс.Авто стало больше доступных для использования форматов микроразметки. Теперь партнеры сервиса могут использовать Schema.org/Review на страницах с обзорами и отзывами об автомобилях. Также на страницах с обзорами можно использовать и микроформат hReview.


Сервис Яндекс.Авто сотрудничает с сайтами, которые специализируются на объявлениях о продаже автомобилей, отзывах об автомобилях или обзорных статьях. Чтобы ваши данные появились на сервисах Яндекса, нужно вступить в партнерскую программу. Сайты-партнеры получают дополнительный трафик со страниц сервиса и из поиска Яндекса. Способы передачи данных сервису: XML-фид в Яндекс.Вебмастере (для объявлений) или разметка – микроформаты или Schema.org.

 

Новая документация и ответы на вопросы


Чтобы вебмастерам было проще работать с микроразметкой на сайтах, у валидатора микроразметки теперь есть собственная документация.


Семантическая разметка — относительно новое явление для рунета, и у многих возникают вопросы о том, что она даёт и как ее применять. Чтобы разобраться в этом было легче, мы недавно опубликовали FAQ по семантической разметке, а также ответили на вопросы организаторов конференции Optimization.by.


Все вопросы относительно разметки сайтов и работы поиска мы, как и прежде, приглашаем вас обсудить в нашем клубе.

 

Команда Поиска

 

16 комментариев
содержимое сайта
Яндекс.Поиск для сайта: редактируйте поисковые подсказки
22 ноября 2012, 17:03

Поисковые подсказки давно помогают пользователям Яндекса. Они позволяют ускорить ввод запроса, всегда содержат свежую и актуальную информацию, исправляют неправильно набранные запросы и решают одну из задач повышения пользовательского счастья — «не заставляйте меня думать».

Хороший поиск по сайту увеличивает шансы на то, что посетители найдут на нем нужную информацию, и служит дополнительным инструментом оптимизации.


Мы рады представить новую возможность Яндекс.Поиска для сайта — редактирование поисковых подсказок. Сервис использует ту же технологию формирования поисковых подсказок, что и «большой» поиск Яндекса. В поиске для сайта подсказки могут быть сформированы с учетом контента — это делается автоматически. Однако сервис не всегда добавляет в подсказки нужные слова, позиции, статьи и материалы, на которых владелец сайта хочет акцентировать внимание посетителей. Теперь подсказки можно настраивать: добавлять в список нужные ключевые слова, менять их местами, располагая выше наиболее важное, и удалять ненужное.


Интерфейс редактирования прост и понятен:






Внося в список новые подсказки, следите за тем, какие результаты по ним выдаются, и добавляйте необходимые страницы на сайт. Не забывайте и о такой возможности, как уточнение результатов поиска — посетители могут искать по разделам сайта, видам документов, датам, ключевым словам и т.д.


Настраиваемые поисковые подсказки и уточнение результатов поиска — это еще один эффективный (и бесплатный) инструмент повышения удобства сайта, а в некоторых случаях — и показателей конверсии.


Если у вас возникают вопросы или технические трудности, вы можете задать их в клубе сервиса Яндекс.Поиск для сайта.

9 комментариев
Поиск для сайта