Чтобы страницы могли появиться в поиске и находиться по соответствующим запросам, они, прежде всего, должны быть успешно проиндексированы роботом. Поэтому обходу сайта стоит уделить особое внимание и о том, что необходимо для этого обязательно сделать, я постараюсь рассказать в этом посте.
- Начните с проверки HTTP-заголовков, передаваемых вашим сервером:
- страницы, индексирование которых необходимо, возвращают HTTP ответ 200;
- страницы, не существующие на сайте, возвращают HTTP ответ 404;
- страницы, изменившие свой адрес, по старому url возвращают HTTP ответ 301;
Увидеть HTTP-ответ от сервера на запрос той или иной страницы сайта можно с помощью инструмента «Проверка ответа сервера» в Я.Вебмастере (для этого Ваш сайт должен быть уже добавлен и подтвержден в сервисе), либо Вы можете воспользоваться любым сервисом проверки HTTP-заголовков (например, Bertal.ru, позволяющих в качестве User-agent выбрать Yandex.
2. На следующем шаге стоит подумать, какие разделы и страницы сайта должны индексироваться, а какие нет. Создайте файл robots.txt и запретите в нем обход технических и служебных разделов сайта. Если на сайте есть страницы, присутствие которых опасно в выдаче или не несет ценности для посетителей, их также стоит запретить, например:
- страницы с результатами поиска по сайту;
- страницы, которые могут содержать персональные данные о клиентах Вашего сайта;
- корзины с товарами.
Это позволит исключить индексирование «лишних» страниц сайта и их попадание в результаты поиска, а также поможет ускорить обход сайта в целом, так как робот будет больше внимания уделять индексированию наиболее ценных и полезных страниц.
3. Теперь нужно проверить, что будет, если кто-то поставит ошибочную ссылку на ваш сайт:
- Откройте любую страницу и допишите в адресе несколько произвольных символов. Эта страница должна возвращать 301 перенаправление на доступную страницу сайта или отдавать 404 ошибку. Это поможет избежать попадания в поиск нежелательных страниц.
4. Дальше разбираемся с дублями и динамическими страницами:
- Если один и тот же товар или статья может содержаться в различных каталогах сайта, то это приводит к появлению дублирующих страниц. В этом нет ничего страшного, просто нужно явно указать, какая страница из группы дублей должна индексироваться и участвовать в поиске. Сделать это можно при помощи атрибута rel="canonical" тега <link>.
- Проверьте доступность страниц сайта по адресам без слеша на конце и со слешом. Если они доступны и возвращают одинаковый контент, настройте 301 перенаправление со страниц без слеша на страницы со слешом или наоборот. Это позволит избежать наличия дублей и укажет роботу, по какому адресу страницы должны индексироваться и участвовать в поиске, в том случае, если ему будут известны оба адреса.
- Проверьте, есть ли на Вашем сайте страницы с динамическими параметрами (например, PHPSESSID= и т.п.), изменение которых не приводит к изменению контента страницы. Если структура сайта предполагает наличие подобных страниц, воспользуйтесь атрибутом rel="canonical", либо пропишите директиву Clean-param в файле robots.txt.
5. После того, как все настройки проверены, запрещено индексирование ненужных страниц, а также исключены дубли и динамические страницы, самое время позаботиться о том, чтобы робот быстрее узнал о страницах сайта. Для этого создайте файл sitemap, укажите в нем ссылки на все страницы, индексирование которых необходимо, и сообщите о существовании файла: пропишите директиву "Sitemap:" в robots.txt или воспользуйтесь специальной формой в сервисе Яндекс.Вебмастер. После обработки файла все страницы будут переданы в очередь на обход роботу. Особенно наличие файла sitemap актуально для сайтов, страницы которых часто обновляются, вообще не имеют ссылок, по которым они могут быть найдены, или имеют очень глубокую вложенность.
Если же нужно сообщить роботу о какой-то определенной странице, то для этого подойдет форма: http://webmaster.yandex.ru/addurl.xml
Полезная информация:
Инструмент "Проверки ответа сервера"
Атрибут rel="canonical"
Файл robots.txt
Форма проверки файла robots.txt
Директива Clean-param
Создание и добавление sitemap
Валидатор sitemap
В октябре в поиске запустились несколько проектов в рамках программы «Интентный поиск», о которой мы рассказали в одной из наших публикаций. Цель этой программы — понять, какую задачу пытается решить человек, и предложить наилучшее решение.
В результатах поиска Яндекса по запросам, связанным с поиском мобильных приложений для iPhone, iPad или Android, теперь показываются результаты из AppStore и Google Play. В прошлом году мы запустили поиск приложений на смартфонах, а теперь такая возможность появилась и в веб-поиске.
Сразу несколько новостей у поисковых подсказок.
Поисковые подсказки выучили английский язык.Теперь, чтобы вспомнить или узнать перевод нужного слова с русского на английский (или наоборот), не обязательно переходить к результатам поиска. Нужно всего лишь набрать это слово в поисковой строке Яндекса и добавить «перевод» или «по-английски».Также подсказки научились отвечать [сколько сейчас времени] и показывать точное время для всех городов мира.Специально для спортивных болельщиков в подсказках теперь есть информация о хоккейных и футбольных матчах. Счет закончившихся, а также день и время предстоящих игр теперь можно узнать, даже не набирая запрос до конца.
А начинающим вебмастерам мы рекомендуем посмотреть видеогид по сервису Вебмастер. В нем легко и доступно объясняется, как работает поиск и как взаимодействовать с ним при помощи Яндекс.Вебмастера.
Команда поиска
Сегодня все большую популярность набирает схема распространения вредоносного ПО под видом обновления для популярных легитимных продуктов. Чаще всего пользователю предлагается установить обновление браузера, мотивируя это тем, что браузер пользователя устарел и является небезопасным.
Предложения злоумышленников скачать или обновить браузер могут выглядеть так:
Встречаются «обновления» и других распространенных продуктов, например Adobe Flash Player или Skype:
Страницы злоумышленников могут имитировать «онлайн-сканирование» компьютера пользователя на наличие вирусов, чтобы затем предложить «вылечить» компьютер пользователя:
Подставные сайты копируют интерфейс своих легитимных аналогов, и это зачастую вводит пользователей в заблуждение.
Чтобы заманить пользователей на страницы поддельных обновлений и антивирусов, злоумышленники обычно взламывают легитимные сайты и размещают на них код, автоматически перенаправлющий браузер на эти страницы. Примеры такого кода приведены в конце статьи.
Особый интерес для злоумышленников представляют пользователи мобильных платформ, поэтому перенаправление может осуществляться только для пользователей с определенным HTTP-заголовком User-Agent (например, содержащим подстроку "android"), или по значению JavaScript-свойства navigator.
Конечная цель злоумышленников — получить деньги, узнав номер его телефона, чтобы подписать на платные SMS-услуги, или убедив пользователя установить на свой телефон ПО, которое будет без ведома пользователя отправлять платные SMS.
Для подписки на SMS-услугу обычно используется следующий сценарий: в процессе «обновления» браузера или сразу после этого пользователю предлагается ввести свой номер телефона для получения уникального кода, который необходим для активации обновления:
Для получения злоумышленниками возможности отправлять SMS, .jar или .apk файл выдается пользователю под видом рекомендуемого обновления. Мы исследовали одно из подобных поддельных обновлений браузера Opera (SHA256: 5ee665761c36d3b26b549c976
b55e474d68213f840ecb91634 a33c352c724227) для операционной системы Android. Оказалось, что теперь мошенников интересует не только отправка SMS. Из манифеста приложения видно, что набор разрешений безопасности, которые запрашивает приложение, является аномальным для браузера, в частности на отправку, получение и чтение SMS, а также на доступ к контактам:
В результате декомпиляции обнаружилось, что «браузер» осуществляет отправку нескольких SMS без разрешения пользователя. Отправка сообщений происходит в методе send класса Msg. Код отправки сообщений выглядит так (здесь и далее листинг программы представлен в опкодах Dalvik
Кроме отправки SMS, также осуществляется чтение контактов пользователя и отправка их злоумышленникам. Это происходит в классе DeviceRegistrar. Сбор контактов и упаковка их в JSON происходит в методе makeContactsJsonData. Сначала получается доступ к базе контактов, а далее происходит последовательное чтение имени контакта и номера телефона:
Таким образом, помимо денег, мошенники крадут у пользователей персональную информацию. Результаты проверки разобранного образца сервисом VirusTotal можно посмотреть здесь.
Зачастую подобного рода сайты содержат неприметную ссылку на раздел с формальным пользовательским соглашением, в котором указывается, что услуга, на которую соглашается пользователь, на самом деле является платной и имеет определенную цену:
Однако нигде в так называемом пользовательском соглашении не указано, что программное обеспечение осуществляет передачу персональных данных пользователей мошенникам. Возврат денег в случае мошенничества является трудной процедурой. Также не существует ни одного заявления мобильных операторов о политике в случае подобного рода мошенничества.
Каждый день мы выявляем более 500 хостов, при помощи которых осуществляется подобное мошенничество.
Чтобы не стать жертвой подобных атак, помните:
- Большая часть современных приложений обновляются автоматически.
- Рекомендуется устанавливать приложения и обновления ПО с сайта производителя или из надежных источников – таких как магазины приложений.
- Многие вредоносные сайты копируют интерфейс своих легитимных аналогов, и ни один сайт не может гарантировать отсутствие в интернете своего клона. Так, например, некоторые партнерские программы уже сейчас предлагают услуги по созданию сайтов-подделок под ещё не открывшийся Yandex.Store.
- Для перенаправления пользователей злоумышленники размещают на легитимных сайтах вредоносный код. Если подобный код есть на вашем сайте, он будет помечен в результатах поиска Яндекса как опасный.
<script>-тэг, осуществляющий перенаправление. Пример:
Код может быть дополнительно обфусцирован:
После деобфускации выполнится следующий код:
Правила для .htaccess файла, которые проверяют HTTP-заголовок User-Agent, и в случае соответствия выполняют перенаправление на вредоносную страницу. Пример:
PHP-код, который осуществляет загрузку данных с удаленного сервера с помощью функции file_get_contents или библиотеки curl в зависимости от настроек сервера. Загруженные данные включаются в HTTP-ответ сервера. Пример:
Для того чтобы предотвратить заражение своего сайта, воспользуйтесь нашими рекомендациями, приведёнными здесь.
О том, как удалить вредоносный код с своего сайта, читайте в этой статье.
Если вы обнаружите примеры клиентского или серверного вредоносного кода, то присылайте их, пожалуйста, по адресу virus-samples@yandex-team.ru .Команда Безопасного Поиска Яндекса
Сегодня разговор пойдет о главной странице коммерческого сайта.
Пользователь может отказаться от дальнейшего ознакомления с сайтом, если главная страница покажется ему неудобной, неинформативной или не вызывающей доверия. Вот несколько советов, которые помогут пользователю быстро получить представление о вашем сайте по главной странице, а роботу - правильно представить сайт в выдаче.
1. Про навигацию
Пользователь, приходя на главную страницу вашего сайта, хочет решить конкретную задачу, поэтому надо стараться организовать её таким образом, чтобы он максимально быстро мог перейти в нужный ему раздел или сразу получить нужную информацию.
С главной страницы обязательно должны быть доступны основные разделы сайта: контактная информация, данные о компании, каталог продукции или услуг, специальные акции - всё то, что может в первую очередь заинтересовать пользователя.
В некоторых случаях полезно прямо на главной странице разместить небольшой каталог наиболее популярных категорий товаров: это могут быть сезонные товары, новинки или спецпредложения - одним словом, то, что может быть интересно пользователю в данный момент времени.
2. Технические нюансы
На главной странице сайта обязательно должно быть указано название организации в текстовом виде. Если название может быть записано аббревиатурой, желательно упомянуть и её расшифровку.
Правильно заполненные мета-теги Keywords, Description и тег Title, содержащий информацию о названии компании, могут помочь алгоритму при определении релевантности страницы тому или иному запросу, а также повлиять на её отображение в результатах поиска. Пример плохого сниппета:
Напишите на видном месте (можно прямо в шапке), контактный телефон, так как его могут искать прежде всего.
3. Про доверие
Важнейшей составляющей страницы является, конечно же, текст. Большие "простыни" текста не интересны пользователям. Старайтесь указывать на главной странице только ключевую информацию о компании, причём на видном месте - при этом пишите правду и не обманывайте ожидания людей. Текст должен быть короткий, понятный и не перегруженный.
Если у вас интернет-магазин, то, возможно, вам вообще не нужен какой-то дополнительный текст на главной странице. Лучше отдать больше места под «вкусные» товары или более удобную навигацию по каталогу.
Если у вас сайт-визитка организации, можно добавить на главную страницу выдержки из рекомендаций партнёров и авторитетных источников, если таковые имеются. Более подробно эту тему можно раскрыть на странице с портфолио или информацией о компании. Можно также осветить ключевые отличия фирмы от конкурентов, её основные преимущества.
Часто обновляемый контент (новости или отзывы, к примеру), должен быть свежим, так как по этой информации пользователь может судить о деятельности фирмы в целом. Если последняя новость датируется прошлым годом, то может возникнуть впечатление заброшенности сайта и, как следствие, фирмы.
При поиске в интернете товаров или услуг, пользователь заинтересован не только в их описании, но и в стоимости. Поэтому, если на главной странице будут представлены конкретные товары, не забудьте для каждого из них указать цену или диапазон цен - это поможет пользователю быстрее сориентироваться в своем поиске.
Не перегружайте главную страницу элементами, не имеющими прямого отношения к вашей организации (анимированными баннерами, блоками рекламы и т.п.) Навязчивое присутствие блоков рекламы на главной странице продающего коммерческого сайта выглядит странно и не добавит вашему сайту доверия в глазах пользователя.
Классический пример - на сайте размещается блок одной из рекламных сетей, в котором при переходе по ключевому запросу пользователю показываются ссылки на конкурентов сайта:
4. Про дизайн
Внешний вид сайта может влиять на заинтересованность пользователей: если это сайт салона красоты или магазина женской одежды, то к выбору дизайна стоит подойти более ответственно, тогда как магазину по продаже строительных материалов излишняя "красота" может быть ни к чему. Для того, чтобы понимать, как должен выглядеть дизайн сайта, прежде всего надо понимать, на какую аудиторию вы ориентируетесь, и какая цель у вашей главной страницы.
Для многих коммерческих направлений важен не столько текстовый контент, сколько графический. Картинки - это важно! Если вы продаете товар собственного производства, то зачастую только фотографии и могут дать пользователю представление о нём. Если вы продаете, к примеру, строительный песок, то внешний вид товара в подробностях пользователя вряд ли заинтересует – скорее всего, его будут интересовать другие параметры. Если же вы продаете цветы или аксессуары для ноутбуков, то отличные картинки на главной странице вам просто необходимы.
5. Анализируйте это
Изучайте аудиторию своего сайта. Чтобы понять, как должна выглядеть ваша главная страница, нужно хорошо представлять себе, кто ваша покупающая аудитория.
Следите за поведением пользователей - это позволит организовать сайт максимально выгодно для вас и ваших потенциальных покупателей. В этом вам поможет Яндекс.Метрика. Следите по карте кликов, куда переходят пользователи с главной страницы. Старайтесь разместить в первом экране все самые востребованные разделы, удаляйте с главной страницы вообще неинтересные пользователям фрагменты.
Коллеги, пишите в комментариях свои рекомендации, поделитесь своими историями успеха или своими ошибками. И проверьте главную страницу вашего сайта!