Как добавить сайт в поиск

Роботы Яндекса регулярно обходят страницы сайтов и загружают их в свою базу. При обходе робот учитывает следующее:
Роботы постоянно отслеживают появление новых ссылок, обновление контента уже загруженных страниц и их доступность. Отслеживание продолжается до тех пор, пока:
  • ссылка размещена на вашем сайте или стороннем ресурсе;
  • ссылка не запрещена для индексирования в файле robots.txt.

Чтобы самостоятельно сообщить Яндексу о новом сайте, а также следить за его индексированием и позициями в поисковой выдаче, добавьте сайт в Яндекс.Вебмастер.

  1. Какие страницы уже проиндексированы
  2. Какие страницы сайта участвуют в поиске
  3. Почему страницы долгое время не появляются в поиске
  4. Изменение позиций сайта в результатах поиска
  5. Вопросы и ответы

Какие страницы уже проиндексированы

Проверить это можно несколькими способами:

  • С помощью оператора запроса url. В поисковой строке Яндекса введите оператор запроса url, адрес сайта и *. Например: url:www.example.com*.
  • В Яндекс.Вебмастере на странице Индексирование → Статистика обхода. Подробнее см. в разделе Статистика обхода.

Чтобы узнать, какие поддомены сайта индексируются, вы можете воспользоваться операторами языка запросов host или rhost.

Изменение позиций сайта в результатах поиска

Результаты поиска не статичны и могут постоянно изменяться. Это может происходить по нескольким причинам:

Изменились алгоритмы поиска
Для улучшения качества поиска в алгоритмы ранжирования постоянно вносятся изменения. О наиболее значимых из них можно прочитать в блоге для вебмастеров и в блоге Платона Щукина.
Произошло регулярное обновление поисковой базы
Характеристики сайтов постоянно пересчитываются на основании свежих данных о страницах, а также их популярности среди пользователей. Вес факторов ранжирования и релевантная запросу страница могут меняться, страницы сайта могут выпадать из поискового индекса. Вследствие этого позиции в результатах поиска также могут меняться.
Произошли изменения на других сайтах, которые находились в поиске по интересующим вас запросам
Ваш сайт мог естественным образом изменить позиции в выдаче за счет роста релевантности других ресурсов по этим же запросам (владельцы других сайтов также вносят изменения). Если первые позиции в поиске заняли подозрительные сайты, сообщите об этом через форму.
Изменился адрес сайта или используемый протокол
В течение нескольких обновлений поисковой базы после смены адреса допускается понижение позиций сайта в результатах поиска (старые страницы сайта пропадают из поискового индекса, поэтому позиции могут снизиться по соответствующим запросам). Если на сайте настроен 301 редирект, ознакомьтесь с правилами его обработки.
Страницы, ранее находившиеся по запросам, пропали из поиска
Проверить наличие страницы в поиске можно с помощью инструмента Проверка статуса URL или задав поисковый запрос с оператором [url] (пример). Если нужные страницы отсутствуют в поисковом индексе, перейдите в раздел Индексирование сайта.
Произошли другие изменения на вашем сайте
Любое изменение на сайте может влиять на его позиции в результатах поиска. Например, изменение структуры сайта, адреса (URL) или содержимого страницы (или его представления), которая находилась по интересующим вас запросам.
Страницы сайта считаются некачественными
Проверить это можно в Яндекс.Вебмастере на странице Диагностика → Диагностика сайта. Чтобы улучшить сайт, воспользуйтесь рекомендациями:

Алгоритм проверяет страницы с каждым обновлением поисковой базы, поэтому некоторые из них могут исключаться из поиска. Если страница не участвует в поиске уже длительное время, это означает, что на текущий момент она недостаточно хорошо отвечает на запросы пользователей.

Вопросы и ответы

Описание страницы в сниппете отличается от содержимого в Description
В результатах поиска в качестве описания страницы используется текст, наиболее релевантный поисковому запросу. Таким образом, это может быть как содержимое мета-тега Descripton, так и текст, размещенный на странице.
В результатах поиска отображаются ссылки на внутренние фреймы сайта
В этом случае перед загрузкой страницы с помощью консоли браузера проверьте, открыт ли родительский фрейм с навигацией. Если закрыт, откройте его.
Мой сервер не выдает last-modified

Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:

  • в результатах поиска не будет показываться дата рядом со страницами вашего сайта;

  • при сортировке по дате сайт не будет виден большинству пользователей;

  • робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

Как кодировка влияет на индексирование
Тип используемой на сайте кодировки не влияет на индексирование сайта. Также, если ваш сервер не передает в заголовке кодировку, робот Яндекса определит кодировку самостоятельно.
Можно ли управлять частотой переиндексирования с помощью директивы Revisit-After?
Нет. Робот Яндекса ее игнорирует.
Яндекс индексирует сайт на иностранном домене?
Будет. Сайты, содержащие страницы на русском, украинском, белорусском языках, индексируются автоматически. Сайты на английском, немецком и французском языках индексируются, если они могут быть интересны пользователям.
Сайт добавлен в Яндекс через сервис автоматической регистрации в поисковых системах. Почему он не проиндексирован?
Согласно Лицензии на использование поисковой системы Яндекса, страницы, добавленные через автоматическую систему, не будут включены в базу. Сообщить о новом сайте можно, добавив его в раздел Мои сайты.
Индексируется ли содержимое элементов frame и frameset?
Да, робот Яндекса индексирует контент, подгружаемый в элементы frame и frameset, и находит исходный документ.
Как влияет на индексирование большое количество заданных параметров в URL и его длина

Большое количество заданных параметров в URL, а также большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования сайта.

Максимальная длина URL — 1024 символов.

Как изменить регистр URL страницы
Проверьте, есть ли в базе робота адреса страниц в разных регистрах, которые считаются дублями друг друга — перейдите в Яндекс.Вебмастер на страницу Индексирование → Страницы в поиске (Исключенные страницы). Если да, то укажите роботу адрес, который должен участвовать в поиске одним из способов:
Индексирует ли робот архивы GZIP?
Да, робот индексирует архивы в формате GZIP (сжатие GNU ZIP).
Индексирует ли робот URL с якорем (#)?

Робот Яндекса не индексирует адреса страниц с якорем, кроме AJAX-страниц (с символом #!). Например, страница http://example.com/page/#title не попадет в базу робота, робот проиндексирует страницу http://example.com/page/ (адрес до символа #).

Как робот индексирует страницы пагинации
Робот не учитывает атрибут rel со значениями prev и next. Поэтому страницы пагинации могут индексироваться и участвовать в поиске без ограничений.