Использование файла Sitemap

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.
  1. В каких случаях нужен файл Sitemap
  2. Поддерживаемые Яндексом форматы
  3. Требования к файлу
  4. Как создать файл и сообщить о нем Яндексу
  5. Вопросы и ответы

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

  • большое количество страниц;
  • отдельные страницы без навигационных ссылок;
  • глубокая вложенность.

Поддерживаемые Яндексом форматы

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

Тег Обязательно Описание
loc Да Адрес страницы.
lastmod Нет Дата последнего обновления страницы.

Максимальный размер — 100 байтов.

changefreq Нет Частота изменения страницы.

Максимальный размер — 100 байтов.

priority Нет Значимость страницы. Робот загружает страницы поочередно с учетом наличия и значения коэфициента от 0.0 до 1.0. Укажите коэфициент для тех URL, которые наиболее важны для сайта.

Максимальный размер — 100 байтов.

Пример:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
        <url>
            <loc>http://www.example.com/page1.html</loc>
            <lastmod>2005-01-01</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.8</priority>
        </url>
        ...
    </urlset>

Также с помощью Sitemap вы можете передать информацию о локализованных страницах сайта и об изображениях (см. раздел Помощи Яндекс.Картинок).

Чтобы передавать информацию о видео, в файле Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Яндекс.Видео).

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap.

Требования к файлу

  • Используйте кодировку UTF-8. Кириллические URL робот Яндекса распознает как в закодированном виде, так и в оригинале.
  • Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap.
  • Максимальный размер файла в несжатом виде — 50 МБ.
  • Указывайте ссылки на страницы только того домена, на котором будет расположен файл.
  • Разместите файл на том же домене, что и сайт, для которого он составлен.
  • При обращении к файлу сервер должен возвращать HTTP-код 200.

Как создать файл и сообщить о нем Яндексу

  1. Определите канонические URL для страниц, которые будут указаны в файле Sitemap. Это необходимо, если на сайте есть несколько страниц со схожей информацией.
  2. Выберите формат и с помощью одного из сторонних ресурсов сформируйте файл.
  3. Проверьте файл с помощью инструмента Анализ файлов Sitemap.
  4. Укажите ссылку на файл в robots.txt или в разделе Файлы Sitemap Яндекс.Вебмастера.

При необходимости вы можете удалить информацию о Sitemap.

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap.

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

  • Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap.
  • Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
  • Доступ к Sitemap запрещен в файле robots.txt, при обращении к Sitemap сервер возвращает HTTP-код, отличный от 200. Проверьте доступность файла для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Sitemap не обрабатывается

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Яндекс.Вебмастер. Если этого не произошло, проверьте:

  • Ответ сервера при запросе Sitemap. Если доступ к Sitemap запрещен в файле robots.txt или при обращении к нему возвращается HTTP-код, отличный от 200, файл не будет обработан роботом. Если при проверке отображается статус «Запрещен метатегом noindex», это не говорит об ошибке. Метатег noindex запрещает включение файла в поисковую базу, но не мешает роботу обрабатывать его содержимое.
  • Корректность файла с помощью инструмента Анализ файлов Sitemap. Устраните ошибки, если они обнаружены.