Блог Яндекса для вебмастеров

Поддержка атрибута rel=”canonical” роботом Яндекса

23 мая 2011, 12:44

Сегодня мы включили поддержку атрибута rel=”canonical”.
Что это такое и зачем это нужно?

На вашем сайте могут присутствовать страницы с разными URL, но с очень похожим (или одинаковым) содержанием. Например, одна и та же страница сайта может быть доступна по двум адресам:

www.examplesite.ru/pages?id=2
www.examplesite.ru/blog


Алгоритмы поисковых систем умеют определять среди таких дублей основную страницу, которая попадет в поисковую выдачу. Однако не всегда выбор поискового робота может совпадать с предпочтениями владельца сайта.

С помощью атрибута rel=”canonical” вы можете указать, какая страница является «канонической» – предпочтительной для индексации и появления в результатах поиска. Если Яндекс будет знать о том, что содержание страниц одинаково, он проиндексирует и добавит в результаты поиска только одну из них, выбранную владельцем сайта. 
Таким образом можно избежать дублирования содержания страниц в результатах поиска и дать возможность поисковому роботу уделять больше внимания индексированию других, не менее важных страниц сайта.

Подробную информации об использовании тега rel=”canonical” читайте в Помощи Яндекс.Вебмастера.


Команда Поиска
62 комментария
Подписаться на комментарии к посту
dead-moroza-net
23 мая 2011, 13:11

А работать будет так же выборочно, как и noindex, да?:)

В чем заключается выборочность работы noindex?

dead-moroza-net
23 мая 2011, 15:52

В том, что довольно часто noindex игнорируется роботом.

Можно примеры? Хотя бы один

dead-moroza-net
23 мая 2011, 16:04

Как уже сказали ниже - Спорить с платоном безполезно.

Пример я показать не смогу. Проверялось на своихх сайтах. Сайт занимал определенные позиции в топе. Часть ключей закрывали в noindex. Плотность уменьшалась, но на позициях это не сказывалось никак. Эксперемент показал, что ноиндекс работает если закрываешь целый блок текста, но если выборочно закрыть тегом только некоторые слова из текста, то тег игнорируется. Вы конечно можете сказать, что это не так, но...

Это логичная система Посиковых алгоритмов. Как правило страница с закрытыми блоками не попадает в поиск, Однако так как на вашей странице открыт практически весь контент, и эта страница продвигается думаю, система и долна егнорировать ноиндес.

Возмем пример: вы продвигаете дорвейную страницу в топ, но помимо этого напихиваете её все возможным говном, которые влияей на позиции сайта, и ставите на это ноиндекс, по сути это получается обман ПС, выводи в топ, но между тем на странице может размещатся все что угодно, вплоть до мата и рекламы порно. Естественно, что бы такого избежать страницы которые высоко ранжируются ПС, должны тчательно проверятся и ноиндекс должен игнорироватся.!

 

По  новой фишечке яндекса =) Да спасибо вещь полезная =) Но что то во мне тоже есть некоторые сомнения, хотя так как очень часто сталкиваюсь что яндекс берет не те страницы в поиск, должен согласится что этот инструмент будет весьма полезен, и вот как раз сейчас на одном сайте его и заюзаем =)) ггг =) ДЛя проверки ))

Сайт занимал определенные позиции в топе. Часть ключей закрывали в
noindex. Плотность уменьшалась, но на позициях это не сказывалось никак.

а с чего вы взяли, что плотность должна повлиять?

вам бы поучиться...

рекомендую

Тар, ну уж ты бы не умничал) Я на серче начитался уже))

почитай почитай, поучись...

а на серче из любого при желании можно упячку сделать админским ресурсом. там подправить, там не дать сказать, там удалить, и усе...

так что мнение, которое вы обо мне составили на серче несколько не соответствует действительности.

ваш тезис здесь показывает ваше незнание вопроса.

если вы напишете масло масляное 20 раз, то маслянее не станет, мало того, оно может и не испортиться...

поучитесь эксперименты ставить правильно, мой вам совет, а то наплодилось...аналитегов, пернуть негде.

У меня есть пример.

Вот страница: http://www.valnet.ru/m7-76.phtml. Всё закрыто ноуиндексами. А в серпе страница есть, весь текст в сохраненной текстовой копии тоже есть. Что скажите?

 

Скажу следующее:

Ваши вопросы мне не понятны. По html коду видно, что есть два блока noindex - в топе и в подвале. Основной текст открыт для индексации.

Т.е. предпосылка, что всё закрыто не верна.

Какое отношение тег noindex имеет к появлению страницы в результатах поиска по произвольному запросу? С помощью тега noindex можно указать роботу, что текст из данного блока не нужно индексировать.

Исходя из описания в предыдущем предложении следует, что к сохраненной копии noindex также не имеет никакого отношения.

Итак, как оно работает:

Блок, не закрытый в noindex (по этому тексту искомая страница находится)

http://yandex.ru/yandsearch?text="Настоящие+методические+рекомендации+по+определению+рыночной+стоимости+земельных+участков+разработаны+Минимуществом+России"+url:http://www.valnet.ru/m7-76.phtml&lr=213

Блок, закрытый в noindex (по этому тексту искомая страница не находится)

http://yandex.ru/yandsearch?text="через+сеть+Интернет+без+отрыва+от+производства+для+оценщиков"+url:http://www.valnet.ru/m7-76.phtml&lr=213

Благодарю, что потратили время на мой вопрос.

Но всё же, если посмотреть хорошо в код, то открывается сразу после и не закрывается (у него нет пары). Теоретически весь текст должен быть в ноуиндексе.

В предыдущем посте я "смешала" серп и сохранённую копию, что неверно и я признаю свою ошибку в постановке вопроса.

Вижу. Ваша структура:


 

....



Т.е. вы говорите: мы неправильно используем теги, почему у вас ничего не работает? =)

> мы неправильно используем теги
это не мой сайт, Вы ранее просили пример, я кинула ссылку.

Вопрос был в другом: игнор яндексом тега noindex в конкретном случае.

Считаю, что вопрос можно снять с обсуждения, т.к. вышла путаница с количеством открытых и закрытых тегов. Проверить на данном примере игнор роботом  noindex - невозможно.

Спасибо, что открыли глаза на ошибку в тегах.

Здорово. Спасибо!

давно пора!

Херня все это, они только говорят, на деле нихера работать не будет, так же как с директивой host в robots.txt

Что не так с директивой host в robots.txt?

А то, что робот часто вообще на нее внимания не обращает...

Робот всегда обращает внимание на директиву Host. Другое дело, что результат может расходиться с ожидаемым, если:

- хосты, связанные Host, не являются зеркалами (Host - рекомендация, не строгое указание)

- Host указывает на хост с перенаправлением

- robots.txt не валиден

C Платоном спорить бесполезно, он всегда прав;-)

Скажите, canonical можно указать на другой сайт ?

Если нет, то как склеить страницы разных сайтов... только отдельные страницы не трогая большую часть сайтов ?

301й поставил, но Яндекс не понимает...

Спасибо.

посмотрим насколько этот атрибут будет работать :)

спасибо за отличное нововведение, может это наконец-то улучшит борьбу с дублями.

еще бы что-нить эдакое для борьбы с копипастерами придумали и было бы супер!

если проиндексировались 2 страницы

www.examplesite.ru/pages?id=2
www.examplesite.ru/blog

Поможет ли атрибут canonical исключить из поиска страницу www.examplesite.ru/pages?id=2 ?

Если на эту страницу www.examplesite.ru/pages?id=2 стоят ссылки, то передастся вес на страницу www.examplesite.ru/blog ? Или лучше использовать 301 редирект?

 

С помощью атрибута rel=”canonical” вы можете указать, какая страница является «канонической» – предпочтительной для индексации и появления в результатах поиска.
Дубли клеются или игнорируются? Например, если на случайный дубль страницы стоят ссылки, будут ли они учитываться при всяких-разных расчетах по ссылочному массиву?

 

Дубли склеиваются.

nick.webartist
26 мая 2011, 10:22

Дубли не склеиваются. Обратите внимание на магазины наручных часов. Реальных страниц у некоторых сайтов в 5-7 (!) раз меньше, чем проиндексировано Яшкенази. В индексе - сплошные дубли.

Риторический вопрос: почему когда я применяю rel="canonical" для Гугла, это хорошо сказывается на позициях сайта в Гугле, а когда я применяю аналогичную выдумку Яндекса Clean-param в Robots.txt, то это опускает сайт в Яндексе? Я же Яндексу хочу сделать приятно: экономлю его слабенькие вычислительные ресурсики.

В общем, как всегда: выслушай Яндекс и сделай наоборот.

Хорошая новость.

Будем молиться чтобы работало корректно :)

"не рекомендуется создавать цепочки, каждый элемент которых указывает, что каноническим является следующий url в цепочке."

http://help.yandex.ru/webmaster/?id=1111858

 

Черт, уже не сработает, ясно))))

Бойцов Иван
23 мая 2011, 23:18

А я уж подумал, каким боком майнтейнер Ubuntu относится к поиску, и зачем он в составе тега))

Отличная новость! Яндекс теперь дружит с rel=canonical.

В Wordpress canonikal уже применяется по умолчанию. Понятно, что это призвано определить одну, главную страницу из дублей, но что со страницами, на которых отражены выдержки с разных страниц.

Сослаться не получится, но и уникальной её не назовёшь, однако такие "сборные" страницы, тех же рубрик к примеру, по моему обязаны присутствовать в индексе, потому что на них собирается концентрированная информация, помогающая найти то, что нужно пользователю по теме.

Интересно, решилась ли проблема дублей страниц с комментариями в Blogger с расширением ?showComment

Да, очень важный вопрос для многих. Жаль, что на него не ответили. В теории должны, вопрос, сколько ждать придется, пока все страницы склеятся... Народ уже волнуется, а вдруг не склеятся:-)

Куда мир катится, яндекс уже даже robots.txt не слушается, жопа!!!!!:-O

И я уже даже не про host говорю, даже Disallow игнорируется...

а что делать если у меня показывает под разными доменами? или домен 3 уровня становится (а раз было и 7 уровня) голлавнее главного? это тут можно поправить?

Вы это о чем?

я о том что 1 адрес есть. а яндекс ловитя  в поиске другие адреса копии и выдает их за главного. ошибка ужасная!

Это очень страшная ошибка. Она постоянно вылезает. Получается прикол. Что Яндекс рекомендует делать сайты для посетителей. Но в топе вдаются сайты оптимизированные под такие баги.

Удалить, вместе со спамом который тут написали.

www.examplesite.ru/pages?id=2
www.examplesite.ru/blog

Если на страницу вела куча ссылок и она имело первое место по слову "site". Затем был внедрен новый движок, старый при этом остался для того чтобы позиции не потерять, и требуется сделать так, чтобы вылазила полная копия страницы www.examplesite.ru/pages?id=2, в  новом движке имеющая адрес www.examplesite.ru/pages/2, без потери позиций, то что нужно сделать?

В этом случае надо делать 301. Мы сделали. Сработало. Позиции сохранили, URL-ы постепенно сменились, вес передался (касается как Я, так и G).

устал с ТП общаться после обновления движка vbulletin - ничего путного сказать не могут по поводу выпадания сайта из индекса, кроме как:

В данный момент Ваш сайт уже участвует в поиске по адресу главного зеркала infofree.ru без www : http://yandex.ru/yandsearch?text=site:www.InfoFree.ru&pag=u&surl=www.InfoFree.ru&lr=213 .

 

Однако, после анализа и классификации страниц Вашего сайта наши алгоритмы решили ограничить его в поиске.

 

- поискового спама нет;
- в июне проекту исполняется 7 лет;
- на форуме больше 800 000 сообщений, оставленных пользователями;
- в своё время, форум был одним из самым посещаемых в Екатеринбурге, благодаря льготной доступности большинству провайдеров;
- на сайте нет страниц "предназначенных для робота-индексатора";
- SEO-ссылки по умолчанию предусмотрены в версии vbulletin 4.x (на которую я обновился), другие поисковые системы их успешно понимают;

 

 Дак не могло ли это произойти как раз из-за того, что новая версия  сайта использует этот тэг?

Пример:

http://infofree.ru/forum/showthread.php/49317-socialnaja-set-InfoFree.ru

http://infofree.ru/forum/showthread.php/49317-Социальная-сеть-InfoFree.ru
 

 

Давно ждал этого события! Спасибо
Очень полезная вещь. Спасибо, думаю это многим пригодится.

Поддерживается ли канонизация на поддомены?

Возможно ли для страниц на news.examplesite.ru канонизировать страницы с examplesite.ru ?

 

Нет.
В помощи об этом написано: "Робот не учтет атрибут, если в качестве канонического указывается url с другого хоста или поддомена хоста, на котором атрибут указан".

не описано- что будет с дублями?

А почему нельзя ставить rel=”canonical” именно на нужную страницу. Иначе это нереально ставить на второстепенные. не дай бог если в алгоритме яндекса опять будут баги, то то может случится так что все страницы вообще по другим запросам выикенет и оставит только канонческие. Т.е будет еще хуже..

А в чем прикол?

Лишний мусор итак закрывается в файле robots.txt!

Такой вопрос, бьюсь с подобной проблемой довольно давно, и данный метод как я понима не поможет, или поможет?

сайт http://vetservice.ru

Страница http://vetservice.ru/index.php переведена на страницу http://vetservice.ru/veterinarnaya_klinika (ссылок на сайте на index.php нет, все заменено на veterinarnaya_klinika)

Берет он по запросу http://vetservice.ru/veterinarnaya_klinika с индекса через хтаксес:

RewriteRule ^veterinarnaya_klinika$ index.php

Понятное дело что сделать через 301 по типу Redirect 301 /index.php http://vetservice.ru/veterinarnaya_klinika я не могу так как получиться замкнутый круг и ошибка. Каким образом мне объяснить Яндексу, чтобы в выдаче он давал http://vetservice.ru/veterinarnaya_klinika а не index? Так как фактически это одна страница.

И второй вопрос, ну или дополнение:

то же самое, но успешно я проделал с другой страницей, она не индекс и ее я перезамкнул через промежуточный файл:

Был файл veterinar.php, посвященный вызову ветеринара на дом. решил сделать из него http://vetservice.ru/vizov_veterinara_na_dom

Это не индекс и тут сделал проще, veterinar.php переименовал в vizovveterinara.php, а далее редиректы

RewriteRule ^vizov_veterinara_na_dom$ vizovveterinara.php

Redirect 301 /veterinar.php http://vetservice.ru/vizov_veterinara_na_dom

И все бы нормально, при запросах что veterinar.php, что vizov_veterinara_na_dom выводиться нужная страница, а vizovveterinara.php для Яндекса невидим, но он никак не хочет выплюнуть из пасти veterinar.php, и посылает пользователя на него, а потом уже хтаксес его перекидывает правильно. И очень давно это уже происходит. Я так понимаю rel=”canonical” тут тоже не помощник. И если такой фокус тут еще удался, то с индексом так не переиграть уже, там остальной сайт висит.

Может вопросы и делитантские, просто я чего-то не понимаю, прошу не пинать сразу.

У меня контент страницы, со страницами дублеров копируются автоматически, и нужно вставить тег на одной странице и он отобразиться по всем дублерам, в том числе появитья и на основной странице.

Так  у большенства наверно, но не видел ответа на вопрос: а если этот тег стоит на странице и указывает на эту же страницу, это не ошибка?

 С уважением.

Интересует тот же вопрос. Поясню.
есть две страницы:
1. http://mim1.ru/category/kuhonnye-garnitury/

2. http://mim1.ru/category/kuhonnye-garnitury/offset20/

 

контент очень похож, главная из них первая.

на обоих страницах стоит 

<linkrel="canonical" href="http://www.mim1.ru/category/kuhonnye-garnitury/" /> 


Вопрос:

нужна ли строка:

<link rel="canonical" href="http://www.mim1.ru/category/kuhonnye-garnitury/" /> 

на главной странице:

http://mim1.ru/category/kuhonnye-garnitury/

Павел Филинков
8 августа 2016, 23:47
Прошу дать разъяснения вот по какому вопросу. Атрибут rel=”canonical” можно задавать несколькими способами: 1. В коде страницы в разделе <head> как <link rel="canonical" href="http://test/" />. 2. В виде заголовка HTTP как Link: <http://test/>; rel="canonical". Некоторые модули CMS (например, модуль metatag для Drupal 7) прописывает одновременно оба этих rel=”canonical” на странице, двумя способами. Эксперты по продвижению компании Link-Assistant считают, что это ошибка и поисковые системы будут игнорировать наличие rel=”canonical”. Хочется понять позицию Яндекс по этому вопросу.
Наш индексирующий робот поддерживает оба варианта использования canonical, поэтому, если на сайте будет использовать оба варианта одновременно, а значение атрибута будет совпадать, робот корректно обработает это указание.
А подскажите, как поведет себя робот, если в canonical указать страницу, которая отдаёт не 200ОК, а 301-й редирект?
Павел Филинков
28 сентября 2016, 12:58
dfkkg,
По логике эта страница учитываться не должна т.к. с нее идёт редирект на другую.
Подскажите, а если прописывает CMS <link href="/kontakty.html" rel="canonical" /> вместо полного адреса url будет ли это ошибкой?
Павел Филинков
10 декабря 2016, 14:23
artis72,
Ошибки быть не может, т.к. это для вас путь относительный, а когда страница отображается то поисковой системе будет скормлен абсолютный путь с именем домена.