Блог Яндекса для вебмастеров

Ищем дубли страниц - опубликована видеозапись вебинара

Пост в архиве.

Опубликована запись пятого вебинара серии «Поисковая оптимизация сайта: вопросы и ответы» — «Ищем дубли страниц».   

Следующий вебинар — «Переезжаем на https» — пройдёт  27 июля, в 12:00 по московскому времени. Внимание, время проведение вебинара было изменено! 

Его проведёт Александр Смирнов, руководитель группы качества поиска. Принять участие в вебинаре могут только зарегистрировавшиеся пользователи.

Зарегистрироваться на вебинар 
«Переезжаем на https»

Ждём ваших вопросов к новому вебинару
Команда Яндекс.Поиска

243 комментария
Станислав Р.
26 июля 2017, 11:32
Спасибо за вебинар. Вы упомянули, что на страницах форума не нужно прописывать канонический мета-тег, потому что контент на них разный. Но почему тогда его нужно прописывать на страницах категорий интернет-магазинов? Там ведь тоже разный контент (разные товары с характеристиками). Например:
https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?page=2
http://www.sotmarket.ru/category/mobiles/pagenum-2.html
https://www.citilink.ru/catalog/mobile/smartfony/?p=2

Елена Першина
Сотрудник Яндекса26 июля 2017, 17:47
Станислав Р.,
Страницы форма, как правило, не будут конкурировать между собой по запросам пользователей. А вот страницы пагинации в каталоге - будут, что может привести к печальным последствиям, о которых говорили на вебинаре.
Елена Першина,
Вот не могу понять, с чего это страницы с разным товаром должны считаться дублями?
У гугла  есть prev next и хоть тысячу страниц пагинации делай, это не приведет к печальным последствиям.
Яндексу гордость не позволяет использовать эти теги?  
Елена Першина
Сотрудник Яндекса30 июля 2017, 14:26
Иван,
Нет, простота. Если есть другие способы что-то точно указать, мы стараемся вводить новые теги. 
Елена Першина,
вы понимаете, что гугл этими тегами дает возможность объединить тысячу страниц в одну, при этом все товары индексируются и нет дублей.
Зачем изобретать велосипед? Возьмите готовое решение, получится стандарт, который избавит ВМов от необходимости подстраиваться под разные ПС.
Елена Першина
Сотрудник Яндекса31 июля 2017, 13:29
Иван,
Вы не поверите, но canonical делает тоже самое, при этом не только для страниц с пагинацией (это частный случай). Возьмите готовое решение из уже имеющегося стандарта. 
Елена Першина,
Так Гугл будет считать контент дублем если указать canonical, т.е доступным по разным адресам.
А если на второй странице пагинации находится ДРУГОЙ товар, то как я могу ставить на ней canonical, товар то не дубль!


https://yandex.ru/blog/platon/2878
platon 16 марта 2016, 13:11 :
watsonia, Прошу прощения, что так долго не отвечал. Если страницы со всеми товарами нет, на страницах пагинации атрибут rel="canonical" можно не устанавливать.


Платон одно говорит, вы другое))) Возьмите гугловские prev next и не морочьте нам голову ;)

Елена Першина
Сотрудник Яндекса31 июля 2017, 18:00
Иван,
Зачем вам в выдаче 20 страниц пагинации? Платон говорит то же, что и я - я же вижу переписку полностью. Не хотите ставить - не ставьте, ваше право. Мы тут можем только озвучить наши рекомендации. 
Елена Першина,


https://yandex.ru/blog/platon/2878 platon 16 марта 2016, 13:11


Платон говорит можете не ставить на страницах пагинации "canonical", вы говорите, что если не ставить, то это может привести к печальным последствиям.
Кто прав?

Контент не дубль, товар разный, зачем нужен каноникал?
Если его поставить, то гугл будет считать контент дублем.

Вы даете советы, которые могут повлиять не только на выдачу в Яндексе.
Елена Першина,
Елена, тут похоже вебмастер сломался, какие-то проблемы с авторизацией
Елена Першина
Сотрудник Яндекса2 августа 2017, 18:10
yc,
Да, проблема была, постарались исправить её максимально быстро. 
Обновлено 2 августа 2017, 18:31
Елена Першина,
Привет что делать если у меня не открывается файл 
platon
Сотрудник Яндекса25 сентября 2021, 01:49
igor-sektgmail-com,
уточните, пожалуйста, о каком именно файле идет речь?
--
Пожалуйста, оцените наш ответ
Вчера Яндекс.Вебмастер нашел у меня дубль страницы. Да, правда, я изменил УРЛ странички для внутреннего упорядочивания контента.
Было
https://www.vodoparad.ru/result/vstraivaemie-akrilovye-vanny.html
Стало
https://www.vodoparad.ru/result/akrilovye-vanny-vstraivaemie.html

Так вот, Вебмастер сказал что переименованная страница является дублем старой несуществующей страницы (т.е. роботу пофигу, что она не отдает 200 статус-код) и выкинул её из поиска, вместо этого, поместив в выдачу устаревший URL.

Прокомментируете?
Обновлено 26 июля 2017, 13:56
Можно ли как-то предупреждать перед тем, как сайт обрушите в поисковом индексе из-за дублей? Не придавал значения дублям. Тут грохнули, - неожиданностью стало. И сразу ваш вебинар по дублям вышел.
Елена Першина
Сотрудник Яндекса26 июля 2017, 17:53
HA-CEHE,
Это не связанные вещи. Уверены, что проблема именно в дублях? 
Елена Першина,
Единовременно было удалено из индекса большое количество страниц 24 июля: по причине дубля половина, вторая половина якобы недостаточно качественная, притянуто за уши. В итоге в исключенных оказалась половина контента и просадка по посещаемости весьма существенная.
валдик г.
26 июля 2017, 19:35
HA-CEHE,
 Такая же ситуация, как быть?
Елена Першина,
 такая же ситуация и у меня с индексом. Полезные страницы с товарами, вылетают из индекса, как "недостаточно качественные". Я знаю, что на этих страницах каталога нет текста, есть только товары. Почему Яндекс считает страницы подкатегорий некачественными? Просто потому что на них нет seo-текстов?
Елена Першина
Сотрудник Яндекса27 июля 2017, 11:37
Артём,
тут так:
1) Некачественные страницы, это те, которые почти не имеют шансов попасть в результаты поиска - не конкурентноспособны на фоне ответов других сайтов. 
2) Если такие страницы удаляются, сайт обычно поисковый трафик не теряет вообще - так как эти страницы и так в поиске не показывались.
3) Если вдруг у вас реально пропали страницы, которые генерировали трафик (например, это видно по Вебмастеру и Метрике) - напишите в нашу поддержку, проверим, почему такое могло произойти. 
Соловьев Алексей Юрьевич
31 июля 2017, 21:33
HA-CEHE,
Потерял 24 июля 83 страница с товарами и из блога. Очевидно 24.07 была какая-то внутренняя проблема. Статус исключенных страниц был "Недостаточно качественная информация". Ну я не буду зудеть, про то что Яндекс вообще пилювать хотел на классику русской журналистики, коль скоро мы все живем в век АЛГОРИТМОВ. После обращения в поддержку за разъяснениями, мне отразили исключенные страницы задним числом, начиная с 11 июня. Такая вот ерунда
Елена Першина,
Здравствуйте! В какую техподдержку обратиться, если на графике Индексирование - Страницы в поиске исключена по Clean-param резкий скачок вниз и обратно вверх на те же позиции в течение двух дней 23, 24 сентября. Но после этого скачка произошло явное уменьшение посещаемости, просадка трафика, в меньших масштабах, чем 26 июля я писал.
Елена Першина
Сотрудник Яндекса3 октября 2017, 14:25
HA-CEHE,
Не очень поняла вопрос, но вообще подобное поддержка Вебмастера разбирает.
Нет ничего плохого в том, что по Clean-param были исключены страницы - если сам Clean-param был настроен корректно. 
Елена Першина,
В поддержке вебмастера нет наводящей проблемы про исключенные страницы - что делать, если из-за исключенных страниц сайт теряет трафик. А еще конкретнее, скачок графика Clean-param, когда количество исключенных по Clean-param резко уменьшается, потом так же резко возвращается на прежний уровень (растет), - а результат - уменьшение трафика. Как я подозреваю, ваш робот считает резкое увеличение страниц по Clean-param негативом и пессимизирует.
Елена Першина,
Clean-param настроен правильно (прошлого раза с меня хватило). Тут "технический" скачок графика вниз-вверх.
Елена Першина
Сотрудник Яндекса3 октября 2017, 19:44
HA-CEHE,
Тогда так и спросите у поддержки - почему выпали, а потом вернулись страницы при правильно настроенном Clean-param (если это правда так).
Елена Першина,
Куда спросить? https://yandex.ru/support/webmaster-troubleshooting/index.html здесь нет нормальной формы 
Елена Першина
Сотрудник Яндекса3 октября 2017, 21:16
HA-CEHE,
Есть, в разделе индексирование по вашему вопросу.
Как бороться с ситуацией, когда существуют страницы типа site/?param1&param2, а робот видит каким то образом страницы site/?param2&param1. Причем параметров может быть более 2-х.
Елена Першина
Сотрудник Яндекса26 июля 2017, 22:07
lp-up,
Каноникал должен помочь. 
Елена Першина,
ЛОЛ! То есть Вы не знаете , но советуете?!? Отлично.
Елена Першина
Сотрудник Яндекса3 августа 2017, 17:13
anton.savajik,
То есть мы знаем и советуем. 
anton.savajik,
посмотрите ниже, я им на это указывал еще 2 года назад. Теперь они ссылаются на некоторые международные стандарты, при это не признают, что генерируют этот  бред сами. Сначала они уверяли меня, что индексируют только те урлы на которые есть ссылки, теперь об этом даже не говорят
Для дублирующих страниц товара типа site.ru/игрушки/товар и site.ru/товар вы рекомендовали использовать атрибут rel="canonical"


Подскажите, пожалуйста, если такая ситуация с категориями

site.ru/категория/подкатегория

site.ru/подкатегория

Что лучше использовать  rel="canonical" или 301 редирект?
Елена Першина
Сотрудник Яндекса27 июля 2017, 11:28
tigrushkii,
Можно использовать оба варианта.
Я на новый домен загрузил дубль главной страницы сайта который давно уже работает и в индексе яндекса, хотел переделать дизайн, и проверял это все на новом домене, получилось так что новый домен был проиндексирован яндексом с тем же контенотом что и рабочий сайт. В то же время рабочий сайт попал под фильтр и улетел за 40 со сових позиций. Связанно это с дублем на новом домене или фильтр прилетел сам по себе?
Елена Першина
Сотрудник Яндекса27 июля 2017, 11:29
mackursk,
С таким вопросом лучше разбираться в поддержке.  Нужно смотреть - нарушение это или простая склейка зеркал. 
monetypochtoi.ru
27 июля 2017, 00:29
Спасибо очень полезно! Но у меня, продажа монет, монеты одинаковые, каталог, но фото монет разные чтобы клиент мог выбрать ту монету которая его устроит. У монет есть такая характеристика как сохранность, и я должен предоставить все одинаковые монеты разного сохрана, а они ушли в дубли, что делать в этом случае. Описать по триста одинаковых монет нет возможности, но монеты по сохрану разные, а поиковика будут одинаковы. Т.е. речь идет о каталоге, как быть????
Елена Першина
Сотрудник Яндекса27 июля 2017, 11:30
monetypochtoi.ru,
Попробовать сделать страницу с параметрами выбора. В самом простом виде - хотя бы таблицей, например, год и сохранность дают стоимость. Но как это лучше реализовать - конечно, вам решать. 
monetypochtoi.ru
29 июля 2017, 04:15
Елена Першина,
Спасибо за ответ, буду думать
Здравствуйте! У меня возник вопрос , который появился как проблема  относительно не давно. Дело в плагине АМП, который генерирует две одинаковые страницы. Например : в моем случае http://stroivagon.ru/geologiya/raschet-ustoychivosti-sklona.html http://stroivagon.ru/geologiya/raschet-ustoychivosti-sklona.html/amp


Интересно, что Яндекс считает их дублями а гугл нет, но ведь оптимизация мобильных устройств необходима как для Яндекса так и для гугла.Вопрос: стоит закрывать ссылку с окончанием /amp  от индексирования в роботе ( например, следующими кодами
Disallow:*/*amp
Allow:*/*.html) или нет. С ув. Сергей
Поучительно, спасибо!
У меня много страниц типа таких - /krasnodar.shtml/images/foto/... или /sochi.shtml/images/foto/...
Как до и после shtml сделать запрет, так правильно?
Disallow: /*.shtml/*/
Спасибо!
Елена Першина
Сотрудник Яндекса27 июля 2017, 19:48
Витомир,
Достаточно просто Disallow: *.shtml/*
Обновлено 27 июля 2017, 19:48
Спасибо! Я правильно понимаю, всё что после shtml будет в запрете, но то что до, запрет не коснется?
Спасибо!
Елена Першина
Сотрудник Яндекса28 июля 2017, 11:57
Витомир,
Будет все так, как вы и хотели в описанном выше вопросе. Но вы можете проверить работу запрета в инструменте Анализ robots.txt - чтобы точно убедиться, что вас все устраивает.. 
Обновлено 31 июля 2017, 12:04
Елена Першина,
Благодарю!
Елена Першина,
Доигрался с запретами (до Вашего ответа) и сегодня большая часть страниц вылетела из поиска. Ошибку обнаружил и исправил. Как долго ждать возврата страниц в поиске и нужно ли что-то делать?
Спасибо!
Елена Першина
Сотрудник Яндекса2 августа 2017, 12:05
Витомир,
Если ошибка исправлена, то ничего дополнительно делать не нужно. Самые важные страницы можно в переобход закинуть (там сейчас лимит в день 20 страниц), чтобы они быстрее вернулись в поиск. 
Елена Першина,
Спасибо большое! Я так и сделал.
Удалённый пользователь
27 июля 2017, 12:25
Что вообще происходит с поисковиком? День сайт в топе (по определенным запросам), после падает на позиции ниже 40, через неделю поднимается в топ, через несколько дней падает нище 50.... Что это такое вообще?Написал в поддержку 2 недели нет ответа.
ЭНЕРГОПУСК
27 июля 2017, 12:35
Спасибо за вебинар. 
У меня на сайте elleron.ru  та же проблемка, есть множество товара сотни, к примеру Электодвигатель 3кВт, 5кВт, 6 квт и тд...
описание на страничке каждого товара  Общее, так как производитель один, только параметры, вес, размер мощность другая, но Робот в ВебМастере распознал как "недостаточно качественная страница", или "дубль", так как описание идет общее всей линейки серии. Как можно не нарушая правил, вернуть данные странички в индекс?
Елена Першина
Сотрудник Яндекса27 июля 2017, 19:56
ЭНЕРГОПУСК,
Попробовать сделать на одной странице сравнение этих товаров - параметрами, таблицей, иным образом, который для вас удобен и понятен индексирующему роботу. 
Здравствуйте!
Приведите, пожалуйста, пример сайта, на котором правильно настроена индексация страниц каталога товаров с использованием rel="canonical"?
Спасибо!
Елена Першина
Сотрудник Яндекса27 июля 2017, 19:55
printfx,
Мы же не анализируем вручную каждый сайт и не смотрим, что именно и как настроено на конкретном ресурсе, поэтому у нас нет таких примеров. А вот неправильный - просто море - по обращения в поддержку. Но у каждого свои ошибки - о наиболее частых как раз на вебинарах и рассказываем. 
Елена Першина,
Ну, причина все-таки в том, что назвав такой сайт, Вы сделаете ему рекламу :) Ладно, проехали. У Google есть статья с рекомендациям как настроить rel="canonical" для каталогов. И здесь несколько моментов. 1. Ваши рекомендации и рекомендации Google не согласуются, т.е. проблематично выполнить их одновременно. Так, для внутренних страниц каталога вы рекомендуете либо не указывать rel="canonical", либо указать действительный url этих страниц, а  Google рекомендует указывать в rel="canonical" для внутренних страниц url первой страницы + rel="prev", rel="next". Т.е. по логике Google все страницы, участвующие в пагинации, представляют собой как бы один документ. Понятно, что вы не имеете никакого отношения к Google, но страдаем от таких  противоречий мы, вебмастера. 2. Как настроить индексацию, если на странице, кроме пагинации "первая,2,3, .., последняя" есть select, в котором можно выбрать количество товаров, отображаемых  на странице? Т.е. получается плавающее разбиение на страницы.
Спасибо.
Обновлено 28 июля 2017, 01:55
Елена Першина
Сотрудник Яндекса28 июля 2017, 14:55
printfx,
"Так, для внутренних страниц каталога вы рекомендуете либо не указывать rel="canonical", либо указать действительный url этих страниц" - у нас нет таких рекомендаций, мы советуем для страниц пагинации указывать именно первую страницу.
Если URL-адрес страниц не меняется при этом, настраивать ничего не нужно. В случае, если адрес изменяется, то страницы фильтров строит запретить в robots.txt
Елена Першина,
URL страниц меняется, если запретить в  robots.txt страницы каталога индексироваться не будут - это же очевидно!
Цитирую ответ Платона Щукина:
Наш индексирующий робот в настоящий момент не поддерживает обработку атрибутов rel="prev", rel="next", поэтому такие атрибуты будут роботом игнорироваться. Если Вы хотите, чтобы такие страницы пагинации индексировались и участвовали в поиске, то для их корректного индексирования атрибут rel="canonical" необходимо убрать, либо указать в нем адрес непосредственно этой страницы.
Если же такие страницы не должны индексироваться роботом, то мы рекомендуем настраивать атрибут rel="canonical" с указанием той страницы, которая должна участвовать в поиске. Атрибуты rel="prev", rel="next" при этом не помешают: наш робот их проигнорирует.

Елена Першина
Сотрудник Яндекса30 июля 2017, 14:23
printfx,
Запрещение незначимых фильтров не означает запрещение страницы как-таковой - если этот запрет правильно реализовать. 
Елена Першина,
вопрос был о другом, но скорее всего пока на него ответа нет :)
Здравствуйте!
Подскажите  Яндекс поисковик так не любит наш сайт source-cs.ru ?
2 года одно и тоже.. 2 дня на первых позициях год на 40 сороковых.
И что самое интересное посещаемость у сайта топовая а Яндекс поисковик его просто
не хочет индексировать на первых позициях.
ПОДСКАЖИТЕ КАК БЫТЬ 2 года прошло.. я  несколько раз обращался в тех поддержку мне писали ждите
но 2 года это уже смешно.. в Гугле мы по данным запросам в топе
А в Яндексе 2 дня повесели и опять 25.. в 45 позиции (На скриншоте образец теста в поисковиках) http://pastenow.ru/1W3C3
Помогите пожалуйста?( 
Станислав Р.
28 июля 2017, 11:10
salamon.83,
у вас обычный переспам - http://prntscr.com/g1bmcz
Оставьте 1-2 вхождения в тексте и будут позиции, как в гугле.
Станислав Р.,
Приветствую! 
Писали в тех поддержку, на что нам ответили 
Yandex.Search support <webmaster@support.yandex.ru>
Кому: GameINTeriMedia
сегодня, 14:33


Здравствуйте, Александр!


Мы проанализировали ситуацию с Вашим сайтом: с ним все в порядке, и ограничений в его ранжировании с нашей стороны нет.
Я попробую прояснить, с чем может быть связано изменение позиций.
===========================================================
Ну а если был бы переспам , http://source-cs.ru/ , то по другим запросам сайт хотя бы был на 1 позициях например как, css v34, или ксс в 34, 
(Все разом улетели в низ на 4 страницы).


А например на этой ссылки, http://source-cs.ru/ucp/ , запрос, скачать ucp, остались не тронуты на 1 позициях.
Станислав Р.
28 июля 2017, 15:18
salamon.83,
во-первых, техподдержка проверяет только наложение хостовых фильтров, которые затрагивают весь сайт. У вас фильтры постраничные, поэтому они и написали, что "проблем нет".


Во-вторых, у вас переспам как-раз по ключу "css v 34", который поисковым роботом приравнивается к ключам:
ксс в 34
css v34
ксс в34


Поэтому по всем по ним страница под фильтром.
Станислав Р.,
Как я понимаю вы скриншот делали этой страницы 
http://source-cs.ru/css34.php
А речь идет за главную страницу http://source-cs.ru/  
На этой вроде нет переспама 
Станислав Р.
28 июля 2017, 16:06
salamon.83,
так у вас и на главной тоже самое - http://prntscr.com/g1f6f1
Станислав Р.,
Сократил ключевые слова.. 
Если вас не затруднит можете протестировать по данной ссылки http://source-cs.ru   ?) 
Станислав Р.
28 июля 2017, 19:07
salamon.83,
вот это вообще уберите - http://prntscr.com/g1hn9f
Станислав Р.,
А сейчас нормально http://source-cs.ru  (18 совпадений ) ? 
Станислав Р.
28 июля 2017, 20:52
salamon.83,
Сейчас нормально. Тоже самое сделайте тут http://source-cs.ru/css34.php
Станислав Р.,
Приветствую! 
Перепробовал все по поводу того что сайт 
source-cs.ru не поднимается по запросам и наткнулся на 
========================================
http://tools.promosite.ru/old/clones.php

--------------------------------------------------
Поиск аффилированных сайтов: source-cs.ru
Архив, собранный через XML в 2010 (по выборке ~20% хостов Яндекса)
Аффилиатов у source-cs.ru НЕТ, а сам сайт в базе есть.
========================================
Не подскажете решение? 
Станислав Р.
30 июля 2017, 11:29
salamon.83,
ну так если аффилиатов нет, значит все ОК.
Станислав Р.,
Показывает что есть https://prnt.sc/g22m4m
Наш сайт http://source-cs.ru/ сайт который указан , он исключен из поиска за вирусы а так же его уже давно нет и он не наш http://css-boost.ru/
Обновлено 30 июля 2017, 12:36
Станислав Р.,
ТЕСТ ОНЛАЙН https://be1.ru/affiliation/
Наш сайт оригинал http://source-cs.ru/
Клон вредоносный http://css-boost.ru/
Станислав Р.
30 июля 2017, 17:46
salamon.83,
нет у вас аффилиатов. Проверять лучше тут https://tools.pixelplus.ru/tools/affiliation


К тому же, аффилиаты бывают только по коммерческим запросам.
Станислав Р.,
Спасибо вам огромное! 
salamon.83,
Привет еще раз 
https://tools.pixelplus.ru/tools/affiliation

Статус
Указанные проекты http://counter-strike-source.ru/ и source-cs.ru признаны аффилированными в Яндексе. 
Как исправить подскажите? (

Обновлено 31 июля 2017, 20:07
salamon.83,
Вернее
Указанные проекты http://source-cs.ru/ и http://counter-strike-source.ru/ признаны аффилированными в Яндексе. 
Станислав Р.
31 июля 2017, 22:31
salamon.83,
да оба этих сайта примерно на одних и тех же местах находятся (где-то на 40-60), так что он вам не мешает. Если бы он мешал, то он был бы в топе.
Станислав Р.,
Привет!
Я тут по моему еще на чудил, тем что к "sitemap.xml" прописывал ссылки
Данные ссылки находились в разделе файл Sitemap около года


http://source-cs.ru
http://source-cs.ru/css/
http://source-cs.ru/ucp/
http://source-cs.ru/css34.php
http://source-cs.ru/downloads/


а нужно было как я понимаю только
http://source-cs.ru/sitemap.xml


Скриншот  -  http://rgho.st/7XZq7mnsc
Так вот..
как долго сайту нужно теперь времени чтоб все встала на свои места? 
Станислав Р.
1 августа 2017, 17:50
salamon.83,
да это все вообще ни на что не влияет, я ж написал, что у сайта переспам. Переспам проходит через пару недель после удаления лишних вхождений.
Станислав Р.,
Привет! Подскажите для Яндекс поисковика это один и тот же запрос?
скачать css v34
скачать ксс в34 

Станислав Р.
4 августа 2017, 20:21
salamon.83,
"скачать ксс" и "скачать css" - да, а "в34" и "v34" - нет.
Станислав Р.,


Как я понимаю и в гугл "скачать ксс" и "скачать css" это один и тот же запрос?



Подскажите если вас не затруднит)
Тут все правильно прописано , я про то чтоб не было переспама?


<meta name="keywords" content="css v34, скачать css v34, скачать css v 34, скачать css, скачать ксс, css v 34, ксс в 34, ксс в34, скачать ксс в 34, скачать ксс в34, контр страйк соурс, скачать кс соурс, ксс, css" />
salamon.83,
Все ключевые запросы========================
css v34

css v 34

ксс в 34

ксс в34

 скачать css v 34

скачать css v34

скачать ксс в 34

скачать ксс в34

скачать css

скачать ксс

css

ксс
Станислав Р.
4 августа 2017, 21:27
salamon.83,
для гугла "в34" и "v34" - это тоже одинаковые запросы. Правильно так:


<meta name="keywords" content="скачать css v34, контр страйк соурс, кс" />
Станислав Р.,

 Ну вы прям вообще урезали ключевые слова, я боюсь с гугла по позициям упадем)


Оставил:
<meta name="keywords" content="css v34, скачать css v34, скачать css v 34, скачать css, css v 34, контр страйк соурс, скачать кс соурс, css" />


Вроде нет переспама?) 
salamon.83,
Я так понимаю это одни и те же запросы?
css v34

css v 34
Станислав Р.
5 августа 2017, 11:43
salamon.83,
да. Более того, второй запрос Яндекс вообще считает опечаткой - https://yandex.ru/search/?msid=1501922527.60697.22871.21028&text=css v 34
Станислав Р.,
Все верно, вы правы.. но в гугле не считает
Многие пишут что "keywords" не Яндекс не Гугл не учитывают с 2011 года
Ну я все же поставил ваш вариант
<meta name="keywords" content="скачать css v34, контр страйк соурс, кс" />

Так как это только лишний переспам для сайта. 



Станислав Р.,
Приветствую 
http://source-cs.ru/

Подскажите еще, данные вхождения "CSS v34"считаются разными, или это все 5 одинаковых вхождений? 
Скриншот  http://rgho.st/6CNyXqXZM

И нет ли тут переспама по запросу "css v34" ?   
Обновлено 6 августа 2017, 09:40
Станислав Р.
6 августа 2017, 12:05
salamon.83,
одинаковые. Нет переспама.
Станислав Р.,
Спасибо вам большое! 
Следуем вашим рекомендациям! 
Если сайт появится в поисковике "Яндекс" я даже и не знаю как вас отблагодарить)   
Станислав Р.,
Здравствуйте!
Подскажите можно делать с удаленных страниц "редирект"  на 200 ок


http://monitor-css.ru/server_info/46.174.52.26:27258/ 
на 
http://monitor-css.ru/



Вернее не удаленных, а полу живых
Там сам движок мониторинга сложный


Если я сделаю редирект то это примерно 500-700 страниц будут ссылаться на http://monitor-css.ru/ то этот сайт не попадет под фильтр? 

Станислав Р.
8 августа 2017, 16:07
salamon.83,
нет разницы, просто вы их удалите или редирект поставите. Эффект будет одинаковый.
Станислав Р.,
Спасибо! Поставили "Редирект" 
Станислав Р.,
Приветствую 
20 дней прошло и сайт http://source-cs.ru/   так и находится под фильтром  
в Яндексе. 
А в Гугл 1 позиции по запросами "css v34" посещаемость очень высокая но Яндекс держит сайт на 50-тых позициях
http://rgho.st/68RhlNRSl

Может в чем-то другом проблема?( 
Станислав Р.
17 августа 2017, 11:51
salamon.83,
проблема 100% в переспаме - http://prntscr.com/g9j9jc
Уменьшайте количество вхождений.
Станислав Р.,
по запросам 
скачать ксс в34
скачать ксс в 34

скачать css v 34

вхождение вообще нету 
а по 
скачать css v34 только одно 
Станислав Р.,

34 - 15 

css v34 - 5 

других вхождений нету 
Станислав Р.
17 августа 2017, 22:57
salamon.83,
ну вот везде, где 34, и уменьшать.
Станислав Р.,
Привет
Как я понимаю фильтр стоит не по запросам а всю страницу?
Так как у нас и эти запросы на 50 строчках а были на 1-2 строчках
cs source
кс соурс
=========================
cs source - 2 ВХОЖДЕНИЕ
кс соурс - 1 ВХОЖДЕНИЕ
В ПОИСКЕ ТОЖЕ ФИЛЬТР 
Станислав Р.
18 августа 2017, 11:02
salamon.83,
да, на всю.
Станислав Р.,
Здравствуйте!
Подскажите, Описание 
<meta name="description" content="Counter-Strike: Source v34 бесплатно. Скачать CSS v34, КСС в 34. Клиент полностью на Русском языке с рабочим поиском серверов с ботами" />

На сайте http://source-cs.ru/
и на сайте http://source-v34.ru/
Можно чтоб были одинаковые?  
<meta name="description" content="Текст" />
Станислав Р.,
И попереспаму
Яндекс тоже считает это как одно вхождение по ключевому слову 
"css v34" ?
http://source-cs.ru/
http://rgho.st/74DbWmrrD 
Станислав Р.
24 августа 2017, 11:27
salamon.83,
описания нужно делать разными. Да, считает за вхождение.
Станислав Р.,


<meta name="description" content="Counter-Strike: Source v34, КСС в 34. Скачать CSS v34 бесплатно. Клиент полностью на Русском языке с ботами с рабочим поиском серверов" />


<meta name="description" content="Counter-Strike: Source v34 бесплатно. Скачать CSS v34, КСС в 34. Клиент полностью на Русском языке с рабочим поиском серверов с ботами" />


Так нормально? 
Станислав Р.
24 августа 2017, 12:23
salamon.83,
нормально.
Станислав Р.,
Привет 
По моему это не переспам а Яндекс троит 
В вебмастере  какие то сторонние ссылки 


https://yandex.ru/search/?text=http%3A%2F%2Fsource-cs.ru%2Fvideo%2Fvip%2F4357%2Fkrasota_i_zdorove%2Fdzhaz_modern_uroven_1&lr=36



КРАСОТА, ЗДОРОВЬЯ, ОБРАЗОВАНИЕ
http://source-cs.ru/video/vip/4357/krasota_i_zdorove/dzhaz_modern_uroven_1
http://source-cs.ru/video/vip/5697/razvlechenija/lichnaja_zhizn_papinykh_dochek
http://source-cs.ru/video/vip/8045/khobbi_i_obrazovanie/chapati
http://source-cs.ru/video/vip/5428/razvlechenija/ehvelina_bljodans_i_viktorija_lopyreva_khotjat_detej


3 года у нас этот домен и это игровой сайт (контр-страйк) И что ха красота и здоровье что за тематика вообще?
Какая та библиотека это не наша тематика и ссылки откуда эти взялись?  

Станислав Р.
25 августа 2017, 16:34
salamon.83,
где конкретно эти ссылки находятся?
Станислав Р.,


В веб мастере Яндекса
http://rgho.st/7gyD2QB9K
Станислав Р.
25 августа 2017, 16:51
salamon.83,
значит, на них где-то ссылки стоят в интернете. Посмотри в разделе "Внешние ссылки".
Станислав Р.,

Это ссылки от моего домена как я понимаю, но этих ссылок у меня никогда не было, это какой то сбой скорее всего в поисковой системе Яндекса
http://source-cs.ru/video/vip/4357/krasota_i_zdorove/dzhaz_modern_uroven_1 
Станислав Р.,
Нашел сайт этот но к нам то он как относится не понимаю?
http://yourgames.ucoz.ru/video/vip/4357/krasota_i_zdorove/dzhaz_modern_uroven_1



(/video/vip/4357/krasota_i_zdorove/dzhaz_modern_uroven_1)
Станислав Р.,
Написал там штук 10 таких ссылок разных ПРИМЕР 
ЯНДЕКС 
https://yandex.ru/search/?text=http%3A%2F%2Fsource-cs.ru%2Fvideo%2Fvip%2F4357%2Fkrasota_i_zdorove%2Fdzhaz_modern_uroven_1&lr=36&clid=1993899&win=192



ГУГЛ 


https://www.google.ru/search?newwindow=1&q=http%3A%2F%2Fsource-cs.ru%2Fvideo%2Fvip%2F4357%2Fkrasota_i_zdorove%2Fdzhaz_modern_uroven_1&oq=http%3A%2F%2Fsource-cs.ru%2Fvideo%2Fvip%2F4357%2Fkrasota_i_zdorove%2Fdzhaz_modern_uroven_1&gs_l=psy-ab.12...133216.134042.0.135927.2.2.0.0.0.0.200.385.0j1j1.2.0....0...1.1.64.psy-ab..0.0.0.0._kv_oMqKG70



==============================
В Яндексе почему то эти ссылки ссылаются на мой сайт 
Может поэтому и не индексировался нормально в Яндексе 2 года на 45 позициях абсолютно по любым запросам 
Станислав Р.,
Привет! Техподдержка написала 
Здравствуйте, Александр!
Эти страницы запрещены для индексирования в файле robots.txt, поэтому в поиске не участвуют и никак не влияют на индексирование Вашего сайта. Отображение этих ссылок в сервисе Яндекс.Вебмастер носит исключительно информативный характер. Если ссылки на данные страницы отсутствуют, то со временем информация о них пропадет автоматически.
К сожалению, источники ссылок не сохраняются в нашей базе: робот может найти их в файле sitemap, в исходном коде страниц Вашего сайта, а также с других ресурсов интернета. При этом ссылки могли появиться по следующим причинам:
- Внешние ссылки.
Проанализировать входящие ссылки Вы можете при помощи этого инструмента: https://webmaster.yandex.ru/site/indexing/external-links/ .
- Некорректно указаны относительные ссылки, отсутствует тег <base>.
Проверьте, присутствует ли тег <base> на всех страницах сайта и убедитесь в корректности указанных ссылок.
- Имеются ошибки на стороне CMS или "движка" сайта.
В этом случае мы рекомендуем обратиться к разработчикам CMS или поискать информацию на специализированных форумах.

Станислав Р.,
Подскажите еще что за <base> и как его прописать?
Не на одном ТОПОВОМ сайте его не увидел нет его он не стоите вообще и почему я его должен прописать <base> ?
Станислав Р.
26 августа 2017, 10:44
salamon.83,
https://ruseller.com/lessons.php?id=2067
В общем, никак это не влияет, забей.
Станислав Р.,
Понял-принял!
Нашел еще какой то подозрительный сайт который ссылается на наш сайт 
http://notice.iptv.by/nomoney.php?n=rdostoevskogo35_82a&reason=3&host=source-cs.ru&url=/&params=

Скриншот http://rgho.st/8hPb5G5KW
СТРАННО ВСЕ ЭТО. 
Станислав Р.
26 августа 2017, 11:23
salamon.83,
он ссылается на тот сайт, который указан в GET-параметре host. Например, так он будет ссылаться на yandex.ru - http://notice.iptv.by/nomoney.php?n=rdostoevskogo35_82a&reason=3&host=yandex.ru&url=/&params=
Станислав Р.,
Почему он тогда в разделе 
( http://source-cs.ru/ Веб мастер /Внешние ссылки) ?
http://notice.iptv.by/nomoney.php?n=rdostoevskogo35_82a&reason=3&host=source-cs.ru&url=/&params=

И нам этот сайт вред никакой не принесет?
Станислав Р.
26 августа 2017, 11:57
salamon.83,
потому что этот URL попал в индекс. Вреда никакого нет.
Станислав Р.,
Привет 
Сайт неделю по висел http://source-cs.ru/ в Яндексе с 4 по 10, и упал на 45 позиции 
http://rgho.st/79F4LF6st



И не знаю что за издевательство, ссылок только одна вхождений 1-2 все 
что еще ему нужно.


Единственное я заметил то что когда сайт http://source-cs.ru/ был на 1 позициях то этот (тоже наш сайт) http://source-v34.ru/ просто попал под фильтр.


А вот сегодня как сайт http://source-cs.ru/  попал под фильтр то этот http://source-v34.ru/  сайт  вышел с под фильтра 


То есть ИНДЕКСИРУЕТСЯ
либо этот http://source-v34.ru/
либо этот http://source-cs.ru/
ТОЛЬКО КАКОЙ ТО 1 САЙТ 

Станислав Р.,
Статус
Указанные проекты source-cs.ru и source-v34.ru признаны аффилированными в Яндексе.
http://rgho.st/86fdNHVH9

То все нормально было, а теперь аффилированны
Станислав Р.,


Были одинаковые только название сайта <title></title>
http://source-cs.ru/ Counter-Strike: Source v34, ксс в 34, Скачать css v34
http://source-v34.ru/ Counter-Strike: Source v34, ксс в 34, Скачать css v34


Сейчас изменил,
http://source-cs.ru/ Counter-Strike: Source v34, ксс в 34, Скачать css v34
http://source-v34.ru/ Counter-Strike: Source v34, Скачать css v34


Но не думаю что это повлияло, так как таких сайтов полно.
После переезда сайта на https индексирование новых страниц не происходит. Их больше нет в поиске. Несколько старых страниц, которые находились в топе исключены из поиска в формулировкой "Недостаточно качественная". Речь об уникальном контенте - описании книг. Так же на страницах приводятся ссылки на книгу и её аудиоверсия в видеоформате. Страница признана недостаточно качественной. Из поиска убрана. И теперь в топе либо выдаётся книга без описания, либо однотипные переделанные сео-статьи.
Действуя по инструкции перехожу на вкладку нарушения и выбираю сайт - нарушений не обнаружено. Связаться с тех.поддержкой Яндекс.Вебмастера также невозможно.
Как решить данную проблему? Или всё, про сайт можно забывать? Яндекс роботы на столько тупые, что 100% уникальный авторский контент, не заточенный под СЕО запросы теперь автоматически попадает в спам-лист как некачественный?
Станислав Р.
28 июля 2017, 15:20
FPG-Arbyus,
https://yandex.ru/blog/platon/2778 - переезжали по этой инструкции?
Станислав Р.,
да. всё чётко по ней.
Станислав Р.,
кстати, да. Благодарю. У меня тоже по ней поиск отработал чётко. Добавлена 4 часа назад.



А по данным Веб Визора последнее обновление было 27.07.2017.
То есть, он инфу по добавлению страницы в поиск не светит. Странно как-то.
Бауцентр
28 июля 2017, 16:41
Спасибо, очень полезный вебинар!
День добрый! В видео обещали выложить шпаргалку по дублям.  Я не вижу, или ее нет?
Посоветуйте пожалуйста!


На сайте ~10000 страниц, ~5000 совсем старые (10 лет) и не очень качественные (просто качество со временем росло). Это новости, некоторые схожие по содержанию (в новости вставлялся одинаковый кусок текста-описания, в общем не дубли). Реальные пользователи туда не заходят. А вот Яндекс постоянно реиндексирует. Хочу их удалить, что-бы просто почистить сайт и снять нагрузку. В общем, они ненужны.


NB! Опасения следующие: не будет ли плохо для ресурсу от потери такого большого количества страниц? И да, на них все же стоят ссылки (люди по ним не ходят, конечно), которые дают какой то вес ресурсу в целом.


Спасибо!
Елена Першина
Сотрудник Яндекса31 июля 2017, 18:02
flatcher321,
Удаление ненужных страниц - не проблема. Главное точно понять, что они не нужны. Это можно сделать, оценив, сколько и откуда на них трафика приходится. Если страницы есть, совпадающие по темам - лучше их удалять с редиректом. 
Елена Першина,
спасибо за быстрый ответ! :) Но я забыл уточнить еще один момент: будет ли польза от такого шага? Еще раз спасибо за внимание. ;)
Елена Першина
Сотрудник Яндекса1 августа 2017, 22:07
flatcher321,
Опять же зависит от трафика. Если он есть - то не факт, может даже вред быть. А если страницы ненужные, но тратят ресурсы робота на обход - да, может быть и польза. Я бы начала с эксперимента с небольшим количеством страниц, на которые точно нет трафика. 
Добрый вечер. Подскажите, пожалуйста, у меня сайт best-mother.ru (статейный и каталог садов) и там очень много дублей, хотя я вроде в CMS установил параметр canonical (тк ряд страниц доступы иногда как в конечном разделе, так и в не конечном разделе, также этот параметр добавил и для страниц пагинации). Сделал такие правила давно, а в обходе еще за 26 июля снова вижу.  в чем может быть дело?
Обновлено 2 августа 2017, 11:59
Елена Першина
Сотрудник Яндекса2 августа 2017, 12:00
Alexsik-a,
Обходить-то мы их можем, мы  не канонические страницы не должны в поиск отдавать. Если вдруг неканонические страницы у вас в поиск попали - тогда нужно в поддержку писать. 
Для чего все эти вебинары? Над чем работать, если я.директ занимает 4 позиции а я.карты вылазят на 5-ом месте? У меня раб. ноут 15.6 дюйм. ВЕСЬ первый экран выдачи - спецразмещение в Директе где размещают мягко говоря ..........


Обновлено 1 августа 2017, 10:28
C6V расчет доставки
1 августа 2017, 21:39
У вас не работает не один механизм для  сайтов на js.
Например если сделать настройки подобных сайтов по вашему же faq, то получишь вот такую картинку например:
Счел дублями
/integrations?_escaped_fragment_=
/integrations
И так весь сайт полностью, включая и главную. От сюда не чего не индексируется как нужно.
Так что, товарищи, вместо вебинаров, сидели бы пилили фичу с индексацией js, как гугл.



Обновлено 1 августа 2017, 21:39
Елена Першина
Сотрудник Яндекса2 августа 2017, 18:34
C6V расчет доставки,
У вас исключаются страницы HTML-копий, но страницы по нужным адресам в поиске? Это нормальная ситуация, робот получает контент с копий и включает страницы по нужным адресам.
C6V расчет доставки
2 августа 2017, 18:44
Елена Першина,
сейчас у меня вообще проблема с снипетами. не чего не трогал на сайте уже пол года как почти, пропали все снипеты в выдаче. В снипетах только тайтл и все =( 
Елена Першина
Сотрудник Яндекса2 августа 2017, 19:03
C6V расчет доставки,
точнее, конечно, поддержка Вебмастера подскажет, увидев сайт. Но вообще так обычно бывает, когда робот не получает контент с сайта. 
Здравствуйте! А есть живые примеры с использованием селекторов для размещения на странице во избежание создания дублей?
Обновлено 4 августа 2017, 13:34
Очередной апокалипсис от яндекса. Я еще годы назад поднимал тему о том, что вы генерируете дубли сами. Не понятно из-за чего, но посещаемость упала на 50%. Ваша техподдержка ничего не сказала совсем. И что теперь делать? В вашем вебмастере ничего не сказано, почему упала посещаемость? Очередной ваш косяк, которые вы плодите регулярно.
Проводник,
Как решить то, что вы нагенерировали?:
/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files
/index.php?&op=view&id=3857&name=files&ops
/index.php?&op=view&id=3857&name=files&files
/index.php/index.php?&op=view&id=3857&name=files


Ваша техподдержка :


Здравствуйте, Дмитрий!
Благодарим Вас за то, что обратили внимание на проблему с индексированием Вашего сайта. Часть страниц, действительно, может отсутствовать в результатах поиска, при этом никаких санкций на них не наложено.
Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные и уникальные страницы сайтов. Мы всегда работаем над совершенствованием алгоритмов, принимающих решение по включению тех или иных страниц в результаты поиска, и примеры страниц Вашего сайта переданы в поисковый отдел нашей компании для анализа и последующей корректировки алгоритмов.


И такую муть я получал на протяжении 7 лет от вас
Проводник,
Хотелось бы посмотреть на ваше решение для:




/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files
Вот за это спасибо. По делу и конкретно. Ещё бы неплохо громко предупреждать людей, устанавливающих ваш движок для поиска по сайту, что он генерит несметное количество дублей, и что это нужно привентивно пресекать в robots сразу после установки поиска на сайте. Если такое есть - пардон, не видел... В своё время я избежал этой проблемы благодаря советам на сторонних форумах.
Елена Першина
Сотрудник Яндекса7 августа 2017, 12:07
pecuniat,
Если вы про движок Яндекс.Поиска для сайта, то он никакие дубли не генерит и генерить не может. А то, что страницы поиска на сайте (любого) как сущность нужно закрывать от индексирования, как и иные типы динамического контента, говорилось уже несметное количество раз. 
Елена Першина,
Да, я про него и именно про кучу мусора в поиске от него. Просто здесь не видел это "несметное количество раз" )  Решил сказать: вдруг кто-нибудь такой же невнимательный как я увидит и учтёт.
Александр С.
6 августа 2017, 09:55
Здрасти!
Пожалуйста скиньте ссылку на форму заполнения, чтобы написать в техю поддержку по вопросу сайта.
А то тут везде кликаю на "Обратная связь" всегда ссылают на раздел Помощь, где куча вопросы с ответами, а формы заполнения я так и не нашёл. просто измучился.
заранее спасибо
Елена Першина
Сотрудник Яндекса7 августа 2017, 12:07
Александр С.,
Она там есть, если дойти до конца вопросов с уточнениями, что именно случилось с вашим сайтом. 
Александр С.
7 августа 2017, 18:51
Елена Першина,
здесь переписываться о моём сайте не буду.
чтобы дойти до конца, как вы говорите нужно хорошое зрение, а у меня зрение очень плохое. плохо, что нет сразу ссылки на форму отправки
Елена Першина
Сотрудник Яндекса7 августа 2017, 19:08
Александр С.,
Не плохо, подавляющее большинство вопросов не требуют обращения в поддержку - и решаются, если читать подсказки. Так человек куда быстрее решает проблему - если его цель именно решить проблему, а не написать в поддержку. 
Александр С.
7 августа 2017, 19:18
Елена Першина,
да, вы правы. я так и делаю всегда.

ладно, спасибо за помощь. пойду пить чай
Елена Першина,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
Елена Першина,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
Елена Першина
Сотрудник Яндекса8 августа 2017, 15:40
Проводник,
Мы не генерируем дубли - мы индексируем то, что находим на вашем сайте. Если у вас есть дубли - закройте их от индексирования или приведите к канонической страницы. К сожалению, за вас мы этого сделать не можем, так как это настройки вашего сайта. 
Елена Першина,
Именно вы и генерируете их, вопрос встал на сайте разработчика и он подтвердил, что генерируете их вы.


Ответьте, пожалуйста,  мне на вопрос как мне закрыть эти дубли:


/index.php?name=files&op=view&id=3857 (должно быть так) Как закрыть эти:


/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


Я проверил все входящие и внутренние ссылки, нигде нет ссылок на ссылки вида тех двух, что я указал выше.


И почему просел трафик на 70%? В панели никаких сообщений нет. 
Елена Першина,
Цитирую :


"Данный вопрос уже подымался ранее. Проблема глобальная и касается не только SLAED CMS. Дело в том что для языка PHP последовательность передачи переменных в ссылке/адресной строке не имеет значения.
Поисковые системы типа Google, Yandex и Co. используя своё положение монополистов придумывают свои правила которые выгодны только им и принуждают других плясать под свою музыку. Это касаетя не только вопроса с дублированием ссылок но и многих других факторов и стандартов связанных с сайтостроением.


Одним из решениев которое я вижу на данный момент это реализация функции маршрутизации запросов системы, как обычных так и ЧПУ адресов."
Елена Першина,
И еще одну вещь проясните, если вы не при чем:


ПОЧЕМУ 8 ЛЕТ НЕ ВСТАВАЛ ЭТОТ ВОПРОС, а теперь это проблема?  Почему сейчас они откуда то возникли?
Проводник,
То есть ваша великая CMS не поддерживает общепринятые стандарты поисковых систем, и поисковые же системы виноваты? ))) Действительно, им же нужно смотреть на все "удачные попопытки" "пряморуких разработчиков".  
Елена Першина
Сотрудник Яндекса8 августа 2017, 19:50
Проводник,
Давайте еще раз - вы сами пишите, что ваше CMS не поддерживает общие стандарты и создает дубли. Чтобы разобраться, как закрыть ваши дубли - нужно понять, по какому принципу они генерируются. Из приведенного примера кажется, что можно так (вариант):
Disallow: /index.php?id=
Disallow: /index.php*op=*id=*name=*

Но нужно вытаскивать все варианты построения дублей и проверять, все ли удалось закрыть. 
Елена Першина
Сотрудник Яндекса8 августа 2017, 20:05
Проводник,
Хороший совет - перепроверяйте то, что вам говорит разработчик. Например, правильно ли он сделал настройки. Дубли практически всегда возникают из-за неправильной настройки сайта. И почти всегда разработчикам сложно сказать, что эти дубли возникли из-за этого. 
Елена Першина,
Ну что вы! Разработчика так можно и премии лишить - а вот Яндексу нечего не будет. Сжальтесь над человеком, спасите его премию, признайте, что это вы дубли им нагенерировали! 
Fundamentum,
Уточните и назовите международный стандарт
Fundamentum,
8 лет дублей не было.
Елена Першина,
Напишите номер стандарта
Fundamentum,
Прежде чем открывать рот, или запускать пальчики на клаву, поинтересовались бы, разработчик я или владелец сайта
Елена Першина,
Подождите пропустил ответ "мы не генерируем дубли":


Flood in GET - name=pages, op=view, id=583
IP Адрес: 
Пользователь: Гость
Ссылка: 
Браузер: Mozilla/5.0 (compatible; YandexBot/3.0; http://yandex.com/bots)


Это что? Вы генерируете урлы?
светодиодные-товары.рф
7 августа 2017, 11:04
Добрый день.
Подскажите где логика?
Вот по нашей логике основная страница(главная категория)
https://эксперт-снабжения.рф/avtomatika/

а по версии робота она является дублем след страницы:
Страница https://эксперт-снабжения.рф/avtomatika/ дублирует уже представленную в поиске страницу https://эксперт-снабжения.рф/3m. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

Страница https://эксперт-снабжения.рф/3m является страницей производителя и ни какого отношения ни контентом , ни товарами отношения к https://эксперт-снабжения.рф/avtomatika/ не имеет.
Елена Першина
Сотрудник Яндекса7 августа 2017, 12:08
светодиодные-товары.рф,
Если у страниц написано, что они дубли - значит на момент индексирования у них был единый или очень похожий контент. Если сейчас контент отличается, отправьте страницы на переиндексирование. 
светодиодные-товары.рф
7 августа 2017, 13:02
Елена Першина,

Спасибо за ответ.
Отправил на переиндексирование , но результат 0.

Елена Першина
Сотрудник Яндекса7 августа 2017, 13:37
светодиодные-товары.рф,
В смысле, переиндексировались и повторно признаны дублями? Или еще не переиндексировались? 
Елена Першина
Сотрудник Яндекса7 августа 2017, 13:40
светодиодные-товары.рф,
Кстати, у вас meta name="description"не прописан на 3M, насколько я вижу. 
Елена Першина,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
светодиодные-товары.рф
8 августа 2017, 15:57
Елена Першина,
переиндексировались , но проблема осталась прежняя.
Причем следующие категории преследует та же напасть.
https://xn----8sbdndfpj3aeonken4oyb.xn--p1ai/pnevmatika/

Вы можете доступно объяснить как абсолютно разные страницы могут являться дублями(
Обновлено 8 августа 2017, 15:58
Станислав Р.
8 августа 2017, 16:10
светодиодные-товары.рф,
надо дождаться, когда вот это переиндексируется https://xn----8sbdndfpj3aeonken4oyb.xn--p1ai/3m
Елена Першина
Сотрудник Яндекса8 августа 2017, 19:38
светодиодные-товары.рф,
Выше верно отметили, что если страницы отдали при ошибки один и тот же контент - то именно этот контент мог быть посчитан как дублирующийся. 
хотим белый список по Clean-param!!!!

Интересный вебинар, спасибо. Подскажите как бороться с такой ситуацией: есть каталог, в котором есть два товара с похожим описанием и они расцениваются вебмастером как дубли
http://it-th.ru/catalog/monobloki/232208/
http://it-th.ru/catalog/monobloki/232207/
это совершенно разные товары в одной линейке, одного производителя, но так как робот оценивает только текст, то символьные различия между страницами невелики.  поэтому процент текстовых изменений позволяет роботу причислить страницы к "практически идентичным". да, есть решение - вписывать текст в каждый товар, но в масштабах огромной выгрузки - это непосильная задача, причем  товар может сегодня быть в наличии, а завтра нет. Поэтому писать внутри текст неоправданные трудозатраты.  как выйти из этой ситуации?

Станислав Р.
8 августа 2017, 23:27
itth2016,
нужно сделать так, чтобы у таких товаров были разные Title и Description. Сейчас они у вас полностью совпадают.
Станислав Р.,
значит в семинаре должна быть поправка, что робот изучает не только текст страницы, но и метатеги. спасибо за разъяснение, постараемся исправить
Елена Першина
Сотрудник Яндекса9 августа 2017, 14:37
itth2016,
Есть общая рекомендация иметь различные описания и заголовки для всех страниц сайта. Но вообще и содержание самих страниц стоит развести. 
День добрый! Подскажите пожалуйста, появилось очень много страниц дублей вот такого типа - урл?sa=X&ved=0ahUKEwj2r6OOla7TAhVKM5oKHZQEAFQQ9QEIDjAA
и
урл?action_object_map={\"1554704371468201\":820512661322787}&action_ref_map=[]&action_type_map
правильно ли я сделаю если запрет пропишу так:
Clean-param: sa&action_object_map
боюсь не выпадут ли из индекса все страницы, в которых есть сочетание "sa" в адресе?
Или лучше сделать так:
Disallow: *sa=*
заранее спасибо за ответ!
Елена Першина
Сотрудник Яндекса9 августа 2017, 15:12
moyo-delo,
Если их очень много, то лучше использовать "Disallow: *sa=*", тогда робот не будет их посещать (при использовании Clean-param робот периодически может заходить на такие страницы).
Елена Першина,
большое спасибо!
Елена Першина
Сотрудник Яндекса9 августа 2017, 15:33
moyo-delo,
На всякий случай не забудьте проверить закрытие в анализаторе robots.txt в Вебмастере.
Объясните этот бред.
Бот выбрасывает главную страницу форума  из индекса и через несколько часов возвращает? http://images.vfl.ru/ii/1503708545/662a46f5/18374367.jpg


И, повторяюсь, почему просела посещаемость? Ваша техподдержка молчит



День добрый! Возможно, чуть не в эту тему, но других более подходящих тем для моего вопроса не нашла.
Подскажите, пожалуйста, есть основной сайт, он размещён на площадке тиу, где, к сожалению, есть не все необходимые инструменты, и их самостоятельное добавление невозможно, так как это конструктор. 
Хотим создать ещё один сайт с большим функционалом, который будет дублировать определенную информацию с основного сайта, новый сайт будет использоваться исключительно для определенных целей, в том числе статистики и тд, раскручивать его только по контекстке, не нужно чтоб он отображался в поиске. 
Собственно 2 вопроса: как сделать создание второго сайта грамотно, чтоб не попасть под санкции? И второй вопрос: можно ли с него делать ссылки на основной сайт, если новый сайт будет например закрыт от индексации? 
Надеюсь, понятно объяснила, что хотим;))) заранее спасибо за развёрнутые ответы;) 
Елена Першина
Сотрудник Яндекса28 августа 2017, 12:47
GK Gorbunoff,
Из вашего описания сложно понять, зачем вам все-таки второй сайт той же тематики, поэтому сложно тут что-либо посоветовать. Однотипные сайты со схожими задачами мы обычно не рекомендуем создавать.
Елена Першина,
Он будет использоваться на контекстной рекламе, для подписок и сбора статистики
Елена Першина
Сотрудник Яндекса28 августа 2017, 16:29
GK Gorbunoff,
Что вам мешает использовать ваш обычный сайт для этого? Или лендинг сделать на том же домене? 
Елена Першина,
Мы на конструкторе тиу сидим;((
А подскажите поподробнее про лендинг на одном домене, или ссылку пришлите чтоб прочитать, буду благодарна, не сталкивалась с этим. 
Елена Першина
Сотрудник Яндекса28 августа 2017, 16:50
GK Gorbunoff,
Поднимаете отдельный раздел, его заверстываете под нужную вам акцию - профит без создания странно-дублирующего сайта. 
Елена Першина,
Спасибо, поняла!
Подскажите пожалуйста, у меня на сайте появились дубли страниц из-за одного плагина, там добавлялось к урлу ?user=1, т.е.  http://site.ru/category/post.html?user=1 . посмотрев данный семинар я прописал в роботсе  Clean-param: user ,т.е. 
User-agent: *
....
Clean-param: user
....
Host: https://сайт.ру
Это правильно или нет?
Елена Першина
Сотрудник Яндекса31 августа 2017, 12:19
Шамиль,
Всё правильно . Если вы совсем не используете get-параметры на сайте, лучше просто "Disallow: *?*. 
Елена Першина,
 Спасибо Елена
Очень интересует вопрос, можно ли реализовывать каноникал через заголовок http,
в официальном faq нет нигде этой информации, только через атрибут link, при этом чуть ниже в комментариях к теме про каноникал сказано, что вроде можно это сделать.
Использует ли Яндекс этот способ указания каноникла?
Подскажите, почему для страниц пейджинга сайта https://driff.ru/ отображается что дублируются дескрипшены, если страницы пейджинга не представляют ценность для пользователей?
Обновлено 5 сентября 2017, 13:30
Елена Першина
Сотрудник Яндекса5 сентября 2017, 13:31
driffru,
Ну, видимо потому что они дублируются. Вы их клеили, как в вебинаре сказано? 
В яндекс вебмастере в разделе "страницы в поиске", во вкладке все страницы, некоторые страницы с одинаковым url отображаются по два раза. Это не дубли, а одна и та же страница! С чем это связано?
Елена Першина
Сотрудник Яндекса18 сентября 2017, 22:36
susu2016,
Очень похоже на проблему с нашей стороны, проверим, и если так, исправим максимально быстро. Спасибо.
Комментарий удалён
Елена Першина
Сотрудник Яндекса3 октября 2017, 15:35
Самый правильный вариант - второй. Поисковики нормально отнесутся к большому количеству межхостовых редиректов, тут переживать не стоит.
Удалённый пользователь
3 октября 2017, 15:58
Елена Першина,
Спасибо!
Александр
3 ноября 2017, 12:05
Добрый всем день!
В исключённых из поиска страницах числятся, к примеру, такие :https://www.dessy.ru/catalog-pdc397047.htmlchip с ошибочным окончаниями. Видимо, на просторах инета кто-то так поставил на мой сайт ссылку. И происходит коллизия: Яндекс считает страницу не канонической. Как с этим бороться? Можно ли в robot.txt прописать нечто типа этого:
Disallow: /*.html/*/
Елена Першина
Сотрудник Яндекса3 ноября 2017, 17:42
Александр,
Если окончания страниц меняются, то поможет комбинация:

Disallow: *.html*
Allow: *.html$
Обновлено 3 ноября 2017, 17:42
Александр
8 ноября 2017, 11:49
Спасибо! Взял поп-корн, сижу, жду результаты....
Соловьев Алексей Юрьевич
10 ноября 2017, 17:02
Здравствуйте.
Появился следующий вопрос:
Обратил внимание, что все страницы моего сайта с get-параметрами (фильтры, сортировки) имеют ссылку на канонический URL. В то же время исходя из предложенных рекомендаций эти страницы закрыты от индексации в robots.txt. Может стоить разрешить эти страницы к индексированию? Не теряется ли вес канонической страницы в случае запрета индексирования? Ведь ссылки в данном случае не видны.


С уважением, Алексей.
Вопрос, на засыпку есть пациент http://mir-vkontakte.ru/ каноникалы прописаны пагинация и страницы категорий,архивы и тд закрыты от индексации. Однако в индексе в 2 раза больше страниц чем по факту, в какую сторону ковырять?
Елена Першина
Сотрудник Яндекса16 ноября 2017, 15:52
Rost,
1. Посмотрите исключенные страницы - нет ли там ответа.
2. Выгрузите список страниц в поиске и выгрузите список страниц сайта - через эксель найдите отличия.  
3. И посмотреть в сторону отсутствия редиректов со / и без него в конце страниц типа: http://mir-vkontakte.ru/chto-takoe-sfs-v-instagrame/#more-4609/
Здравствуйте! Подскажите, пожалуйста, почему страницы полностью разные, а робот начал писать что это дубли и выкидывать их из поиска. В гугле все ок. Спасибо за быстрый ответ!
Елена Першина
Сотрудник Яндекса26 ноября 2017, 23:22
jackov.klimchuk,
Значит для робота не разные. Наиболее вероятная причина - что была проблема с вашим сервером, когда выдавалась текстовая заглушка, которая оказалась для всех страниц одинаковой. Но могут быть и другие причины - за подробностями лучше в поддержку Вебмастера с примерами страниц - дубля и не дулбля.
Здравствуйте! Подскажите пожалуйста - 
1. на страницах присутствует rel canonical для исключения дублей
<link rel="canonical" href="https://site.com/page1/">

2. сайт на ajax и для индексации созданы html-версии страниц, доступные по адресам типа https://site.com/page1/?_escaped_fragment_=
3. на страницах присутствует мета-тег <meta name="fragment" content="!">


При этом в вебмастере ситуация такая:
1. страницы https://site.com/page1/?_escaped_fragment_= исключены из поиска - "Страница проиндексирована по каноническому адресу https://site.com/page1/"
2.Страница https://site.com/page1/ дублирует уже представленную в поиске страницу (главную https://site.com/)


То есть робот не получил html-версию страницы https://site.com/page1/  с корректным содержимым, а получил только "скелет" верстки, который одинаков для всех страниц до начала работы скриптов.


Что нужно сделать, чтоб позволить роботу получать html-версию страниц, но при этом указать ему верный канонический адрес страницы и не допустить дублей?

Елена Першина
Сотрудник Яндекса24 декабря 2017, 18:55
d.s.korepanova,
Можете этот вопрос отправить в поддержку Вебмастера, желательно указав сайт. Хочется в живую взглянуть на реализацию, чтобы за теорией практику не пропустить.
Елена Першина,
  Вопрос отправлен в поддержку Вебмастера
Елена Першина
Сотрудник Яндекса25 декабря 2017, 10:07
d.s.korepanova,
спасибо!
maria.golubnichenko
12 января 2018, 09:03
Здравствуйте, я новичок в технических вопросах, не могли бы Вы сказать: если поменять все ссылки на сайте с относительных на абсолютные, скажется ли это как-то на ранжировании сайта? Как раз столкнулся с проблемой дублей из-за относительных ссылок
Елена Першина
Сотрудник Яндекса12 января 2018, 12:22
maria.golubnichenko,
Нет, сказаться не должно, ведь непосредственные адреса страниц в базе робота не изменятся.
Роман Лебедев
31 января 2018, 09:13
Вебмастер сообщает о дублях страниц.
Но это разные страницы. Есть ли какой то метод сообщить роботу что это разные страницы?
Вот пример: https://yadi.sk/i/k6t9wr683RwNa8

  Здравствуйте!
В исключенных страницах есть дубли, вот такого рода

https://babytime.com.ua/kolyaski/kolyaski-dlya-novorozhdennyh/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha
https://babytime.com.ua/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha


Почему эти страницы считаются дублем если срабатывает редирект со страницы https://babytime.com.ua/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha на страницу  https://babytime.com.ua/kolyaski/kolyaski-dlya-novorozhdennyh/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha


Спасибо!
Елена Першина
Сотрудник Яндекса5 февраля 2018, 15:01
freecolorbaby,
А почему они не должны считаться дублями, если, по факту, по урлам в итоге отдается один и тот же контент? 
Елена Першина,
Забыл дописать что там редирект 302 со страницы https://babytime.com.ua/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha

на страницу https://babytime.com.ua/kolyaski/kolyaski-dlya-novorozhdennyh/kolyaska-dlya-novorozhdennogo-2-v-1-adamex-sofia-50-kozha
Тех поддержка уже отаписалась что нужно прописать 301 вместо 302
Есть страница сайта http://zarabotoknasite.ru/optimizatsiya/79-ubrat-dubli-stranits
копируем все с последним слэшем, добавляем к адресу и дубль готов.
Как от этого избавится
http://zarabotoknasite.ru/optimizatsiya/79-ubrat-dubli-stranits/79-ubrat-dubli-stranits
это не мой сайт, взял как пример, но у меня та же проблема. У меня сайт на чистом html
Яндекс находит и индексирует такие страницы. Но на сайте их нет.
Обновлено 16 марта 2018, 11:09
Елена Першина
Сотрудник Яндекса17 марта 2018, 19:53
Вячеслав,
Вопрос не поняла, зачем специально дубль создавать? 
Специально я не хочу делать дубли, на моем сайте это делают конкуренты предположительно.
Целые разделы сайта вдруг появляются в Яндекс вебмастере в виде дублей:
Chevrolet/Chevrolet_Lanos-31.html/Chevrolet_Lanos/Chevrolet_Lanos/Chevrolet_Lanos/Chevrolet_
Lanos/Chevrolet_Lanos/Chevrolet_Lanos/Chevrolet_Lanos/Chevrolet_Lanos/Chevrolet_Lanos
/Chevrolet_Lanos/202.gif
Елена Першина
Сотрудник Яндекса19 марта 2018, 00:06
Вячеслав,
Как именно они делают эти дубли? У них ведь нет доступа к вашей CMS? Вы имеете ввиду, что просто ссылки ставят на ваш сайт такого вида - и вы видите, как они индексируются с 404 ошибкой? 
У меня не CMS. Физически этих страниц нет, сайт статический. Адрес этого дубля добавляют в любом онлайн сервисе где можно водить адрес сайта, типа анализ страницы сайта, а поисковики собирают с этих сайтов ссылки. Эта неправильная ссылка дает роботу ответ 200 ок.
Здесь вопрос не к Яндексу, а к сообществу, как защитится от неправильного написания адреса страницы в адресной строке?
И сайтов с аналогичной проблемой процентов 5-10. Просто пока вас не засыпают ссылками вы и не обращаете на это внимания.
Обновлено 19 марта 2018, 05:37
Елена Першина
Сотрудник Яндекса19 марта 2018, 14:32
Вячеслав,
Почему она дает ответ 200-ок, если страницы не существует? Для этого есть другие ответы сервера. 
Если кому понадобится.

Установил редирект от этой напасти:
RewriteRule (.+?)\.html.+$ http://%{HTTP_HOST}/$1.html [L,R=301]
Елена спасибо за участие!
/shop/avtomobilnye-katalogi/vybor-kataloga?car_id=84
/shop/avtomobilnye-katalogi/vybor-kataloga?car_id=1
вот две разные страницы почему робот считает их дублями если это совершенно разные страницы и что нужно чтоб он проиндексировал как надо ?
Здраствуйте! У меня большой сайт по недвижимости. Много городов и много одинаковых разделов. rel="canonical" настроен. Но много получается дублей именно городов. Почему то Яндекс думает, Чехов это тоже самое что Домодедово. Смотрит на последний раздел. Или иногда и на главный: 


/chexov/kvartiry/ - Дубль 

/domodedovo/kvartiry/ - Представленная в поиске. 



Но это разные города! В чем проблема? 


/chexov/kvartiry/snyat/na-dlitelnyy-srok/ - Дубль,  Заголовок: На длительный срок
Страница дублирует уже представленную в поиске страницу: 
https://сайт.ru/lms/kvartiry/snyat/na-dlitelnyy-srok/. 


Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".
Подскажите пожалуйста почему робот может считать одинаковыми две совершенно разные карточки товара? Резко выросло количество дублей вроде /books/vyach-ivanov-pro-et-contra-t1/   и   /books/pax/, но это разные книги и текстовая инфа по ним совершенно разная. Спасибо.
platon
Сотрудник Яндекса24 апреля 2019, 12:03
podpisnie2017,
напишите, пожалуйста, моим коллегам сюда https://yandex.ru/support/webmaster-troubleshooting/site-indexing/bad-indexing/missing-reasons.html .
Добрый день!
Подскажите пожалуйста, а вот с первой страницы  https://sandaik.ru/mebel_dlja_vannoj_komnaty/?page=1, нужно ли делать 301 на основную страницу мебели для ванной, или достаточно canonical ?
platon
Сотрудник Яндекса27 мая 2019, 15:03
sandaick,
в данной ситуации лучше использовать атрибут rel="canonical", так как при настроенном 301 редиректе, пользователи не смогут попасть на страницы пагинации с таким редиректом и будут перенаправлены на страницу, являющуюся целью редиректа.