Блог Яндекса для вебмастеров

Ищем дубли страниц - опубликована видеозапись вебинара

26 июля, 10:24

Опубликована запись пятого вебинара серии «Поисковая оптимизация сайта: вопросы и ответы» — «Ищем дубли страниц».   

Следующий вебинар — «Переезжаем на https» — пройдёт  27 июля, в 12:00 по московскому времени. Внимание, время проведение вебинара было изменено! 

Его проведёт Александр Смирнов, руководитель группы качества поиска. Принять участие в вебинаре могут только зарегистрировавшиеся пользователи.

Зарегистрироваться на вебинар 
«Переезжаем на https»

Ждём ваших вопросов к новому вебинару
Команда Яндекс.Поиска

159 комментариев
Подписаться на комментарии к посту
Спасибо за вебинар. Вы упомянули, что на страницах форума не нужно прописывать канонический мета-тег, потому что контент на них разный. Но почему тогда его нужно прописывать на страницах категорий интернет-магазинов? Там ведь тоже разный контент (разные товары с характеристиками). Например:
https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?page=2
http://www.sotmarket.ru/category/mobiles/pagenum-2.html
https://www.citilink.ru/catalog/mobile/smartfony/?p=2

firstlena.pershina
Сотрудник Яндекса26 июля, 17:47
ingref,
Страницы форма, как правило, не будут конкурировать между собой по запросам пользователей. А вот страницы пагинации в каталоге - будут, что может привести к печальным последствиям, о которых говорили на вебинаре.
firstlena.pershina,
Вот не могу понять, с чего это страницы с разным товаром должны считаться дублями?
У гугла  есть prev next и хоть тысячу страниц пагинации делай, это не приведет к печальным последствиям.
Яндексу гордость не позволяет использовать эти теги?  
firstlena.pershina
Сотрудник Яндекса30 июля, 14:26
Иван,
Нет, простота. Если есть другие способы что-то точно указать, мы стараемся вводить новые теги. 
firstlena.pershina,
вы понимаете, что гугл этими тегами дает возможность объединить тысячу страниц в одну, при этом все товары индексируются и нет дублей.
Зачем изобретать велосипед? Возьмите готовое решение, получится стандарт, который избавит ВМов от необходимости подстраиваться под разные ПС.
firstlena.pershina
Сотрудник Яндекса31 июля, 13:29
Иван,
Вы не поверите, но canonical делает тоже самое, при этом не только для страниц с пагинацией (это частный случай). Возьмите готовое решение из уже имеющегося стандарта. 
firstlena.pershina,
Так Гугл будет считать контент дублем если указать canonical, т.е доступным по разным адресам.
А если на второй странице пагинации находится ДРУГОЙ товар, то как я могу ставить на ней canonical, товар то не дубль!


https://yandex.ru/blog/platon/2878
platon 16 марта 2016, 13:11 :
watsonia, Прошу прощения, что так долго не отвечал. Если страницы со всеми товарами нет, на страницах пагинации атрибут rel="canonical" можно не устанавливать.


Платон одно говорит, вы другое))) Возьмите гугловские prev next и не морочьте нам голову ;)

firstlena.pershina
Сотрудник Яндекса31 июля, 18:00
Иван,
Зачем вам в выдаче 20 страниц пагинации? Платон говорит то же, что и я - я же вижу переписку полностью. Не хотите ставить - не ставьте, ваше право. Мы тут можем только озвучить наши рекомендации. 
firstlena.pershina,


https://yandex.ru/blog/platon/2878 platon 16 марта 2016, 13:11


Платон говорит можете не ставить на страницах пагинации "canonical", вы говорите, что если не ставить, то это может привести к печальным последствиям.
Кто прав?

Контент не дубль, товар разный, зачем нужен каноникал?
Если его поставить, то гугл будет считать контент дублем.

Вы даете советы, которые могут повлиять не только на выдачу в Яндексе.
firstlena.pershina,
Елена, тут похоже вебмастер сломался, какие-то проблемы с авторизацией
firstlena.pershina
Сотрудник Яндекса2 августа, 18:31
yc,
Да, проблема была, постарались исправить её максимально быстро. 
Обновлено 2 августа, 18:31
Вчера Яндекс.Вебмастер нашел у меня дубль страницы. Да, правда, я изменил УРЛ странички для внутреннего упорядочивания контента.
Было
https://www.vodoparad.ru/result/vstraivaemie-akrilovye-vanny.html
Стало
https://www.vodoparad.ru/result/akrilovye-vanny-vstraivaemie.html

Так вот, Вебмастер сказал что переименованная страница является дублем старой несуществующей страницы (т.е. роботу пофигу, что она не отдает 200 статус-код) и выкинул её из поиска, вместо этого, поместив в выдачу устаревший URL.

Прокомментируете?
Обновлено 26 июля, 13:56
Можно ли как-то предупреждать перед тем, как сайт обрушите в поисковом индексе из-за дублей? Не придавал значения дублям. Тут грохнули, - неожиданностью стало. И сразу ваш вебинар по дублям вышел.
firstlena.pershina
Сотрудник Яндекса26 июля, 17:53
HA-CEHE,
Это не связанные вещи. Уверены, что проблема именно в дублях? 
firstlena.pershina,
Единовременно было удалено из индекса большое количество страниц 24 июля: по причине дубля половина, вторая половина якобы недостаточно качественная, притянуто за уши. В итоге в исключенных оказалась половина контента и просадка по посещаемости весьма существенная.
HA-CEHE,
 Такая же ситуация, как быть?
firstlena.pershina,
 такая же ситуация и у меня с индексом. Полезные страницы с товарами, вылетают из индекса, как "недостаточно качественные". Я знаю, что на этих страницах каталога нет текста, есть только товары. Почему Яндекс считает страницы подкатегорий некачественными? Просто потому что на них нет seo-текстов?
firstlena.pershina
Сотрудник Яндекса27 июля, 11:37
Propok63,
тут так:
1) Некачественные страницы, это те, которые почти не имеют шансов попасть в результаты поиска - не конкурентноспособны на фоне ответов других сайтов. 
2) Если такие страницы удаляются, сайт обычно поисковый трафик не теряет вообще - так как эти страницы и так в поиске не показывались.
3) Если вдруг у вас реально пропали страницы, которые генерировали трафик (например, это видно по Вебмастеру и Метрике) - напишите в нашу поддержку, проверим, почему такое могло произойти. 
Соловьев Алексей Юрьевич
31 июля, 21:32
HA-CEHE,
Потерял 24 июля 83 страница с товарами и из блога. Очевидно 24.07 была какая-то внутренняя проблема. Статус исключенных страниц был "Недостаточно качественная информация". Ну я не буду зудеть, про то что Яндекс вообще пилювать хотел на классику русской журналистики, коль скоро мы все живем в век АЛГОРИТМОВ. После обращения в поддержку за разъяснениями, мне отразили исключенные страницы задним числом, начиная с 11 июня. Такая вот ерунда
Как бороться с ситуацией, когда существуют страницы типа site/?param1&param2, а робот видит каким то образом страницы site/?param2&param1. Причем параметров может быть более 2-х.
firstlena.pershina
Сотрудник Яндекса26 июля, 22:07
lp-up,
Каноникал должен помочь. 
firstlena.pershina,
ЛОЛ! То есть Вы не знаете , но советуете?!? Отлично.
firstlena.pershina
Сотрудник Яндекса3 августа, 17:13
anton.savajik,
То есть мы знаем и советуем. 
anton.savajik,
посмотрите ниже, я им на это указывал еще 2 года назад. Теперь они ссылаются на некоторые международные стандарты, при это не признают, что генерируют этот  бред сами. Сначала они уверяли меня, что индексируют только те урлы на которые есть ссылки, теперь об этом даже не говорят
Для дублирующих страниц товара типа site.ru/игрушки/товар и site.ru/товар вы рекомендовали использовать атрибут rel="canonical"


Подскажите, пожалуйста, если такая ситуация с категориями

site.ru/категория/подкатегория

site.ru/подкатегория

Что лучше использовать  rel="canonical" или 301 редирект?
firstlena.pershina
Сотрудник Яндекса27 июля, 11:28
tigrushkii,
Можно использовать оба варианта.
Я на новый домен загрузил дубль главной страницы сайта который давно уже работает и в индексе яндекса, хотел переделать дизайн, и проверял это все на новом домене, получилось так что новый домен был проиндексирован яндексом с тем же контенотом что и рабочий сайт. В то же время рабочий сайт попал под фильтр и улетел за 40 со сових позиций. Связанно это с дублем на новом домене или фильтр прилетел сам по себе?
firstlena.pershina
Сотрудник Яндекса27 июля, 11:29
mackursk,
С таким вопросом лучше разбираться в поддержке.  Нужно смотреть - нарушение это или простая склейка зеркал. 
monetypochtoi.ru
27 июля, 00:23
Спасибо очень полезно! Но у меня, продажа монет, монеты одинаковые, каталог, но фото монет разные чтобы клиент мог выбрать ту монету которая его устроит. У монет есть такая характеристика как сохранность, и я должен предоставить все одинаковые монеты разного сохрана, а они ушли в дубли, что делать в этом случае. Описать по триста одинаковых монет нет возможности, но монеты по сохрану разные, а поиковика будут одинаковы. Т.е. речь идет о каталоге, как быть????
firstlena.pershina
Сотрудник Яндекса27 июля, 11:30
monetypochtoi.ru,
Попробовать сделать страницу с параметрами выбора. В самом простом виде - хотя бы таблицей, например, год и сохранность дают стоимость. Но как это лучше реализовать - конечно, вам решать. 
monetypochtoi.ru
29 июля, 04:10
firstlena.pershina,
Спасибо за ответ, буду думать
fimocica2012
27 июля, 08:49
Здравствуйте! У меня возник вопрос , который появился как проблема  относительно не давно. Дело в плагине АМП, который генерирует две одинаковые страницы. Например : в моем случае http://stroivagon.ru/geologiya/raschet-ustoychivosti-sklona.html http://stroivagon.ru/geologiya/raschet-ustoychivosti-sklona.html/amp


Интересно, что Яндекс считает их дублями а гугл нет, но ведь оптимизация мобильных устройств необходима как для Яндекса так и для гугла.Вопрос: стоит закрывать ссылку с окончанием /amp  от индексирования в роботе ( например, следующими кодами
Disallow:*/*amp
Allow:*/*.html) или нет. С ув. Сергей
Поучительно, спасибо!
У меня много страниц типа таких - /krasnodar.shtml/images/foto/... или /sochi.shtml/images/foto/...
Как до и после shtml сделать запрет, так правильно?
Disallow: /*.shtml/*/
Спасибо!
firstlena.pershina
Сотрудник Яндекса27 июля, 19:48
vzmorje2002,
Достаточно просто Disallow: *.shtml/*
Обновлено 27 июля, 19:48
Спасибо! Я правильно понимаю, всё что после shtml будет в запрете, но то что до, запрет не коснется?
Спасибо!
firstlena.pershina
Сотрудник Яндекса31 июля, 12:04
vzmorje2002,
Будет все так, как вы и хотели в описанном выше вопросе. Но вы можете проверить работу запрета в инструменте Анализ robots.txt - чтобы точно убедиться, что вас все устраивает.. 
Обновлено 31 июля, 12:04
firstlena.pershina,
Благодарю!
firstlena.pershina,
Доигрался с запретами (до Вашего ответа) и сегодня большая часть страниц вылетела из поиска. Ошибку обнаружил и исправил. Как долго ждать возврата страниц в поиске и нужно ли что-то делать?
Спасибо!
firstlena.pershina
Сотрудник Яндекса2 августа, 12:05
vzmorje2002,
Если ошибка исправлена, то ничего дополнительно делать не нужно. Самые важные страницы можно в переобход закинуть (там сейчас лимит в день 20 страниц), чтобы они быстрее вернулись в поиск. 
firstlena.pershina,
Спасибо большое! Я так и сделал.
podly24@five-seven.ru
27 июля, 12:25
Что вообще происходит с поисковиком? День сайт в топе (по определенным запросам), после падает на позиции ниже 40, через неделю поднимается в топ, через несколько дней падает нище 50.... Что это такое вообще?Написал в поддержку 2 недели нет ответа.
Спасибо за вебинар. 
У меня на сайте elleron.ru  та же проблемка, есть множество товара сотни, к примеру Электодвигатель 3кВт, 5кВт, 6 квт и тд...
описание на страничке каждого товара  Общее, так как производитель один, только параметры, вес, размер мощность другая, но Робот в ВебМастере распознал как "недостаточно качественная страница", или "дубль", так как описание идет общее всей линейки серии. Как можно не нарушая правил, вернуть данные странички в индекс?
firstlena.pershina
Сотрудник Яндекса27 июля, 19:56
elleron,
Попробовать сделать на одной странице сравнение этих товаров - параметрами, таблицей, иным образом, который для вас удобен и понятен индексирующему роботу. 
Здравствуйте!
Приведите, пожалуйста, пример сайта, на котором правильно настроена индексация страниц каталога товаров с использованием rel="canonical"?
Спасибо!
firstlena.pershina
Сотрудник Яндекса27 июля, 19:55
printfx,
Мы же не анализируем вручную каждый сайт и не смотрим, что именно и как настроено на конкретном ресурсе, поэтому у нас нет таких примеров. А вот неправильный - просто море - по обращения в поддержку. Но у каждого свои ошибки - о наиболее частых как раз на вебинарах и рассказываем. 
firstlena.pershina,
Ну, причина все-таки в том, что назвав такой сайт, Вы сделаете ему рекламу :) Ладно, проехали. У Google есть статья с рекомендациям как настроить rel="canonical" для каталогов. И здесь несколько моментов. 1. Ваши рекомендации и рекомендации Google не согласуются, т.е. проблематично выполнить их одновременно. Так, для внутренних страниц каталога вы рекомендуете либо не указывать rel="canonical", либо указать действительный url этих страниц, а  Google рекомендует указывать в rel="canonical" для внутренних страниц url первой страницы + rel="prev", rel="next". Т.е. по логике Google все страницы, участвующие в пагинации, представляют собой как бы один документ. Понятно, что вы не имеете никакого отношения к Google, но страдаем от таких  противоречий мы, вебмастера. 2. Как настроить индексацию, если на странице, кроме пагинации "первая,2,3, .., последняя" есть select, в котором можно выбрать количество товаров, отображаемых  на странице? Т.е. получается плавающее разбиение на страницы.
Спасибо.
Обновлено 28 июля, 01:55
firstlena.pershina
Сотрудник Яндекса28 июля, 14:55
printfx,
"Так, для внутренних страниц каталога вы рекомендуете либо не указывать rel="canonical", либо указать действительный url этих страниц" - у нас нет таких рекомендаций, мы советуем для страниц пагинации указывать именно первую страницу.
Если URL-адрес страниц не меняется при этом, настраивать ничего не нужно. В случае, если адрес изменяется, то страницы фильтров строит запретить в robots.txt
firstlena.pershina,
URL страниц меняется, если запретить в  robots.txt страницы каталога индексироваться не будут - это же очевидно!
Цитирую ответ Платона Щукина:
Наш индексирующий робот в настоящий момент не поддерживает обработку атрибутов rel="prev", rel="next", поэтому такие атрибуты будут роботом игнорироваться. Если Вы хотите, чтобы такие страницы пагинации индексировались и участвовали в поиске, то для их корректного индексирования атрибут rel="canonical" необходимо убрать, либо указать в нем адрес непосредственно этой страницы.
Если же такие страницы не должны индексироваться роботом, то мы рекомендуем настраивать атрибут rel="canonical" с указанием той страницы, которая должна участвовать в поиске. Атрибуты rel="prev", rel="next" при этом не помешают: наш робот их проигнорирует.

firstlena.pershina
Сотрудник Яндекса30 июля, 14:23
printfx,
Запрещение незначимых фильтров не означает запрещение страницы как-таковой - если этот запрет правильно реализовать. 
firstlena.pershina,
вопрос был о другом, но скорее всего пока на него ответа нет :)
Здравствуйте!
Подскажите  Яндекс поисковик так не любит наш сайт source-cs.ru ?
2 года одно и тоже.. 2 дня на первых позициях год на 40 сороковых.
И что самое интересное посещаемость у сайта топовая а Яндекс поисковик его просто
не хочет индексировать на первых позициях.
ПОДСКАЖИТЕ КАК БЫТЬ 2 года прошло.. я  несколько раз обращался в тех поддержку мне писали ждите
но 2 года это уже смешно.. в Гугле мы по данным запросам в топе
А в Яндексе 2 дня повесели и опять 25.. в 45 позиции (На скриншоте образец теста в поисковиках) http://pastenow.ru/1W3C3
Помогите пожалуйста?( 
salamon.83,
у вас обычный переспам - http://prntscr.com/g1bmcz
Оставьте 1-2 вхождения в тексте и будут позиции, как в гугле.
ingref,
Приветствую! 
Писали в тех поддержку, на что нам ответили 
Yandex.Search support <webmaster@support.yandex.ru>
Кому: GameINTeriMedia
сегодня, 14:33


Здравствуйте, Александр!


Мы проанализировали ситуацию с Вашим сайтом: с ним все в порядке, и ограничений в его ранжировании с нашей стороны нет.
Я попробую прояснить, с чем может быть связано изменение позиций.
===========================================================
Ну а если был бы переспам , http://source-cs.ru/ , то по другим запросам сайт хотя бы был на 1 позициях например как, css v34, или ксс в 34, 
(Все разом улетели в низ на 4 страницы).


А например на этой ссылки, http://source-cs.ru/ucp/ , запрос, скачать ucp, остались не тронуты на 1 позициях.
salamon.83,
во-первых, техподдержка проверяет только наложение хостовых фильтров, которые затрагивают весь сайт. У вас фильтры постраничные, поэтому они и написали, что "проблем нет".


Во-вторых, у вас переспам как-раз по ключу "css v 34", который поисковым роботом приравнивается к ключам:
ксс в 34
css v34
ксс в34


Поэтому по всем по ним страница под фильтром.
ingref,
Как я понимаю вы скриншот делали этой страницы 
http://source-cs.ru/css34.php
А речь идет за главную страницу http://source-cs.ru/  
На этой вроде нет переспама 
salamon.83,
так у вас и на главной тоже самое - http://prntscr.com/g1f6f1
ingref,
Сократил ключевые слова.. 
Если вас не затруднит можете протестировать по данной ссылки http://source-cs.ru   ?) 
salamon.83,
вот это вообще уберите - http://prntscr.com/g1hn9f
ingref,
А сейчас нормально http://source-cs.ru  (18 совпадений ) ? 
salamon.83,
Сейчас нормально. Тоже самое сделайте тут http://source-cs.ru/css34.php
ingref,
Приветствую! 
Перепробовал все по поводу того что сайт 
source-cs.ru не поднимается по запросам и наткнулся на 
========================================
http://tools.promosite.ru/old/clones.php

--------------------------------------------------
Поиск аффилированных сайтов: source-cs.ru
Архив, собранный через XML в 2010 (по выборке ~20% хостов Яндекса)
Аффилиатов у source-cs.ru НЕТ, а сам сайт в базе есть.
========================================
Не подскажете решение? 
salamon.83,
ну так если аффилиатов нет, значит все ОК.
ingref,
Показывает что есть https://prnt.sc/g22m4m
Наш сайт http://source-cs.ru/ сайт который указан , он исключен из поиска за вирусы а так же его уже давно нет и он не наш http://css-boost.ru/
Обновлено 30 июля, 12:36
ingref,
ТЕСТ ОНЛАЙН https://be1.ru/affiliation/
Наш сайт оригинал http://source-cs.ru/
Клон вредоносный http://css-boost.ru/
salamon.83,
нет у вас аффилиатов. Проверять лучше тут https://tools.pixelplus.ru/tools/affiliation


К тому же, аффилиаты бывают только по коммерческим запросам.
ingref,
Спасибо вам огромное! 
salamon.83,
Привет еще раз 
https://tools.pixelplus.ru/tools/affiliation

Статус
Указанные проекты http://counter-strike-source.ru/ и source-cs.ru признаны аффилированными в Яндексе. 
Как исправить подскажите? (

Обновлено 31 июля, 20:07
salamon.83,
Вернее
Указанные проекты http://source-cs.ru/ и http://counter-strike-source.ru/ признаны аффилированными в Яндексе. 
salamon.83,
да оба этих сайта примерно на одних и тех же местах находятся (где-то на 40-60), так что он вам не мешает. Если бы он мешал, то он был бы в топе.
ingref,
Привет!
Я тут по моему еще на чудил, тем что к "sitemap.xml" прописывал ссылки
Данные ссылки находились в разделе файл Sitemap около года


http://source-cs.ru
http://source-cs.ru/css/
http://source-cs.ru/ucp/
http://source-cs.ru/css34.php
http://source-cs.ru/downloads/


а нужно было как я понимаю только
http://source-cs.ru/sitemap.xml


Скриншот  -  http://rgho.st/7XZq7mnsc
Так вот..
как долго сайту нужно теперь времени чтоб все встала на свои места? 
salamon.83,
да это все вообще ни на что не влияет, я ж написал, что у сайта переспам. Переспам проходит через пару недель после удаления лишних вхождений.
ingref,
Привет! Подскажите для Яндекс поисковика это один и тот же запрос?
скачать css v34
скачать ксс в34 

salamon.83,
"скачать ксс" и "скачать css" - да, а "в34" и "v34" - нет.
ingref,


Как я понимаю и в гугл "скачать ксс" и "скачать css" это один и тот же запрос?



Подскажите если вас не затруднит)
Тут все правильно прописано , я про то чтоб не было переспама?


<meta name="keywords" content="css v34, скачать css v34, скачать css v 34, скачать css, скачать ксс, css v 34, ксс в 34, ксс в34, скачать ксс в 34, скачать ксс в34, контр страйк соурс, скачать кс соурс, ксс, css" />
salamon.83,
Все ключевые запросы========================
css v34

css v 34

ксс в 34

ксс в34

 скачать css v 34

скачать css v34

скачать ксс в 34

скачать ксс в34

скачать css

скачать ксс

css

ксс
salamon.83,
для гугла "в34" и "v34" - это тоже одинаковые запросы. Правильно так:


<meta name="keywords" content="скачать css v34, контр страйк соурс, кс" />
ingref,

 Ну вы прям вообще урезали ключевые слова, я боюсь с гугла по позициям упадем)


Оставил:
<meta name="keywords" content="css v34, скачать css v34, скачать css v 34, скачать css, css v 34, контр страйк соурс, скачать кс соурс, css" />


Вроде нет переспама?) 
salamon.83,
Я так понимаю это одни и те же запросы?
css v34

css v 34
salamon.83,
да. Более того, второй запрос Яндекс вообще считает опечаткой - https://yandex.ru/search/?msid=1501922527.60697.22871.21028&text=css v 34
ingref,
Все верно, вы правы.. но в гугле не считает
Многие пишут что "keywords" не Яндекс не Гугл не учитывают с 2011 года
Ну я все же поставил ваш вариант
<meta name="keywords" content="скачать css v34, контр страйк соурс, кс" />

Так как это только лишний переспам для сайта. 



ingref,
Приветствую 
http://source-cs.ru/

Подскажите еще, данные вхождения "CSS v34"считаются разными, или это все 5 одинаковых вхождений? 
Скриншот  http://rgho.st/6CNyXqXZM

И нет ли тут переспама по запросу "css v34" ?   
Обновлено 6 августа, 09:40
salamon.83,
одинаковые. Нет переспама.
ingref,
Спасибо вам большое! 
Следуем вашим рекомендациям! 
Если сайт появится в поисковике "Яндекс" я даже и не знаю как вас отблагодарить)   
ingref,
Здравствуйте!
Подскажите можно делать с удаленных страниц "редирект"  на 200 ок


http://monitor-css.ru/server_info/46.174.52.26:27258/ 
на 
http://monitor-css.ru/



Вернее не удаленных, а полу живых
Там сам движок мониторинга сложный


Если я сделаю редирект то это примерно 500-700 страниц будут ссылаться на http://monitor-css.ru/ то этот сайт не попадет под фильтр? 

salamon.83,
нет разницы, просто вы их удалите или редирект поставите. Эффект будет одинаковый.
ingref,
Спасибо! Поставили "Редирект" 
ingref,
Приветствую 
20 дней прошло и сайт http://source-cs.ru/   так и находится под фильтром  
в Яндексе. 
А в Гугл 1 позиции по запросами "css v34" посещаемость очень высокая но Яндекс держит сайт на 50-тых позициях
http://rgho.st/68RhlNRSl

Может в чем-то другом проблема?( 
salamon.83,
проблема 100% в переспаме - http://prntscr.com/g9j9jc
Уменьшайте количество вхождений.
ingref,
по запросам 
скачать ксс в34
скачать ксс в 34

скачать css v 34

вхождение вообще нету 
а по 
скачать css v34 только одно 
ingref,

34 - 15 

css v34 - 5 

других вхождений нету 
salamon.83,
ну вот везде, где 34, и уменьшать.
ingref,
Привет
Как я понимаю фильтр стоит не по запросам а всю страницу?
Так как у нас и эти запросы на 50 строчках а были на 1-2 строчках
cs source
кс соурс
=========================
cs source - 2 ВХОЖДЕНИЕ
кс соурс - 1 ВХОЖДЕНИЕ
В ПОИСКЕ ТОЖЕ ФИЛЬТР 
salamon.83,
да, на всю.
После переезда сайта на https индексирование новых страниц не происходит. Их больше нет в поиске. Несколько старых страниц, которые находились в топе исключены из поиска в формулировкой "Недостаточно качественная". Речь об уникальном контенте - описании книг. Так же на страницах приводятся ссылки на книгу и её аудиоверсия в видеоформате. Страница признана недостаточно качественной. Из поиска убрана. И теперь в топе либо выдаётся книга без описания, либо однотипные переделанные сео-статьи.
Действуя по инструкции перехожу на вкладку нарушения и выбираю сайт - нарушений не обнаружено. Связаться с тех.поддержкой Яндекс.Вебмастера также невозможно.
Как решить данную проблему? Или всё, про сайт можно забывать? Яндекс роботы на столько тупые, что 100% уникальный авторский контент, не заточенный под СЕО запросы теперь автоматически попадает в спам-лист как некачественный?
FPG-Arbyus,
https://yandex.ru/blog/platon/2778 - переезжали по этой инструкции?
ingref,
да. всё чётко по ней.
ingref,
кстати, да. Благодарю. У меня тоже по ней поиск отработал чётко. Добавлена 4 часа назад.



А по данным Веб Визора последнее обновление было 27.07.2017.
То есть, он инфу по добавлению страницы в поиск не светит. Странно как-то.
baucenter-rus
28 июля, 16:41
Спасибо, очень полезный вебинар!
День добрый! В видео обещали выложить шпаргалку по дублям.  Я не вижу, или ее нет?
Посоветуйте пожалуйста!


На сайте ~10000 страниц, ~5000 совсем старые (10 лет) и не очень качественные (просто качество со временем росло). Это новости, некоторые схожие по содержанию (в новости вставлялся одинаковый кусок текста-описания, в общем не дубли). Реальные пользователи туда не заходят. А вот Яндекс постоянно реиндексирует. Хочу их удалить, что-бы просто почистить сайт и снять нагрузку. В общем, они ненужны.


NB! Опасения следующие: не будет ли плохо для ресурсу от потери такого большого количества страниц? И да, на них все же стоят ссылки (люди по ним не ходят, конечно), которые дают какой то вес ресурсу в целом.


Спасибо!
firstlena.pershina
Сотрудник Яндекса31 июля, 18:02
flatcher321,
Удаление ненужных страниц - не проблема. Главное точно понять, что они не нужны. Это можно сделать, оценив, сколько и откуда на них трафика приходится. Если страницы есть, совпадающие по темам - лучше их удалять с редиректом. 
firstlena.pershina,
спасибо за быстрый ответ! :) Но я забыл уточнить еще один момент: будет ли польза от такого шага? Еще раз спасибо за внимание. ;)
firstlena.pershina
Сотрудник Яндекса1 августа, 22:07
flatcher321,
Опять же зависит от трафика. Если он есть - то не факт, может даже вред быть. А если страницы ненужные, но тратят ресурсы робота на обход - да, может быть и польза. Я бы начала с эксперимента с небольшим количеством страниц, на которые точно нет трафика. 
Добрый вечер. Подскажите, пожалуйста, у меня сайт best-mother.ru (статейный и каталог садов) и там очень много дублей, хотя я вроде в CMS установил параметр canonical (тк ряд страниц доступы иногда как в конечном разделе, так и в не конечном разделе, также этот параметр добавил и для страниц пагинации). Сделал такие правила давно, а в обходе еще за 26 июля снова вижу.  в чем может быть дело?
Обновлено 2 августа, 11:59
firstlena.pershina
Сотрудник Яндекса2 августа, 12:00
Alexsik-a,
Обходить-то мы их можем, мы  не канонические страницы не должны в поиск отдавать. Если вдруг неканонические страницы у вас в поиск попали - тогда нужно в поддержку писать. 
Для чего все эти вебинары? Над чем работать, если я.директ занимает 4 позиции а я.карты вылазят на 5-ом месте? У меня раб. ноут 15.6 дюйм. ВЕСЬ первый экран выдачи - спецразмещение в Директе где размещают мягко говоря ..........


Обновлено 1 августа, 10:28
У вас не работает не один механизм для  сайтов на js.
Например если сделать настройки подобных сайтов по вашему же faq, то получишь вот такую картинку например:
Счел дублями
/integrations?_escaped_fragment_=
/integrations
И так весь сайт полностью, включая и главную. От сюда не чего не индексируется как нужно.
Так что, товарищи, вместо вебинаров, сидели бы пилили фичу с индексацией js, как гугл.



Обновлено 1 августа, 21:39
firstlena.pershina
Сотрудник Яндекса2 августа, 18:34
i@c6v.ru,
У вас исключаются страницы HTML-копий, но страницы по нужным адресам в поиске? Это нормальная ситуация, робот получает контент с копий и включает страницы по нужным адресам.
firstlena.pershina,
сейчас у меня вообще проблема с снипетами. не чего не трогал на сайте уже пол года как почти, пропали все снипеты в выдаче. В снипетах только тайтл и все =( 
firstlena.pershina
Сотрудник Яндекса2 августа, 19:03
i@c6v.ru,
точнее, конечно, поддержка Вебмастера подскажет, увидев сайт. Но вообще так обычно бывает, когда робот не получает контент с сайта. 
Здравствуйте! А есть живые примеры с использованием селекторов для размещения на странице во избежание создания дублей?
Обновлено 4 августа, 13:34
stroystandart.in
5 августа, 06:40
Очередной апокалипсис от яндекса. Я еще годы назад поднимал тему о том, что вы генерируете дубли сами. Не понятно из-за чего, но посещаемость упала на 50%. Ваша техподдержка ничего не сказала совсем. И что теперь делать? В вашем вебмастере ничего не сказано, почему упала посещаемость? Очередной ваш косяк, которые вы плодите регулярно.
stroystandart.in
5 августа, 07:10
stroystandart.in,
Как решить то, что вы нагенерировали?:
/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files
/index.php?&op=view&id=3857&name=files&ops
/index.php?&op=view&id=3857&name=files&files
/index.php/index.php?&op=view&id=3857&name=files


Ваша техподдержка :


Здравствуйте, Дмитрий!
Благодарим Вас за то, что обратили внимание на проблему с индексированием Вашего сайта. Часть страниц, действительно, может отсутствовать в результатах поиска, при этом никаких санкций на них не наложено.
Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные и уникальные страницы сайтов. Мы всегда работаем над совершенствованием алгоритмов, принимающих решение по включению тех или иных страниц в результаты поиска, и примеры страниц Вашего сайта переданы в поисковый отдел нашей компании для анализа и последующей корректировки алгоритмов.


И такую муть я получал на протяжении 7 лет от вас
stroystandart.in,
Хотелось бы посмотреть на ваше решение для:




/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files
Вот за это спасибо. По делу и конкретно. Ещё бы неплохо громко предупреждать людей, устанавливающих ваш движок для поиска по сайту, что он генерит несметное количество дублей, и что это нужно привентивно пресекать в robots сразу после установки поиска на сайте. Если такое есть - пардон, не видел... В своё время я избежал этой проблемы благодаря советам на сторонних форумах.
firstlena.pershina
Сотрудник Яндекса7 августа, 12:07
pecuniat,
Если вы про движок Яндекс.Поиска для сайта, то он никакие дубли не генерит и генерить не может. А то, что страницы поиска на сайте (любого) как сущность нужно закрывать от индексирования, как и иные типы динамического контента, говорилось уже несметное количество раз. 
firstlena.pershina,
Да, я про него и именно про кучу мусора в поиске от него. Просто здесь не видел это "несметное количество раз" )  Решил сказать: вдруг кто-нибудь такой же невнимательный как я увидит и учтёт.
Здрасти!
Пожалуйста скиньте ссылку на форму заполнения, чтобы написать в техю поддержку по вопросу сайта.
А то тут везде кликаю на "Обратная связь" всегда ссылают на раздел Помощь, где куча вопросы с ответами, а формы заполнения я так и не нашёл. просто измучился.
заранее спасибо
firstlena.pershina
Сотрудник Яндекса7 августа, 12:07
sinyashin69,
Она там есть, если дойти до конца вопросов с уточнениями, что именно случилось с вашим сайтом. 
firstlena.pershina,
здесь переписываться о моём сайте не буду.
чтобы дойти до конца, как вы говорите нужно хорошое зрение, а у меня зрение очень плохое. плохо, что нет сразу ссылки на форму отправки
firstlena.pershina
Сотрудник Яндекса7 августа, 19:08
sinyashin69,
Не плохо, подавляющее большинство вопросов не требуют обращения в поддержку - и решаются, если читать подсказки. Так человек куда быстрее решает проблему - если его цель именно решить проблему, а не написать в поддержку. 
firstlena.pershina,
да, вы правы. я так и делаю всегда.

ладно, спасибо за помощь. пойду пить чай
stroystandart.in
8 августа, 11:44
firstlena.pershina,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
stroystandart.in
8 августа, 11:46
firstlena.pershina,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
firstlena.pershina
Сотрудник Яндекса8 августа, 15:40
stroystandart.in,
Мы не генерируем дубли - мы индексируем то, что находим на вашем сайте. Если у вас есть дубли - закройте их от индексирования или приведите к канонической страницы. К сожалению, за вас мы этого сделать не можем, так как это настройки вашего сайта. 
stroystandart.in
8 августа, 17:15
firstlena.pershina,
Именно вы и генерируете их, вопрос встал на сайте разработчика и он подтвердил, что генерируете их вы.


Ответьте, пожалуйста,  мне на вопрос как мне закрыть эти дубли:


/index.php?name=files&op=view&id=3857 (должно быть так) Как закрыть эти:


/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


Я проверил все входящие и внутренние ссылки, нигде нет ссылок на ссылки вида тех двух, что я указал выше.


И почему просел трафик на 70%? В панели никаких сообщений нет. 
stroystandart.in
8 августа, 17:17
firstlena.pershina,
Цитирую :


"Данный вопрос уже подымался ранее. Проблема глобальная и касается не только SLAED CMS. Дело в том что для языка PHP последовательность передачи переменных в ссылке/адресной строке не имеет значения.
Поисковые системы типа Google, Yandex и Co. используя своё положение монополистов придумывают свои правила которые выгодны только им и принуждают других плясать под свою музыку. Это касаетя не только вопроса с дублированием ссылок но и многих других факторов и стандартов связанных с сайтостроением.


Одним из решениев которое я вижу на данный момент это реализация функции маршрутизации запросов системы, как обычных так и ЧПУ адресов."
stroystandart.in
8 августа, 17:37
firstlena.pershina,
И еще одну вещь проясните, если вы не при чем:


ПОЧЕМУ 8 ЛЕТ НЕ ВСТАВАЛ ЭТОТ ВОПРОС, а теперь это проблема?  Почему сейчас они откуда то возникли?
stroystandart.in,
То есть ваша великая CMS не поддерживает общепринятые стандарты поисковых систем, и поисковые же системы виноваты? ))) Действительно, им же нужно смотреть на все "удачные попопытки" "пряморуких разработчиков".  
firstlena.pershina
Сотрудник Яндекса8 августа, 19:50
stroystandart.in,
Давайте еще раз - вы сами пишите, что ваше CMS не поддерживает общие стандарты и создает дубли. Чтобы разобраться, как закрыть ваши дубли - нужно понять, по какому принципу они генерируются. Из приведенного примера кажется, что можно так (вариант):
Disallow: /index.php?id=
Disallow: /index.php*op=*id=*name=*

Но нужно вытаскивать все варианты построения дублей и проверять, все ли удалось закрыть. 
firstlena.pershina
Сотрудник Яндекса8 августа, 20:05
stroystandart.in,
Хороший совет - перепроверяйте то, что вам говорит разработчик. Например, правильно ли он сделал настройки. Дубли практически всегда возникают из-за неправильной настройки сайта. И почти всегда разработчикам сложно сказать, что эти дубли возникли из-за этого. 
firstlena.pershina,
Ну что вы! Разработчика так можно и премии лишить - а вот Яндексу нечего не будет. Сжальтесь над человеком, спасите его премию, признайте, что это вы дубли им нагенерировали! 
Fundamentum,
Уточните и назовите международный стандарт
Fundamentum,
8 лет дублей не было.
firstlena.pershina,
Напишите номер стандарта
Fundamentum,
Прежде чем открывать рот, или запускать пальчики на клаву, поинтересовались бы, разработчик я или владелец сайта
светодиодные-товары.рф
7 августа, 11:04
Добрый день.
Подскажите где логика?
Вот по нашей логике основная страница(главная категория)
https://эксперт-снабжения.рф/avtomatika/

а по версии робота она является дублем след страницы:
Страница https://эксперт-снабжения.рф/avtomatika/ дублирует уже представленную в поиске страницу https://эксперт-снабжения.рф/3m. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

Страница https://эксперт-снабжения.рф/3m является страницей производителя и ни какого отношения ни контентом , ни товарами отношения к https://эксперт-снабжения.рф/avtomatika/ не имеет.
firstlena.pershina
Сотрудник Яндекса7 августа, 12:08
светодиодные-товары.рф,
Если у страниц написано, что они дубли - значит на момент индексирования у них был единый или очень похожий контент. Если сейчас контент отличается, отправьте страницы на переиндексирование. 
светодиодные-товары.рф
7 августа, 13:02
firstlena.pershina,

Спасибо за ответ.
Отправил на переиндексирование , но результат 0.

firstlena.pershina
Сотрудник Яндекса7 августа, 13:38
светодиодные-товары.рф,
В смысле, переиндексировались и повторно признаны дублями? Или еще не переиндексировались? 
firstlena.pershina
Сотрудник Яндекса7 августа, 13:40
светодиодные-товары.рф,
Кстати, у вас meta name="description"не прописан на 3M, насколько я вижу. 
stroystandart.in
8 августа, 11:54
firstlena.pershina,
Вы проигнорировали меня, пожалуйста, ответьте на мой вопрос, как мне решить проблему с вашей чехардой


/index.php?name=files&op=view&id=3857
/index.php?id=3857&name=files&op=view
/index.php?&op=view&id=3857&name=files


и почему посещаемость упала на 70%


Ваша техподдержка молчит
светодиодные-товары.рф
8 августа, 15:58
firstlena.pershina,
переиндексировались , но проблема осталась прежняя.
Причем следующие категории преследует та же напасть.
https://xn----8sbdndfpj3aeonken4oyb.xn--p1ai/pnevmatika/

Вы можете доступно объяснить как абсолютно разные страницы могут являться дублями(
Обновлено 8 августа, 15:58
светодиодные-товары.рф,
надо дождаться, когда вот это переиндексируется https://xn----8sbdndfpj3aeonken4oyb.xn--p1ai/3m
firstlena.pershina
Сотрудник Яндекса8 августа, 19:38
светодиодные-товары.рф,
Выше верно отметили, что если страницы отдали при ошибки один и тот же контент - то именно этот контент мог быть посчитан как дублирующийся. 
хотим белый список по Clean-param!!!!

Интересный вебинар, спасибо. Подскажите как бороться с такой ситуацией: есть каталог, в котором есть два товара с похожим описанием и они расцениваются вебмастером как дубли
http://it-th.ru/catalog/monobloki/232208/
http://it-th.ru/catalog/monobloki/232207/
это совершенно разные товары в одной линейке, одного производителя, но так как робот оценивает только текст, то символьные различия между страницами невелики.  поэтому процент текстовых изменений позволяет роботу причислить страницы к "практически идентичным". да, есть решение - вписывать текст в каждый товар, но в масштабах огромной выгрузки - это непосильная задача, причем  товар может сегодня быть в наличии, а завтра нет. Поэтому писать внутри текст неоправданные трудозатраты.  как выйти из этой ситуации?

itth2016,
нужно сделать так, чтобы у таких товаров были разные Title и Description. Сейчас они у вас полностью совпадают.
ingref,
значит в семинаре должна быть поправка, что робот изучает не только текст страницы, но и метатеги. спасибо за разъяснение, постараемся исправить
firstlena.pershina
Сотрудник Яндекса9 августа, 14:37
itth2016,
Есть общая рекомендация иметь различные описания и заголовки для всех страниц сайта. Но вообще и содержание самих страниц стоит развести. 
День добрый! Подскажите пожалуйста, появилось очень много страниц дублей вот такого типа - урл?sa=X&ved=0ahUKEwj2r6OOla7TAhVKM5oKHZQEAFQQ9QEIDjAA
и
урл?action_object_map={\"1554704371468201\":820512661322787}&action_ref_map=[]&action_type_map
правильно ли я сделаю если запрет пропишу так:
Clean-param: sa&action_object_map
боюсь не выпадут ли из индекса все страницы, в которых есть сочетание "sa" в адресе?
Или лучше сделать так:
Disallow: *sa=*
заранее спасибо за ответ!
firstlena.pershina
Сотрудник Яндекса9 августа, 15:12
moyo-delo,
Если их очень много, то лучше использовать "Disallow: *sa=*", тогда робот не будет их посещать (при использовании Clean-param робот периодически может заходить на такие страницы).
firstlena.pershina,
большое спасибо!
firstlena.pershina
Сотрудник Яндекса9 августа, 15:33
moyo-delo,
На всякий случай не забудьте проверить закрытие в анализаторе robots.txt в Вебмастере.