Блог Яндекса для вебмастеров

Новости Вебмастерской: что выпало, а что добавилось?

9 декабря 2016, 12:51

В разделе «Индексирование сайта» в Вебмастере уже давно есть графики, на которых показаны данные о количестве загруженных и добавленных в поисковый индекс страниц, а также исключенных из него документов. Даже небольшой рост количества проиндексированных веб-документов стоит серьёзно изучать.

Например, увеличение страниц в индексе на три может означать не только добавление трёх новых документов, но и быть следствием того, что из индекса выпало 10 страниц, а добавилось 13. При этом, возможно, среди этих десяти оказалась и важная, привлекающая большое количество поискового трафика. Для того, чтобы такие ситуации было проще отслеживать, мы создали в разделе «Индексирование сайта» новый инструмент, помогающий быстро разобраться в деталях и понять, сколько страниц реально попало в поисковый индекс, а сколько было из него удалено и по каким причинам.

Вторая новость связана с разделом «Поисковые запросы», где появилась возможность не только смотреть все основные параметры, но и выгрузить их, чтобы использовать во внешних системах аналитики. Теперь можно скачать в формате CSV все основные отчеты, которые будут содержать полный набор данных:
- сводные отчеты по группам запросов, популярным и избранным запросам;
- детальный отчет по конкретному запросу или их группе;
- детальный отчет по любому из отслеживаемых вебмастером показателей группы или запроса.


Делаем данные еще нагляднее!
Команда Вебмастера

55 комментариев
Подписаться на комментарии к посту
Отличная новость,
Продублирую пожелание мое и многих в зале/трансляции.
Очень важен и нужен инструмент выгрузки данных о проиндексированных/выпавших страницах через API


Для того чтобы не парсить данные с вебмастера и использовать данные эффективно ( группировать по типам проблем , датам и урлам.. )


Заранее, Спасибо!
mr@g1k.ru,
 Планируем, понимаем, что вещь полезная.  
Как всегда, вроде все круто. Клевый инструмент, но что  с ним делать если выгрузки нет? Ну разве , что для ознакомления.
anton.savajik,
Да, хотим и планируем. 
В тексте ссылка "Индексирование сайта" ведет на раздел статистика поисковых запросов. Должна вести на раздел Индексирование>Страницы в поиске
kudanamore,
Поправили, спасибо. 
firstlena.pershina,
у меня эта страница почему-то по-другому выглядит, не так как на скрине в статье выше. Красным цветом "остальные" что значит? Которые выпали страницы или которые не входят в другие категории сайта? Да, и категория (рубрика) сайта у меня в этом списке всего одна почему-то. Но вижу, что остальные рубрики нужно (опять же!) ручками прописывать. ))
firstlena.pershina,
Извините, поспешила малость со своим первым комментарием. ))) Разобралась уже. Да, очень важное новшество в Вебмастере! Нужно почаще отслеживать только! А рубрики моего сайта в "Структуре сайта" и в самом деле не все перечислены. Вот страницы из этих рубрик в "остальные" и попадают. И вводят в заблуждение. Недоработка, однако. И плохо это, что вручную нужно добавлять.
firstlena.pershina
7 января, 21:47
stella-stan,
Ну, не идеально, конечно, но хранить и показывать море ненужной информации тоже не очень хочется. Обычно через этот инструмент все-таки анализируют основные разделы сайта, а они все-таки тут автоматически показываются.
Здравствуйте! Спасибо что добавили полезную функцию. Смотрю на сайте www.1001tur.ru - у нас очень большой индекс и есть страницы, которые выпали из-за свойства "некачественные страницы". Как можно их выгрузить все 1 разом, т.к. мотать 2500 страниц ну просто невозможно. 
seotur1001,
Выгрузки пока нет, а отсортировать можно через фильтр "Статус", например. 
firstlena.pershina,
Ок, спасибо! Сначала не заметили. Сейчас увидели что есть фильтрация. Ждем выгрузки)) 
"но и выгрузить их, чтобы использовать во внешних системах аналитики"
Через API будет?
Спрашиваю, так как смысла просто в таблице нет. Нужна динамика, а для этого нужны даты в качестве расширений (dimensions), сейчас в выгружаемом руками файле только сами слова.
Если так будет, то будет просто фантастика!
Обновлено 9 декабря 2016, 18:10
Попов Дмитрий
11 декабря 2016, 15:45
avtomir-webmaster,
Я понимаю, почему это хочется в апи, но я не понял как это связано с тем, что "нужна динамика" - Динамику вы получаете из самого файла, в котором вы можете сделать выборку по любому запросу (или показателю) и там просто в ячейках по дням Вы сможете видеть ту самую динамику
Попов Дмитрий,



Дмитрий, я вроде бы все прокликал, но не вижу "в ячейках по дням Вы сможете видеть ту самую динамику" (или я неправильно понял Вас). 
У меня в таблице нет ячеек с днями - https://yadi.sk/i/QPV7ny2f33AH4x
Дни только в интерфейсе Вебмастера. 


Я не могу найти то, о чем вы пишите или я неправильно вам понял?
avtomir-webmaster,

Вероятно Дмитрий имел ввиду вот эти отчеты.
Если в популярных запросах выбрать показатель тогда идет динамика по дням в тч в выгрузке.
https://w6p.ru/YTQyNm.png



Аналогичная динамика идет в разделе статистика при выборе группы
https://w6p.ru/NWNhM2.png
Обновлено 12 декабря 2016, 13:02
mr@g1k.ru,

Если я правильно понимаю, то данные от этого графика (то, что размещено на осях: x - дата, y - показатель) нельзя никак выгрузить в виде таблицы. Во многих системах внутри нашей компании, дата в большинстве случаев "ключ"/"часть ключа" по которому идет соединение данных из других систем.


Например, 
Если есть система с учетом звонков/заявок и "трафика", то прикрутить к ней данные по фактическим показам невозможно, так как динамика показов не выгружается по дням.


Если нужно понимание, как изменялась динамика показов по словам с "купить", "цена" или названием товара, то сейчас это невозможно узнать.
В интерфейсе слова никак не отфильтровать (если заранее не создавать группу и тогда только с даты создания будет статистика). Группы - это отлично, однако все равно возникает мысль "а если вот так посмотреть?"


Суммарно, сейчас функционал очень клевый и было бы еще лучше, если данные можно "забирать" с датами. 
avtomir-webmaster,
Спасибо за пояснение, учтем это при работе над выгрузками. 
Хорошее известие! Графики помогают понять, сколько статей добавлено в индекс Яндекса. Еще мне очень радует сервис "Оригинальные тексты". Когда я опубликовал на своем блоге статью, но она еще не была проиндексирована, я сразу добавил ее в "Оригинальные тексты", и спал себе спокойно! Я вижу, что Яндекс очень полюбил мои статьи, чем очень горжусь! Успехов Вам, Яндекс!
Tough Russian,
Спасибо, стараемся. 
Вот сижу изучаю статистику своего интернет магазина и не могу понять, почему в индекс упорно добавляются страницы с тегом rel="canonical" а со временем выпадают как некачественные страницы.
Так же в индекс влетают страницы пагинации с тегом <meta name="robots" content="noindex, follow"/> и со временем так же вылетают как  Недостаточно качественная
Собственно 2 вопроса
1) почему попадают в индекс страницы canonical  ?
2) почему попадают в индекс страницы meta name="robots" content="noindex, follow"  ?
Обновлено 19 декабря 2016, 11:48
rel="canonical" (не тэг, а атрибут) указывает поисковику: "проиндексируй именно это страницу из всех похожих вариантов с разными или частично одинаковыми урлами"
поисковик послушно индексирует, а потом, видимо, обнаруживает частичные дубликаты ("слишком похожие") и выбрасывает всё из индекса или переводит в сопливый индекс, и rel="canonical" не поможет
а "слишком похожих" страниц у вас почти все :)
(где, кстати, у вас страницы с rel="canonical"? чё-то не видно)
а вообще - все эти метатэги и директивы не гарантируют сохранения страниц в основном индексе, есть только один способ с гарантией наращивать количество страниц в интернет-магазине: делать их уникальными
для этого на странице с результатами сортировки должны выводиться тексты и картинки, ОТЛИЧНЫЕ от текстов и картинок со страницы карточки товара
вот если сможете уникализировать все страницы сортировки, то вам никакие noindex,follow и не понадобятся
(ну, и title с description тоже не должны быть слишком похожими, как у вас)
на странице пагинации логично использовать rel="next" и rel="prev"
Обновлено 22 декабря 2016, 08:09
да, конечно же, не "это страницу из всех похожих вариантов",
а "страницу именно с этим урлом из всех одинаковых по содержанию страниц"
markizy.sunrise,

Доброе утро. Огромное спасибо за ответ!
1) (где, кстати, у вас страницы с rel="canonical"? чё-то не видно)

rel="canonical" у меня используется на страницах фильтрации (использование фильтра в каталоге) и страницах сортировки товаров (по цене, по популярности и тд.) например вот https://www.lusart.ru/category/lyustry/?sort=price&order=asc



2) на странице пагинации логично использовать rel="next" и rel="prev"

на всех страницах пагинации у меня как раз и используется  rel="next" и rel="prev", но в блоге Яндекса к статье  Platon в комментариях пишет, что Робот эти указания не поддерживает и проигнорирует при индексировании страницы
3) И как же быть со страницами пагинации? убрать с них noindex,follow и оставить только rel="next" и rel="prev"?
4) (ну, и title с description тоже не должны быть слишком похожими, как у вас) Спасибо за совет, исправлю на страницах, на которые нет трафика



govoruhin.evgenij,
Все эти вопросы я задаю с целью, чтобы Яндекс бот впустую не индексировал страницы пагинации (которых очень много), а индексировал карточки товаров. 
Обновлено 22 декабря 2016, 09:41
govoruhin.evgenij,
сперва уникализируйте страницы, потом убирайте noindex,follow
Теперь можно скачать в формате CSV все основные отчеты, которые будут содержать полный набор данных:
- сводные отчеты по группам запросов, популярным и избранным запросам;
- детальный отчет по конкретному запросу или их группе;
- детальный отчет по любому из отслеживаемых вебмастером показателей группы или запроса.
Ложь. Не только нельзя выгрузить детальный отчет по запросу или группе, но даже скопировать со страницы нельзя. Заблокировано выделение текста. И в этом - отношение к вебмастерам - "смотрите, любуйтесь на наши картинки"...
Попов Дмитрий
26 декабря 2016, 16:02
toologic,
 Детальный отчет по любому запросу из статистики поисковых запросов доступны с момента анонса. Вы, очевидно, говорите про раздел "Последние запросы" - там выгрузки не доступны и, пока что, не планируются.
То, что нельзя скопировать - это ошибка, которая возникла во время последнего релиза - исправление просто еще не выехало.
Попов Дмитрий,
Изучил весь раздел Поисковые Запросы - Статистика. Можно сказать "под лупой".  - Нет там кнопки-ссылки  Скачать, Выгрузить или что-то подобное. Вот выбрал - Популярные запросы, выбрал конкретный запрос из списка, даты с 20 ноября по 20 декабря. Вижу красивые графики. А! Вот кнопка "Архив" - жму. О чудо. Скачался data.csv размером 1 байт. Хороший фундамент для анализа! Кхе...
А подскажите по индексации внешних ссылок?
Сейчас стало очень удобно смотреть что попало в индекс, что вылетело. То же самое и для внешних ссылок, какие добавились, какие пропали. 
Спасибо!

Так вот, наблюдения привели к мысли, что надо бы получше Яндексу проработать алгоритм отсеивания внешних ссылок. 

Например, вот ситуация, на мой сайт календарей была ссылка с сервиса кудаго. Их редактор скопировал информацию с моего сайта и в подписи разместил ссылку на первоисточник.
Ссылка проиндексировалась и висела в Яндексе с 12.03.2016 по 11.10.2016, после чего была удалена согласно данным в отчете Вебмастера. Странно, почему так?
Статья с материалами с моего сайта и ссылка на первоисточник как стояли, так и сейчас стоят, это видно любому, в том числе и Яндексу.
Но Яндекс все равно перестал учитывать ссылку. Может и авторство еще сайту кудаго отдаст, т.к. у него тИЦ выше?

Можете проверить, так и должно быть? Ссылка на оригинал должна удаляться из Яндекса? Или это ошибка алгоритма?
на нашем сайт авиабилетов тоже самое
Добрый день, функция выгрузки запросов все равно как-то криво работает, логике не подвластно, то выгружает то нет, фильтр применил - кнопка архив пропадает. В общем как-то не ясно какие правила выгрузки. Максимум выгрузишь например 2 тыс запросов а их там 7 тыс, какие выгрузились не понятно. Столько уже тестирую по разному и что-то некорректно работает
Было в индексе  800 ,добавилось еще 800, стало 1600.Всего статей около 800.Появились дубли?Кто ответит на этот вопрос?
Попов Дмитрий
4 февраля, 21:14
gumirov.igor,
Так посмотрите что конкретно добавилось. И посмотрите список всех страниц в поиске (при таких объемах это не сложно) . Никто лучше Вас самого на этот вопрос не ответит. При этом благодаря последним инструментом вебмастера мы дали возможность все это увидеть максимально подробно и прозрачно.
Как вообще посмотреть какие страницы удалены и по какой причине? Вижу просто график, но не вижу фильтра по добавленным и удаленным...
Попов Дмитрий
5 февраля, 00:45
dokvyacheslav,
Видимо не там смотрите где-то. То есть если вы видите "только график" я даже не знаю что вам посоветовать, кроме как, собственно, и зайти в раздел "страницы в поиске". Там вроде бы и примеры видны и фильтры у каждой колонки очевидны
Добавлено/Удалено со статусами — супер, много инсайтов по сайту с большим каталогом недвижимости. Ждём функции выгрузки.
Обновлено 7 февраля, 19:44
Добрый день
Прошу о помощи:(
Уже который месяц идет непонятные явление
То забросит в поиск 5000, то выбросит
Пишет что недостаточно качественная страница
Идет общее понижение.
Пытаемся разобраться, но логических объяснений не можем найти, может вы поможете?
http://be-zon.ru/bra-i-podsvetka/bra-divinare-1x40w-e14-3006-01-ap-1
http://be-zon.ru/bra-i-podsvetka/bra-eurosvet-3294-1-antichnaya-bronza-strotskis
Обновлено 7 февраля, 09:47
firstlena.pershina
7 февраля, 19:45
sgolubnik,
А поддержка что-то конкретное тут сказала?  
Здравствуйте! Почему обнулился ТИЦ на сайте? http://trustenergo.ru/catalog/elektrostantsii/elektrostancii-seriya-doosan-100-600-kvt

заметил вчера падение до 50%, с чем связано? Извините может не по теме конечно
Обновлено 7 февраля, 11:40
firstlena.pershina
7 февраля, 19:53
win4ersl,
Добрый день! На подобные вопросы по конкретным сайтам отвечаем только через поддержку Вебмастера - только владельцам подтвержденных сайтов. 
firstlena.pershina,
Добрый вечер... моя страница (http://netslezam.ru/lechenie-narkomanii/) никак не выходит в топ... как и где можно узнать по каким причинам? Подскажите, пожалуйста. 
firstlena.pershina
15 февраля, 15:06
netslezam1,
Добрый день! Аналогично, через поддержку Вебмастера.
Но на столь общий вопрос тоже ответят очень обще что-то вроде "потому что есть более качественные страницы, удовлетворяющие запросу". Тут нужно анализировать ситуацию: нет ли за сайтом нарушений, по каким запросам нужно попасть в топ и т.д. 
firstlena.pershina,
 Скажите, а как можно узнать есть ли
за сайтом нарушения? Веб-мастер ничего не показывает...
Обновлено 15 февраля, 15:23
firstlena.pershina
15 февраля, 15:53
netslezam1,
Да, через Вебмастер (раздел "Нарушения") или поддержку - по прямому запросу от владельца подтвержденного сайта. 
Спасибо команде Яндекса, что радуете всякими полезными "обновлениями-вкусностями", которые лучше помогают понять что надо для посетителей и сайта в целом.
Продолжайте в том же духе!
Трям )
Не понятно, - написана причина удаления страницы из индекса, как недостаточно качественная. Что это значит? Целый год она была качественной и вдруг.. стала недостаточно?))) Очень интересный алгоритм.. 
Мне очень понравилась эта фишка! Всегда видно что к чему.
Добрый день!
Огромное вам спасибо за "полезные сервисы" сотрудникам Яндекса! 
За Яндекс.Кассу отдельно выражаю свою искреннюю благодарность! 
Спасибо огромное! Удачи в вашей работе и развитии вашего труда.
firstlena.pershina
14 февраля, 15:22
alandesign,
Спасибо, будем стараться и дальше! 
Поисковые запросы это полезная вещь...
tamara.mra4kovskaya
16 февраля, 10:42
Добрый день, уважаемая команда Вебмастер! Из-за недобросовестного продвижения компании, которая продвигала мой сайт: tamarapariki.ru  в 2015 году, сайт попал под санкции 11 января 2016 года и только в октябре 2016, санкции прекратились, но позиции сайта упали.Когда я звоню к специалистам по продвижению и говорю им что хотелось бы исправить сложившуюся ситуацию, то они задают мне много вопросов типа: "А что Вы конкретно хотите, чтоб Ваш сайт приносил Вам клиентов?" Если бы я знала, что нужно и разбиралась бы в этом, то наверное  занималась этим сама.                                                                                                                                            Уважаемая команда Вебмастер! Подскажите, пожалуйста, с чего мне начать и к кому обратиться, чтоб "доверить своё любимое дитя хорошему доктору".                                                  
С уважением Тамара.
firstlena.pershina
16 февраля, 16:24
tamara.mra4kovskaya,
Тамара, добрый день!
Вы в описанной вами задаче выступаете заказчиков. Поэтому вопрос ваших подрядчиков корректен - вам нужно сформулировать перед ними задачу и договориться о том, как вы будете принимать работу оптимизатора. У нас есть вот такой обучающий ролик на эту тему: https://www.youtube.com/watch?v=6BycX15f6Pg
Посмотрите, пожалуйста, возможно, он поможет вам определиться с тем, какие именно задачи ставить перед оптимизатором.  
Этот же ролик в контексте курса обучения: https://events.yandex.ru/lib/talks/3097/ 

Что касается "посоветуйте фирму", то поисковая система Яндекс не занимается продвижением сайтов, и рынок предоставляемых услуг в этой сфере мы также не анализируем, так как это не входит в рамки наших задач. Поэтому посоветовать какую-либо определённую фирму мы не можем.

При выборе компании для сотрудничества мы рекомендуем Вам ознакомиться с основными принципами ранжирования сайтов (https://yandex.ru/company/rules/ranking/ ) и удостовериться, что выбранная Вами организация не использует рискованные методы продвижения (https://yandex.ru/company/rules/optimization/ , https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml ).
Обновлено 16 февраля, 16:24
Поправьте пожалуйста косячок:
Страница дублирует уже представленную в поиске страницу undefined. 

Не понятно какую страницу дублирует...
Есть API? У меня большой сайт и вручную анализировать через стандартный интерфейс  очень долго.