Блог Яндекса для вебмастеров

Обновлённая статистика обхода

28 марта, 18:45

Представляем вам полностью обновленный раздел «Статистика обхода».
Теперь данные в этом разделе обновляются раз в несколько часов, что позволяет отслеживать изменения важных страниц еще до того, как они попали в поиск. В частности, теперь легко понять, какие новые документы обошел робот и какие из них изменили свой статус. Данные доступны и для выгрузки - в форматах XLS и CSV, а на дашборд вынесен график обхода и список последних страниц, изменивших статус.

Статистика обхода в Яндекс.Вебмастере

Так, теперь можно отслеживать проиндексированные страницы за сегодня, вчера или более поздний период, легко узнавать статус посещенной роботом страницы и обнаруживать проблемы еще до попадания данных в поиск. Например, можно срочно изменить код ответа сервера по этой странице и отправить её на переобход через одноименный инструмент.

Данные, связанные с добавлением страниц в поиск, теперь находятся в недавно обновленном разделе «Страницы в поиске». Теперь там отображаются не только адреса страниц, которые были добавлены в поиск или исключены из него, но и подробные статусы по каждой странице. Например, причина исключения из поиска.

Продолжаем делиться данными, 
теперь в режиме реального времени

Команда Вебмастера

188 комментариев
Подписаться на комментарии к посту
хм. а где общее количество проиндексированных страниц?
Попов Дмитрий
28 марта, 19:08
kovalery,
Пора разделять термины "обход" и "индексация".


Есть страницы в поиске и исключенные - это проиндексированное и то, что из поиска выкинуто/не может попасть.


А есть обход - это то, что робот обходит (не все из этого индексируется - например всякие скрипты и картинки). 
Попов Дмитрий,
я понимаю. только  где всё-таки количество страниц в поиске теперь?
Попов Дмитрий
28 марта, 19:53
kovalery,
В разделе "страницы в поиске"
galina.barabash13
28 марта, 20:42
Попов Дмитрий,
присоединяюсь к вопросу выше. со "страницами в поиске" и "исключенными" все понятно . непонятно , как и автору выше, где можно посмотреть именно общее кол-во страниц в поиске, а не добавлено и удалено. только с помощью выгрузки, я правильно понимаю? так как общее кол-во всех страниц в поиске не указано нигде. ну или я туплю конкретно.
Попов Дмитрий
28 марта, 21:02
galina.barabash13,
Раздел "Страницы в поиске". Над графиком переключатели "История",  "распределение" - в обоих графиках можно увидеть общее количество страниц в поиске
galina.barabash13
28 марта, 21:04
Попов Дмитрий,
теперь дошло. спасибо!
advertising-electronic
28 марта, 21:22
Попов Дмитрий,
 Чтобы просмотреть количество страниц "Загруженных" и "Участвующих в поиске" нужно зайти в раздел "Индексирование" -> "Страницы в поиске" -> "Включить ассоциативное мышление" -> и кликать по вкладкам "История","Распределение". 
Очень удобно (
Я порой пишу статьи и добавляю страницы на сайт и в суе рабочих будней захожу на веб-мастер с планшета чтобы получить информацию все ли в порядке и добавились ли мои страницы в поиск , эта информация как я думаю для многих важна и удобна для получения на главной странице, так как вся работа оптимизатора имеет конкретную цель, продвижение сайта.
А так как информацию о позициях в выдаче и т.п мы получаем через сторонние, ПЛАТНЫЕ сервисы, то удаленная "общая информация о страницах" крайне не удобна. Есть предчувствие, что со мной многие согласятся !
Обновлено 28 марта, 21:22
Попов Дмитрий
28 марта, 21:23
advertising-electronic,
Как раз что бы "с планшета увидеть попала ли нужная страница в поиск" и сделаны график и таблица "последние изменения" - здесь эту задачу решать намного удобнее.


Остальное вообще не понял.
kovalery,


Общее количество ссылок в поиске
увидеть можно на странице добавленных сайтов
Сергей Матюнин
29 марта, 07:43
Попов Дмитрий,
Раньше же прямо вроде в сводке было общее число страниц в индексе? А сейчас еле нашел - в "Структуре сайта". Ну, или в "Страницы в поиске - история - навести мышь на график". Неудобно.
kovalery,
Страницы обхода > Вкладка "Все страницы" 
Попов Дмитрий,
 да количество  можно увидеть , а как выгрузить и получить список страниц которые на данный момент участвуют в поиске ? 
GreenPeace15061986
14 апреля, 12:53
wezom-analiz,
тоже столкнулся с этой проблемой
Попов Дмитрий
14 апреля, 14:20
wezom-analiz,
На этой же странице переходите во вкладку "Все страницы" в таблице с примерами. После этого спокойно выкачиваете список всех страниц в поиске (не работает только для сайтов, где больше 50К страниц в поиске - в этом случае в выборку не попадут только те страницы, которые давно не обходились).
Попов Дмитрий
14 апреля, 14:20
GreenPeace15061986,
ответил выше
Попов Дмитрий,
спасибо за ответ ..но я уже здесь смотрел http://prntscr.com/ewh6qp и там пусто , получается в идексе нет ни одной страницы , но это не так http://prntscr.com/ewh7kn
denis.v.lysenkov
29 марта, 11:51
kovalery,
а на главной странице Вэбмастера (https://webmaster.yandex.ru/sites/?hostnameFilter=) разве не указывается общее количество проиндексированных страниц? Там отображается Загружено и В поиске.

В поиске - это и есть проиндексированные страницы...
Если я не прав, поправьте меня, пожалуйста.
denis.v.lysenkov,
Господа! Раньше был график с историей проиндексированных и загруженных страниц. Это была очень полезная штука. А именно, большое превышение загруженных над страницами в поиске говорило о наличие технических дублей. Соответственно, можно было проводить мероприятия и отслеживать изменения.
Вот сейчас нам сделали сайт на Битриксе. Количество страниц в поиске порядка 100. А проиндексированных - 20000 (двадцать тысяч). 
Яндекс как-то говорил, что ему не нравятся  технические дубли. И применяет за это санкции (хотя я считаю, что это свинство).
Теперь инструмент контроля за дублями ликвидирован.
Если Яндекс не будет за это штрафовать - то мне всё равно
firstlena.pershina
29 марта, 17:21
kovalery,
В разделе "Страницы в поиске" как раз можно выгрузить статусы страниц - те, что мы посчитали дублями, те, что  мы посчитали некачественными и т.д. Таким образом этот кейс, кажется, теперь даже проще стал решаться.
firstlena.pershina,
да. раздел "страницы в поиске" -> исключённые.
например в одном проекте я вижу такого рода исключённую ссылку: http://oknapiter.ru/products/rollety/shlagbaumy/www.rolletypiter.ru/delivery.html/warranty.html/warranty.html/warranty.html/www.rolletypiter.ru/www.rolletypiter.ru/
я говорю разработчику сайта: "что это за косяк? Его нужно убрать."и хочу видеть наглядную динамику сокращения этих битых ссылок.
точно также как я хочу видеть динамику прироста нормальных страниц. ну ведь был же такой инструмент. теперь его нет
firstlena.pershina,
Есть предложение, сделать возможность использовать в фильтрах "Не содержит" для исключения определенных значений.
Обновлено 30 марта, 20:29
yurchenko.yura-2016
3 апреля, 14:58
firstlena.pershina,
Скажите пожалуйста . Можно ли ссылку своего сайта размещать в разных каталогах. У меня строительная тематика,и я нашёл около 80 строительных каталогов в России и Белоруссии которые мне подходят. Не будет ли это считаться запрещённой накруткой ссылок или нет ?
Попов Дмитрий
14 апреля, 14:24
kovalery,
Яндекс никогда не говорил, что применяет санкции за большое количество дублей, это не правда.


Но большое количество плохих страниц, которые мы обходим может сказаться на скорости обхода сайта в целом. То есть совершенно неважно - если "3 месяца назад мы когда-то зашли на какую-то страницу, и узнали что она отдает 404". Более того - это исключительно внутреннее дело, сколько страниц мы помним, сколько времени их храним и т.д. Важно, куда мы ходим.  То есть "загруженные" страницы это была цифра, к которой все привыкли, но в ней очень сомнительный физический смысл. Важно, что бы не было такого, что поиск каждый день заходит на сайт и выкачивает тонны мусора. Вот с этим нужно бороться. Новый раздел "статистика обхода" - заточен под решение именно этой практической задачи.
Лайк!
geeforce,
и репост
как раз зашел в яндекс вебмастер, а тут новости от яндекса :)
главное чтобы все было на пользу :)
время покажет :)
firstlena.pershina
29 марта, 17:22
nvamed,
Стараемся! И рады вашим комментариям по  инструменту. 
firstlena.pershina,
Добрый день.
Может, я что не понимаю, но где сейчас написать платону? все разделы облазил не найду :)
Собсно вопрос про один из сайтов у него там в Вебмастере стоит "Заявка на отклейку сайта https://logoderm.ru обрабатывается. Пожалуйста, подождите: это может занять некоторое время." хотя я не понимаю, кто когда и зачем мог такую заявку отправлять, т.к. наоборот стоит задача все правильно склеить :)
firstlena.pershina
4 апреля, 13:07
studio7spb,
Ссылка на обратную связь внизу страницы Вебмастера - так и называется "Обратная связь". Дальше там небольшой квест - нужно уточнить, что именно вы хотите спросить, чтобы ваш вопрос попал к нужному специалисту и он мог максимально быстро и точно на него ответить. 
firstlena.pershina,
но беда в том, что в пункте по зеркалам там везде в формах надо "Укажите адрес, который должен стать неглавным зеркалом". Мне этого не надо ведь, а другого ничего не выбрать. Как там написать-то теперь??
Ситуацию я в комменте выше описал. Если бы вы не убрали возможность проставлять главное зеркало и вопроса не было бы. Но сейчас там только пункт "расклейка зеркал" висит...
При этом он типа отправлен запрос. Непонятно кем и когда и зачем. Это и пытаюсь выяснить.
firstlena.pershina
5 апреля, 22:23
studio7spb,
 У вас ведь есть нужное вам зеркало, которое нужно считать главным - можете его указать. 
firstlena.pershina,
ну это понятно. Но запущен как выяснилосьс по нелепости одного сотрудника процесс расклейки. И никаких кнопок для отмены этого в Я.Вебмастере теперь нет...
А на сайте и сервере конечно все указано - какое зеркало нужно.
Обновлено 8 апреля, 18:36
Вопрос. клики в поиске висят в виджете с 25 января — 25 февраля 2017. Как сделать этот виджет обновляемым подскажите. Он как будто завис.
Гоа-Друг Goa-Friend
28 марта, 20:25
smdt1,
Все терпят, и ты терпи :)
firstlena.pershina
29 марта, 17:23
smdt1,
О проблеме знаем, увы, мгновенно исправить не удалось. Но исправим в самое ближайшее время. 
firstlena.pershina,
 Да уж. Подключить (правильно) данные из Яндекс-Метрики - это же великий труд, требующий неимоверного количества человеко-часов. Гораздо проще плодить новое, чем заставить правильно работать старое..
В выгружаемом файле адреса страниц относительные - я надеюсь, это баг?
firstlena.pershina
28 марта, 19:25
ingref,
Все приведем к единому виду - тут тоже будут полные.
Это круто, но когда обновите раздел "поисковые запросы", там данные месячной давности, от 25 февраля. В то время, как в вебмастере Гугла информация по запросам показывается регулярно и с отставанием всего лишь 3 дня - займитесь импортозамещением :)
firstlena.pershina
29 марта, 17:23
en-es,
Как выше ответила,  о проблеме знаем, увы, мгновенно исправить не удалось. Но исправим в самое ближайшее время.
firstlena.pershina,
Елена, верю, спасибо :)
Гоа-Друг Goa-Friend
28 марта, 20:23
У меня пока работает криво :(
"наладится все! со временем" :)
Попов Дмитрий
28 марта, 20:29
Гоа-Друг Goa-Friend,
Что именно работает криво?

Гоа-Друг Goa-Friend
28 марта, 23:57
Гоа-Друг Goa-Friend,
Директива host:https плюс замена cms
Гугл разобрался быстро, а Яндекс пока думает :(
вот и криво. Хуже нет, когда - кругом ремонт :)
Ваша статистика уже радует взглядом многих владельцев сайтов.
Спасибо за изменения.
ev@olexdeco.ru
28 марта, 21:21
Норм

Благодарности!
Ссылки не обновляются. Поисковые запросы не обновляются. Зато выкатывают что то новое. Сделайте по человечески то что уже реализовали. Спасибо за понимание!
Очень много разделов пишет, что был код ответа 200, а стал N/A - документ не содержит текста. Хотя там текста от 2 до 4 тыс. символов без пробелов. (описание категории товарной) При чём текст уник. В чём проблема...
firstlena.pershina
29 марта, 17:24
ismymal,
А можете в поддержку Вебмастера примеры прислать, разберемся, в чем дело. 
firstlena.pershina,
Здравствуйте. Спасибо за ответ. С радостью напишу. Не разу не писала, поэтому подскажите, пожалуйста, а где я могу это сделать или на какую почту? Где-то есть форма? Я один раз только попробовала написать в разделе поисковый спам, т.к. конкуренты сделали несколько сайтов, которые даже описания не имеют в категориях, а только описания товаров и при нажатии на кнопку "подробнее" в карточке тавара все сайты приводят к одному. Я спросила нашего администратора сайта, можно ли нам также сделать, а он порекомендовал уточнить у Вас, якобы за это снижают по позициям в выдаче, но этот конкурен  занимает в нашей нише топовые места, хоть и пользуется другими сайтами-клонами. Более того по мегаиндексу пишет, что у него с естественного поиска около 600 тыс.человек в месяц. В итоге никто в яндексе так ничего и не ответил. Писала дня 3-4 назад. Почту для ответа специально оставила. Вот сижу жду (
firstlena.pershina
3 апреля, 14:20
ismymal,
Про форму обратной связи - ссылка на неё находится внизу страницы Яндекс.Вебмастера. Правда, там есть небольшой квест: сперва нужно ответить на несколько вопросов о том, что именно хотите спросить, и только потом откроется форма обратной связи. Это сделано, чтобы на ваш вопрос отвечал человек, специализирующийся именно на этих проблемах.
firstlena.pershina
3 апреля, 14:22
ismymal,
Про поисковый спам - это отдельная форма, отправленные на неё запросы всегда проверяются, но в данном случае ответа не дается (в отличии от формы обратной связи), так как мы не сообщаем, посчитали ли мы присланный пример поисковым спамом или нет. 
firstlena.pershina,
 Очень жаль, что не ответят на письмо. Просто фактически получается, что в официальных рекомендациях по созданию качественного сайта Яндекс пишет одно, а выводит в топы те сайты, которые действуют обратно пропорционально. У которых ни текстов ни информации от экспертов, просто куча сайтов приводящих на один сайт и почти 2 миллиона ссылок, из которых полтора миллиона с трёх поддоменов, которые также почти пустые. При этом я читала, что это засчитывается как спам и накладываются фильтры. Тем не менее, насколько я поняла, старые сайты могут делать уже что угодно. Эти требования и рекомендации относятся к молодым.
Спасибо за ответ, Елена.
firstlena.pershina
3 апреля, 22:44
ismymal,
Пожалуйста, не передергивайте мои слова. Рекомендации и алгоритмы про одно и то же - про качественный сайт и качественный контент на сайте. 
А почему робот обходит страници которые закрыты в роботс?
mrfriction,
присоединяюсь к вопросу.
Думал вчера глюк, но нет
29.03.2017
/page.html?query= Электромагниты эм25&op=search&x=59&y=15 N/a   -   200  OK


Правило в роботс :

Disallow: /*.html?

firstlena.pershina
29 марта, 17:26
mrfriction,
По описанию проблемы кажется, что страницы были обойдены тогда, когда запрета в robots.txt еще не было. Но пришлите пример в поддержку, пожалуйста, проверим. 
firstlena.pershina
29 марта, 17:37
mrfriction,
Проверила по примерам, у нас есть роботы, которые не смотрят в robots.txt, например, роботы Яндекс.Директа. Сейчас мы показываем статистику по запросам от всех роботов, но возможно, этот момент изменим.
firstlena.pershina,
Очень может быть, директ на сайте присутствует, но честно говоря я не ожидал увидеть робота директа в истории обхода. Как по мне эта информация в вебмастере бесполезна и даже вводит в заблуждение. (например я начал искать кто и что у меня на поиск ссылается)
Обновлено 29 марта, 18:58
firstlena.pershina,
Надеюсь что запреты на страницы

(Disallow:)  не будут в публичном индексе.
firstlena.pershina
3 апреля, 14:24
mebeldlya,
robots.txt для нас важен, и мы учитываем его по-прежнему. не волнуйтесь. 
firstlena.pershina
3 апреля, 14:24
mrfriction,
мы сейчас как раз думаем, как исправить эту особенность отображения данных. 
Вот бы вы еще раздел "Поисковые запросы" сделали пошустрее. Месяц никаких обновлений.
firstlena.pershina
29 марта, 17:32
CheltcovSV,
Да, знаем, исправляем. 
А внешние ссылки и клики в поиске до сих пор не работают... Уже месяц или 2.
firstlena.pershina
29 марта, 17:32
ab254,
Да, как написала выше, о проблеме знаем - исправим в самое ближайшее время.
После изменений все дубли страниц проиндескировались заново, а нормальные страницы удалились, как не уникальные... в htaccess все настроено и уже несколько лет все было нормально, а теперь геморрой приходится разгребать и вручную удалять и снова переиндексировать. Когда чехарда закончится? Робот яндекса не умеет читать канонические страницы? не умеет читать htaccess ? 
Попов Дмитрий
29 марта, 05:07
easyms,
.htaccess файлы - это файлы управляющие сервером apache. Они вообще никакого отношения к поиску не имеют - читать их не умеет ни яндекс ни какой-либо другой поисковик. Более того, при нормальных настройках они вообще недоступны снаружи.


Так что Ваш вопрос непонятен.
firstlena.pershina
29 марта, 17:34
easyms,
А canonical или robots под дубли настраивали? 
Обновлено 29 марта, 17:34
Алексей Бондарь
29 марта, 06:14
Поначалу несколько непонятно, но если посидеть, подумать и разобраться, то пойдёт

firstlena.pershina
29 марта, 17:34
Алексей Бондарь,
А что именно непонятно.
Алексей Бондарь
30 марта, 04:24
firstlena.pershina,
Не сразу сообразил со страницами в поиске, в старой версии раздела эти данные были как-то сразу на виду что ли.
Скорее всего, просто с непривычки. А так, общее резюме - стало информативней. Проблема отчасти ещё в том, что я в начале Великого пути продвижения сайта своими руками.

Было бы совсем замечательно если бы график из "индексирование"-"страницы в поиске"-"история" поместили в "сводке". Причем, в самом верху! Это наиболее общая из важной информации, а далее уже идет уточнение - все что сейчас выводится.
Как всегда - не очень понятно, очередной квест, но разобраться можно.
Удобно, спасибо!
Будем надеяться на то что этот сервис будет работать оперативнее "кликов в поиске" ;)
firstlena.pershina
29 марта, 17:35
ShowPrint,
А что именно непонятно? 
firstlena.pershina,
где/что/как посмотреть )))
Квест пройден и теперь всё понятно, наверное как со всем новым. =)
Спасибо за внимание, не задерживайтесь на мне - Вас ооочень ждут в предыдущем посте (Баден-Баден) ;)


И да, сейчас глянул - оперативности тоже нет: 27.03 (((
Обновлено 29 марта, 18:05
firstlena.pershina
3 апреля, 14:18
ShowPrint,
оперативность есть, но конкретно в этот момент есть проблема, которую чиним. Исправим в ближайшее время.
с 26.02.17 не обновляется статистика запросов в вебмастере кто знает че за Х? сайт http://24spektr.ru 
firstlena.pershina
29 марта, 17:35
Spek3,
Да, как ответила выше, проблему исправим в самое ближайшее время. 
Проблема следующая - переместили в архив страницы с продукцией, которую перестали выпускать, запретили в robots.txt в вебмастере внесли их в инструмент "удаление URL", на данный момент робот их обходит, в разделе статистика обходов помечает как 404 или 301. Вопросы:
1 могут ли 15 страниц с ответом 404 (из общего количества страниц сайта 100)  повлечь снижение  позиций всего сайта или страниц с ответом 200?
2 как можно корректно удалить из поиска и запретить к обходу удаленные или перемещенные в архив страницы?
Обновлено 29 марта, 08:38
Админ "Уроки GIMP"
29 марта, 08:52
Да, виджет с историей обхода на главной дашборда - несомненно классная штука. Мне понравилось и за это спасибо, ребятки.


Однако, присоединюсь к голосам многих вебмастеров на тему важности ускоренного обновления виджетов "Клики в поиске(популярные запросы)" и "Последние ссылки". Пожалуй, это было бы даже важнее реализовать в первую очередь.


Спасибо команде Яндекса за труд. У вас всё получится!
firstlena.pershina
29 марта, 17:38
Админ "Уроки GIMP",
Исправим в ближайшее время!
Админ "Уроки GIMP"
29 марта, 18:18
firstlena.pershina,
приятно слышать. Вы молодцы!
Александр
29 марта, 08:53
А когда будет работать статистика по "кликам в поиске"? Там инфа за 25 февраля. И было бы здорово сделать возможным её для выгрузки - в форматах XLS и CSV.


Спасибо.
firstlena.pershina
29 марта, 17:38
Александр,
Как писала выше, очень стараемся исправить её прямо сейчас. 
Как то не очень удобно смотреть теперь.
firstlena.pershina
29 марта, 17:38
borrowme,
А что именно неудобно?
Отличное решение, огромный плюс в карму за политику открытости. Этот инструмент в виде Истории обхода + Страницы в поиске реально помогают многое увидеть.
firstlena.pershina
29 марта, 17:39
case-lab.ru,
Стараемся! 
Это очень крутая функция, очень за вас приятно, однако:


На сайте 2 версии языка RU и для остальных EN
Язык определяется по звголовку HTTP_ACCEPT_LANGUAGE , который устанавливается как правило от языка браузера. т.е. все русские видят Русские буквы в бройзере и соответственно у меня. А не русские бройзеры видят EN.
А Яндекс такой негодник, при лазании в интернетах, даже не пытается показывать язык. Поэтому в индекс начинает лезть Английская версия.
Вот такой ресерч и повод Господа-товарищи.


Уж почините вашего бота, что бы он Русский был, а не непойми какой. Это бурж Гуглу я покажу EN, а вам RU. 

firstlena.pershina
29 марта, 17:40
jkeks1,
А можно пример нам в поддержку Вебмастера прислать, чтобы понять, почему так отработали? 
Кажется обновление раз в сутки. Но написано раз в несколько часов, посмотрим ещё.
Обновлено 29 марта, 10:11
grigory.korepanov
29 марта, 10:16
на дашборд нужно вернуть историю страниц в поиске, как было до этого, чтоб наблюдать общую картину того, что происходит (с десятками сайтов это более важно).


В идеале конечно лучше было бы настраивать виджеты на дашборде, как в метрике
А почему история запросов в ВМ зависла на 25-м февраля? Уже больше месяца ничего не обновляется, печально....
firstlena.pershina
29 марта, 17:41
artsfamily,
Да, исправим в самое ближайшее время. 
Среда Диджитал
29 марта, 10:40
Дима, спасибо! :) 
Теперь будем думать, как вытащить из этого отчёта полезную для нас информацию и применить.
Ю. Хаит
Олег Зацепин
29 марта, 11:08
👍
ну что можно сказать, наконец-то дождались)
Раньше было куда удобнее отслеживать страницы с 404 ошибкой, чтобы исправить ситуацию после переезда сайта. Теперь приходится фильтровать, что не удобно. Лучше враг хорошего!
CarpetsPromo,
Подскажите пожалуйста, как вы теперь все 404 на текущий момент смотрите? Я не могу разобраться...
ms074,
Индексирование -> Статистика обхода -> В колонке, где стало нажимаем на воронку и выбираем вариант ответа сервера 404. Жутко неудобно и интуитивно не понятно, сам нашел методом научного тыка спустя минут 30 ...
CarpetsPromo,
Благодарю. Поддерживаю, жутко неудобно теперь(
Добавьте в  - Индексирование / Структура сайта - кнопочку "Удалить раздел". А то получается добавить можно, а удалить нельзя. Это я к чему веду... Определенный раздел, который закрыт от индекса, каким то образом в него попал, и это получается (на сегодняшний день), более 8 тыс.  станиц (дублей),  потом робот удалит дубли на свое усмотрение и может быть беда... А поштучно URL - лы :) удалять, ну как то абсурдно...
firstlena.pershina
29 марта, 17:44
Серёга,
Если я вас правильно поняла, то там это удаление уже есть в виде крестика у раздела, вот так: https://yadi.sk/i/FfwIW8A43GTZ7c  
firstlena.pershina,
Увы, но у меня только плюсик (слева), который раскрывает раздел и показывает, что в нем, а вот крестика , к сожалению, нет....
Серёга,
Вношу поправочку. Речь не о пользовательских разделах....
firstlena.pershina
3 апреля, 14:15
Серёга,
Так их и добавить самому нельзя - они автоматически подтягиваются в структуру сайта (с учетом размера). 
Верните график с кол-во загруженных и проиндексированых страниц, сейчас стало мега неудобно!
Nagasaki,
поддерживаю !
Попов Дмитрий
30 марта, 18:10
Nagasaki,
Количество загруженных страниц - цифра очень странная и, порой, вводящая в заблуждение. График с количеством страниц в поиске доступен в соотв. разделе. Думаем над тем, что бы вернуть его (отдельно) на дашборд.
VIVA Текстильная фабрика
29 марта, 15:46
Лучше б ссылки индексировали внешние, а не графики перерисовывали. Последний апдейт по ссылкам - 2 февраля (до этого стабильно обновлялась информация)
VIVA Текстильная фабрика,
У меня по ссылкам сейчас пишет по 12 марта.
Очень полезно! Спасибо команде Я.Вебмастер! :)
Вот смотрю на это все и поражаюсь... Поражаюсь тому как Яндекс не умеет расставлять приоритеты. Зачем эта возня на месте? Какие то инструменты полу-необходимые для вебмастеров. 


Почему не делаете то что действительно важно? То за что вас реально будут хвалить и выражать благодарность? Итак из года в год. 


Например:


1) Где оперативность? Сделали виджет "клики в поиске" - так он должен обновляться каждый день хотя бы - чтобы нам было это хоть как то полезно. Внешние и внутренние ссылки хотя бы с недельной задержкой. Вот тогда это было бы круто и все бы хвалили Яндекс. Зачем делать ради того, чтобы сделать?


2) Инструмент - "поисковые запросы" - зачем он вообще? Если нет опять той же оперативности в обновлении данных. Это должно быть так - увидел CTR 5% - позиция такая то - ага - поменял title - через день зашел - посмотрел как изменилось. Опять же - дескрипшеном напрямую управлять нельзя. Руки вебмастеров связаны. Смысл этих всех таблиц?


3) Сделали свой очередной недоалгоритм Баден - Баден - лишь бы уколоть добропорядочных вебмастеров и владельцев сайтов. Что получили? Негатив. Поверьте, уважаемые сотрудники Яндекс, если бы вы сделали качественный алгоритм - негатива бы почти не было. Почему негатив - потому что непрофессионально сделано или вы какие то другие цели преследуете. Так хотя бы выходили на обратную связь с нами. Мы бы помогали вам находить выход из этой ситуации. Вы бы открыли бы линию горячую по приему примеров некачественной выдачи. Вот так делается цивилизованно в мире. Так нет - молчание. Понимаете - уже накипело. Уже край.


4) Основная причина постоянного ухудшения качества поиска на мой взгляд и взгляд многих других экспертов в том, что яндекс доверился искусственному интеллекту - то есть машинному обучению. Это была самая большая и роковая ошибка, которая привела к текущим плачевным результатам не то что в СНГ уже и в России. Почему нейронные сети это плохо? Потому что они плохо поддаются последующему обслуживанию. Непонятно, что откуда возникает и почему нейронная сеть решила именно так. Недавно работники Google заявили (https://www.seonews.ru/events/geri-ilsh-iskusstvennyy-intellekt-ne-budet-upravlyat-algoritmami-google/), что они не будут полностью переходить на машинное обучение - потому что непонятно почему та или иная нейронная сеть приняла именно такое решение. Отладка очень сложна таких алгоритмов.  Вы думаете разработчики алгоритмов Гугл - глупее вас?


Вот выпустили Баден - Баден - ну и что? где качество? А как сейчас исправить то что наворотили? Наверняка чешут голову разработчики, смотрят в черный ящик под названием нейронная сеть и ничего понять не могут. Вот и вся правда.
seowind1986,
Отлично сказано!
Вот еще бы у яндексов глаз "не замыливался". Может телевизор много смотрят?Ну хоть раздел новости, пусть будет со словом Volkswagen, в выдаче:
Неизвестный обстрелял иномарку около школы в АнгарскеВодитель фуры задавил мужчину, который попал в ДТП на трассе
Омичка с «блатными» номерами ехала по встречной на Красном ПутиВодитель из Тобольска погиб на трассе Тюмень-Ханты-Мансийск
Это для вас новости?
Тогда и у себя на найте на главной пишите новости про Яндекс: Девочка Маша назвала Яндекс любимым, Омичка  с «блатными» номерами не смогла найти адрес в Яндексе. Как?


Если ваш чудо интелект, не может отфильтровать такой мусор, то что вы ему другое поручаете, он у вас считает с ошибками, а вы ему подсовываете решать уравнения с несколькими неизвестными, и надеятесь на результат... :(
Просто ПОДУМАЙТЕ...
Выгрузка понравилась... А за какой период она будет сохранятся?
firstlena.pershina
3 апреля, 14:36
leha3077,
Тут у нас ограничение на 50 000 последних стоит. Но через "Проверить URL" можно проверять и те страницы, для которых  данные уже вдруг стали недоступными. 
firstlena.pershina,
Это в "Последних изменениях" 50 000, а если выбрать "Все страницы", то получается выгрузка больше 130 000 (данные с 20 февраля) , я поэтому и спросил))
Это я к тому, что очень интересная картинка нарисовалась, когда связали все страницы по обходу, страницы в поиске "Все" и "Исключенные страницы" (там же). По дубликатам получилось найти кучу косяков, как программных, так и у операторов. По одним иключениям было сложно вычислить, а тут все как на ладони. Теперь исправляем.
natali23112002
29 марта, 21:06
Ситуация такова все г......о сайты которые вообще не о чем просто в топе а все наши проделаные работы в .опе вывод один либо вернут все обратно либо плати директ и директ уже минимум 1800 платеж а не которые 360 искали чтоб кого то получить в день полный беспредел надеюсь хватит ума вернуть все обратно
Приятно, что сотрудники Яндекса постоянно работают над улучшением работы Вэбмастера. По сравнению с первоначальной версией улучшения очевидны, стало работать более удобнее, есть практически вся необходимая информация. Но как поется в песне: «сделать нам предстоит больше, чем сделано».


Самое главное мое пожелание - это более оперативное и более полное обновление информации. Часто приходят на мейл оповещения об очередном обновлении, а заходишь в панель и практически ничего нового.


Далее, хотелось бы, как писали выше, управлять созданной роботами структурой сайта. Например, в настоящее время в структуре моего сайта ydoma.info робот создал 7 разделов:
Два раздела это две страницы сайта которые выражены 900 url-ами. На страницах есть <link rel="canonical"…, но эта запись ботами игнорируется. Хотелось, чтобы все эти страницы-дубли, по факту ведущие на одну и туже страницу можно было бы самостоятельно заменить адресом одной правильной.
5 разделов не существуют уже более 6 месяцев, а некоторые больше года, и составляют более 36 000 не существующих страниц. Однако в структуре они после всех обновлений не исчезают, даже более того, некоторые появились совсем недавно. Хотелось бы иметь возможность по своему усмотрению удалять подобные разделы оптом.


Хотелось бы еще, чтобы проверка рекомендаций диагностики выполнялась в течении обещанных 14 дней, а не месяцами.
firstlena.pershina
3 апреля, 14:40
angoodnov,
Над оперативность мы наших основных инструментов мы как раз сейчас работаем. А можете уточнить, проверка чего именно так долго осуществлялась? 
firstlena.pershina,


Спасибо за внимание с Вашей стороны.
С 1 марта 2017 года и по настоящее время вист на проверке мой сайт http://ydoma.info с диагнозом: «Сайт не оптимизирован для мобильных устройств», хотя сайт оптимизирован уже более 2 лет и не понятно, как он попал в изгои и когда закончится проверка, хотя написано «Проверка началась 1 марта, она может занять до 14 дней».


По остальным параметрам обновление информации радикально ускорилось. Результаты Ваших стараний очевидны. Спасибо.
firstlena.pershina
4 апреля, 14:34
angoodnov,
Добрый день! Насколько я вижу, вам наша поддержка ответила на этот вопрос ранее. Ответ, к сожалению, тут не изменился. К сожалению, для ряда сайтов проверка на корректность отображения на мобильных устройствах длится дольше обозначенного срока. Мы уже работаем над исправлением данной ситуации. Как только исправим ситуацию - проверка должна завершиться автоматически.
Примите наши извинения за возможные неудобства.
firstlena.pershina,
Все верно, от техподдержки я получил 22 марта 2017 аналогичное сообщение, но так как была проведена работа по ускорению обновления информации в Вэбмастере, а ситуация не изменилась, решил напомнить, чтобы не выпустили из вида.


Для снижения нагрузки на бот вполне можно предоставить вэбмастерам самим решать этот вопрос. Ведь функционал для проверки мобильнопригодности сайтов уже есть, достаточно продублировать эту кнопку в панели «Диагностики для мобильных устройств» вместо кнопки «Проверить». Нажал на нее и в течении, например суток, информация обновилась.
Обновлено 4 апреля, 15:15
Что значит термин робот обошёл???подскажите новичку!
trudonoshin1959
30 марта, 11:17
domdvorsad,
Стоит, например, какой-то объект на дороге другого объекта, чтобы не повредить первый объект, второй объект обходит его, потому что он больше, и может задавить всмятку.
trudonoshin1959,
Тоисть данный объект он не проиндексировал?а просто обошел?
trudonoshin1959
30 марта, 15:01
domdvorsad,
Он его обошел, а вот проиндексировал или нет, неизвестно.
firstlena.pershina
3 апреля, 14:42
domdvorsad,
Это значит, что данную страницу посетил поисковый робот. 
То есть эти данные уже известны поиску, но могут еще не присутствовать на поиске - это уже следующий этап. 
firstlena.pershina,
Подскажи плиз,что означает ошибка или не ошибка 302 это значит робот принял Ее или наооборот??у меня через день процент загруженных страниц падает😥
firstlena.pershina
3 апреля, 21:16
domdvorsad,
 302 - это редирект, у этих страниц стоит перенаправление на другие страницы. 
firstlena.pershina,
А с чем это может быть связано?
firstlena.pershina
4 апреля, 12:59
domdvorsad,
Это настройка, выставленная на стороне вашего сайта. То есть нужно узнавать у вашего хостинга или администратора сайта. 
firstlena.pershina,
Ок,большое спасибо,буду копать!
просто сделали ПЛОХО
Всем привет! Яндекс выкатив новые изменения в вебмастер своё слово не исполнил а именно "Теперь данные в этом разделе обновляются раз в несколько часов, что позволяет отслеживать изменения важных страниц еще до того, как они попали в поиск" Данные за сегодняшнее число не появились. Вчера страницы подал на переобход, в этом обновленном разделе не появились, хотя в вебмастере стоит статус "Робот обошел". Косяк ребята, нужно исправлять, а то получиться как с Кликами в поиски инфа будет месячной давности
Алексей Бондарь
30 марта, 09:59
wizard2285,
Поддержу данное мнение. Из песни слов не выкинешь.
Попов Дмитрий
30 марта, 18:08
wizard2285,
Привет!


Проблему видим, разбираемся. На самом деле не обновляется только список всех обойденных страниц (графики и "последние изменения" работают нормально). Но как с поисковыми запросами не будет точно. Да и там уже скоро все станет хорошо
wizard2285,
Согласен!
Сегодня переобход страниц вообще не работает, страницы со статусом "в очереди" висят уже часов 10, и часть вчерашних.
andrey-sivokon
30 марта, 17:35
В разделе "Статистика обхода" вижу множество станиц с utm-метками. Что мне сделать что бы  робот не обходил такие страницы и не видеть эти url(ы) в этом разделе? Добавить в robots.txt директиву 
Disallow: /*utm_source


?
Отлично!!! молодцы!!!
Отлично, яндекс не стоит на месте.
Маразмтично имхо бот ваш работает!
Страницы в WebMasterYandex  то пишет,  что удали то обратно добавил при том при всё, что страница как была в поиске так и осталась, причин для её "отбрасывания" объективных не нет и быть не может, а время потеряно и не отреагировать тоже не могу в следствии чего пустая трата времени которого всегда и так не хватает!


WebMasterYandex - некоторые инструменты работают как китайская лампочка ... то потухнет то погаснет!

сделайте уже что-то с этим или уберите чтобы не маячило перед глазами!


с уважением

Странно, но у меня данные не обновляются ни по одному сайту. Какие то старые данные там. У всех так? Вернее говоря написано сегодняшнее число но данные высвечиваются недельной давности. Это глюк такой?
Интересен еще такой случай, выставлен на страницах каноникал, но почему то робот не всегда на него реагирует? Иной раз видит и ставит что положено, а иной раз оставляет без изменений. Так и должно быть?
Простите, но оффтоп:
Сделайте в меткрике кнопки для сайтов как-то ближе к названиям сайтов, а то я нажал на кнпоочку удаления например или Вебмастера или Директа, и не ясно я для того сайта нажал или нет:  https://i.gyazo.com/e48b743db9164829a038a368197e443a.png

А если я удаляю счетчик, то как бы не хотелось бы ошибиться и удалить другой сайт.
Это 10+! Что может быть прогрессивнее возможности работать на опережение с ресурсами? Спасибо за постоянные улучшения, поддержку!
А есть возможность в новом интерфейсе получить список всех загруженных страниц в виде файла с параметром для каждой страницы, где было бы видно, какие страницы попали в поиск, какие нет. Раньше это было, теперь мне не удаётся получить такую выгрузку.
firstlena.pershina
4 апреля, 18:09
Andrey,
Эта возможность есть в разделе "Страницы в поиске". Выгрузка внизу страницы. там ограничение на 50 000 последних. 
firstlena.pershina,
Это видел, но проблема в том, что там может повторяться 10 раз одна и та же страница с разными event-ами: ADD, DELETE. Видимо что бы понять текущее состояние страницы, нужно искать последний event для неё по дате, но согласитесь, это совсем не удобно по сравнению с тем, что было.


Попов Дмитрий
5 апреля, 00:10
Andrey,
Вы выгружаете вкладку "Последние изменения". Если выгрузить вкладку "Страницы в поиске" - то получите полноценный список из 50 000 уникальных страниц в поиске
Попов Дмитрий,
наверное имеется ввиду вкладка "Все страницы". Там действительно все страницы которые в поиске. Но раньше можно было получить один списком вообще все загруженные страницы, с пометкой включена в поиск каждая из загруженных страниц или не включена. Упорядочив такой список по URL (который включает и get-параметры) очень удобно было понимать, видя соседние страницы с другими GET-параметрами, правильная ли страница включена в Поиск или где-то что-то не так.
Попов Дмитрий
5 апреля, 02:32
Andrey,
Такой возможности больше нет (и вряд-ли будет). Но вам ничего не мешает точно также собрать один файл собрав загруженные и страницы в поиске и точно также отсортировать их по   URL - одинаковые будут на соседних строчках. Раз у вас такое количество страниц, что вы их могли просматривать визуально - выход будет не на много менее удобным. 
Это ведёт только к одному - более оперативному обновлению базы поиска)
Евгений
7 апреля, 15:04
Добрый день.
Подскажите пожалуйста если настроен last-modified на сервере, в статистике обхода будут отображаться статусы 304 Not Modified ? Или эти страницы не включаются в статистику обхода?
firstlena.pershina
11 апреля, 17:48
Евгений,
На текущий момент робот не использует if-modified-since, поэтому в статистике обхода такие коды показываться не будут. Корректность возврата HTTP-304 можно проверить тут - https://webmaster.yandex.ru/tools/server-response/ .
firstlena.pershina,
Спасибо, проверил, настроено все верно. Если я правильно понимаю логику. 
1) проверяю определенную страницу с текущей датой
2) получаю 200 OK
3) ставлю дату (например наследующий день)
4) получаю  304 Not Modified


Остался последний вопрос, а как проверить чтобы после внесенных изменений на страницу робот получил 200 ОК?
firstlena.pershina
12 апреля, 12:27
Евгений,
Не очень поняла вопрос - а чем вариант через проверку ответа сервера не устраивает? 
как посмотреть количество страниц в поиске на данный момент ?
Структура сайта => Пользовательские разделы => Добавить раздел.
Добавил раздел. Появилось сообщение: "Данные о разделе скоро появятся". "Скоро" это когда? Через неделю, через месяц или позже? Короче, не появляются данные. Почему?
firstlena.pershina
11 апреля, 21:21
alexandr.zax,
Как только мы их соберем. Думаю, сейчас уже данные должны были появиться. 
firstlena.pershina,
Спасибо. Данные появились.
Вот какая разница какая панель!?Если она не работает корректно!Два месяца пишут о проблеме, проблема видимо не решаема!Меня другое волнует и заботит, после ваших плясок не совсем понятно с чем из почти 90000 страниц в поиске выкидывает 60000 и через неделю возвращает, вот это проблема!А как будет выглядеть панель хоть всеми цветами радуги,толку от неё она как не работала со времён создания так и не работает!
Очень круто что обновили функционал вебмастера , реально удобно.
Но есть и минусы....как теперь посмотреть  количество страниц которое участвует в поиске Яндекс? , раньше можно было примерно посмотреть при помощи оператора " site: " , сейчас я так понял его отключили.
В вебмастере тоже нет такой инфы . 
Если в разделе "страницы в поиске" http://prntscr.com/ev2ark выгрузить все , и потом отсортировать по  event  = ADD скрин http://joxi.ru/v294gyNS3kEDEm , это будут актуальные данные по количеству страниц в поиске  на данный момент . 
Очень надеюсь на ответ))) 
С уважением Ваш фанат
wezom-analiz,
firstlena.pershina - дайте плиз совет...по моему вопросу. 
Заранее благодарен
Обновлено 14 апреля, 09:44
firstlena.pershina
Сотрудник Яндекса14 апреля, 15:22
wezom-analiz,
Открыть список всех сайтов или Страницы в поиске — История. Там есть эти данные. 
firstlena.pershina,
 спасибо за ответ ..но я уже здесь смотрел http://prntscr.com/ewh6qp  и там пусто ,  получается в идексе нет ни одной страницы , но это не так http://prntscr.com/ewh7kn .


Как быть в таком случае , на какие данные опираться ?
firstlena.pershina
Сотрудник Яндекса17 апреля, 14:46
wezom-analiz,
А вы случайно не смотрите разные данные - для http и https? Это с точки зрения Яндекса разные сайты. Может, вы переезд недавно сделали? 
firstlena.pershina,
да , месяца полтора назад, переехал на https , но в выдаче уже почти все страницы с https скрин - http://prntscr.com/expz8n .
Полагаю данные в вебмастере еще не обновились.


Что бы далее не морочить Вам голову , хочу подытожить — количество страниц в индексе Яндекса смотреть - "страницы в поиске" >>> "история" >>> смотреть на графике здесь http://prntscr.com/exq0j4 .

Выгрузить страницы которые находятся в поиске,  там же в  низу http://prntscr.com/exq0wb .
Правильно ?
Попов Дмитрий
18 апреля, 09:49
wezom-analiz,
Данные в вебмастере сейчас появляются практически без задержки.


А Вы, кажется, пропустили ключевое. В вебмастере вы смотрите сайт с http.
А в выдаче у вас https. Для того, что бы смотреть информацию по https - его тоже нужно добавить в вебмастер и смотреть информацию по нему. По http у вас нет страниц в поиске и это нормально, так и должно быть
Попов Дмитрий,
спасибо за ответ,  вы правы
VIVA Текстильная фабрика
13 апреля, 10:15
Кто подскажет, почему изменился тИЦ (был 0 до февраля, стал 10, 13 апреля снова - 0), если ссылки остались на своих местах?
Новые ссылки, тем более на не трастовых сайтах, не размещал
firstlena.pershina
Сотрудник Яндекса13 апреля, 22:11
VIVA Текстильная фабрика,
Тут может быть очень много причин. Точная причина - в поддержке Вебмастера. 
У меня вопрос про карту сайта. В разделе страниц в поиске - исключенные страницы на сайте seodu.ru  страница карты sitemap.xml висит со статусом недостаточно качественная. Сама карта сайта валидацию проходит без ошибок. Есть у кого такое тоже? Или мне у себя косяк искать?
firstlena.pershina
Сотрудник Яндекса17 апреля, 21:18
shch12vova,
обсуждалась тема несколько раз - sitemap должна обходиться, но не очень понятно, зачем ей попадать на выдачу. 
firstlena.pershina,
так  в выдачу ей и не нужно попадать. Вопрос то в том почему она находится в исключенных и со статусом недостаточно качественная.
Обновлено 18 апреля, 00:22
Попов Дмитрий
18 апреля, 07:36
shch12vova,
Потому, что вы зачем-то загнали  sitemap в переобход, который создан для переобхода страниц, а не служебных файлов. XML-документы могут быть на выдаче, но данный документ в нее попасть не имеет шансов по вполне понятным причинам. 
Попов Дмитрий,
спасибо за ответ. Да, действительно, она была ошибочно добавлена в переобход. А как ее теперь убрать из исключенных? Или она сама со временем исчезнет?
firstlena.pershina
Сотрудник Яндекса18 апреля, 18:44
shch12vova,
Ничего тут делать больше не нужно. Она итак уже удалена из результатов поиска, при этом это не мешает ей работать как обычный sitemap. 
firstlena.pershina,
спасибо за ответ.
Ребят, сделали наглядно и красиво, только есть вопрос по отображению "обновившихся" страниц.


У меня, как и у Евгения выше, настроен  last-modified на сайте и 304 Not Modified я отдаю правильно, проверял. И если ваш робот на 304-статус не реагирует, как тогда вы помечаете обновившиеся страницы? По своему внутреннего алгоритму - если на странице изменился контент, то делаем ее обновившейся и выводим  +1 в статистике обхода?



Я это все к тому, что уже с февраля настроил время обновления страниц и много страниц обновил (т.е. добавил уникального контента на 1000-1500 знаков), но в статистике ни разу не видел ни одной обновившейся страницы...
 
P/S: Коллеги-владельцы сайтов, подскажите, как у вас с выводом обновившихся страниц? Выводятся? Правильно все? Или это только у меня такие проблемы возникли?
Попов Дмитрий
20 апреля, 18:23
BladeIII,
Мы в этом разделе не следим за изменениями контента страниц. Вы можете смотреть когда робот их скачивал во вкладке "все страницы".
Изменения в данном случае - это изменение именно http-кода страницы
Попов Дмитрий,
Понял, спасибо за разъяснение.
Почему в "Статистике обхода" "Последние изменения" датированы 08.04.2017, а последний принудительный "Переобход страниц" проводился 21-24.04. 2017? Когда эти изменения появятся в отчёте?
Попов Дмитрий
26 апреля, 08:04
ziv-picart,
Последние изменения показывают изменения кода ответа. Если при переобходе изменился только текст страницы - в этом отчете его и не будет. Полная статистика всего, чего робот обходил под вкладкой "все страницы" находятся.