Блог Яндекса для вебмастеров

В Яндекс.Вебмастере обновились разделы про индексирование

3 июня 2016, 11:02

В бета-версии Яндекс.Вебмастера произошли изменения, связанные с индексированием сайтов. Мы удалили из соответствующего раздела информацию о страницах, которые давно исчезли и уже «забыты» роботом. Теперь отображаемые в сервисе веб-документы максимально близко соответствуют «живому» индексу.

Запуская бета-версию Вебмастера, мы включили в неё больше связанных с индексированием данных, в том числе картинки и другие известные роботам файлы (css, js и т.п.), размещённые на сайтах пользователей, и попросили вебмастеров высказать своё мнение, нужно ли показывать такие сведения в интерфейсе инструмента. Судя по обратной связи, эта функциональность оказалась не слишком востребована, а иногда и вовсе приводила к путанице. Поэтому с обновлением Вебмастера информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта.

В результате нововведений число загруженных и исключённых страниц в разделе «Индексирование» может уменьшиться. Подчеркнём: это связано с обновлением и не значит, что робот стал хуже индексировать сайт или посещать меньше страниц.

Спасибо за вашу обратную связь, она помогает нам делать сервис лучше!
Команда Яндекс.Вебмастера

70 комментариев
Подписаться на комментарии к посту
Оо, отлично! Вообще последнее время Яндекс радует, новые инструменты и самое главное полезные, переобход страниц помог решить проблему медленной индексации уникального контента на портале (его успевали воровать). Конечно все эти изменения влияют на позиции что вчера с утра у меня по сайту были одни позиции а вечером другие, и теперь почти каждый день позиции меняются! Но приятно осознавать что поиск развиваеться и вводяться новые инструменты. Кстати, если вдруг автор прочитает это сообщение, подскажите это правда что яндекс опять расширяет количество обьявлений Яндекс Директ на страниц в ущерб органической выдаче? 
firstlena.pershina
3 июня 2016, 14:07
Добрый день! Нет, расширять количество объявлений в ущерб органической выдаче не планируем. Нам важно, чтобы пользователи всегда могли легко найти наиболее релевантные документы, решающие их задачи, сразу после того, как задали запрос.
Не хватает выборки (за неделю, две недели, месяц). Хочется видеть новые ссылки, для анализа проходящего. Либо просто добавить сортировки по дате появления ссылки в панеле.
firstlena.pershina
3 июня 2016, 14:07
Поняла, учтём на будущее.
А можно сделать в разделе "Индексирование / Входящие ссылки / Внешние ссылки" сортировку ссылок не по возрасту, а по весу и трасту. Чтоб сначала шли полезные ссылки (с точки зрения Яндекса), а в конце оставались ссылки с сомнительных и спамных сайтов или менее важных, по которым никто никогда не переходил. Если я не ошибаюсь, в старом вебмастере было именно так.
firstlena.pershina
3 июня 2016, 14:14
Мысль интересная, вообще мы сейчас думаем, как улучшить этот раздел. Но и сейчас при работе над параметрами "сводки" есть много возможностей сортировки по ценности для пользователей. Например, найти неработающие ссылки.

При этом все-таки не очень понятно, чем вам сортировка по весу может помочь - как она поможет что-то улучшить?
firstlena.pershina,
Сортировку по весу нельзя делать, тогда вебмастера будут знать алгоритм признания хороших ссылок)
firstlena.pershina,
Здравствуйте.
А на нашем сайте вообще перестали в какой-то момент отображаться входящие ссылки в панели бета.Вебмастер. Может сможете помочь с этим? И вообще подсказать из-за чего это произошло?
firstlena.pershina,
по весу, как раз позволит найти спамные ссылки и как то от них избавится. Бывает так: увас сайт на котором пользователи могут разместить статью или комментарий. Кто-то размещает статью с ссылкой или в комментах ссылку оставляет - и на такую страницу вашего сайта начинают ставить кучу спамных ссылок ... Вот их и можно было бы вовремя заметить. Ну а площадки у которых много очень ссылок могли бы видеть что какой-то весомый сайт ссылается на страницу, которую уже удалили например на сайте 404 - и моглибы попросить этот ресурс изменить адресс ссылки на похожую статью. Или к примеру увидели что весомый сайт не очень корректный текст ссылки использует и тоже могли бы попросить из менить ... А так черт ногу сломет копаться во всем ...
firstlena.pershina
6 июня 2016, 17:11
Рома,
Вот как раз и интересно, чем подобное знание может пригодиться (если не считать попытки создания магии на обманных технологиях) :)
firstlena.pershina
6 июня 2016, 17:12
my-devise,
Ну, по конкретному сайту лучше поддержка Вебмастера поможет. А так ссылки и в старом, и в новом Вебмастере пропали?
firstlena.pershina
6 июня 2016, 17:14
Дмитрий,
Ну, если ссылка сломана, то для этого хорошо иметь отдельный статус, кажется, и мы об этом знаем. И ссылки, ведущие на 404 - это тоже, думаю, хорошо бы отдельным статусом иметь. Про сортировку по весу все-еще не очень понимаю - про пользу. Но да, согласна, что фильтров нужно больше, будем над этим работать, спасибо!
firstlena.pershina,
Спасибо за ответ. Ссылки пропали только в новом Вебмастере. В старом продолжают корректно отображаться. Служба поддержки сообщает, что рекомендуется ориентироваться на информацию из основной версии, пока сервис дорабатывается. Но проблема судя по-всему не массовая и мы предположили, что её можно устранить на стороне поддержки.
С нетерпением ждём окончательного выхода нового Вебмастера, команде Вебмастера больших успехов в данном направлении!
firstlena.pershina,
ох путанный у нас разговор вышел :) Попробую еще раз обстоятельно изложить:
1) 404 страница на моем сайте (статус сервер отдает, все нормально) но я не могу увидеть ссылки которые ведут на эти 404 страницы, соответственно вовремя не смогу предупредить вебмастеров сайтов с которых идут эти ссылки чтобы они могли поменять адрес.


2) СПАМЕР оставил ссылку у меня на сайте (допустим в комментах) - и пытается прокачать страницу моего сайта с сылкой на себя - с сомнительных ресурсов (дорвеи) с сомнительным же текстом. Вот для этого сортировка по весу - сразу видно что что-то не то происходит во вне сайта. Кстати был бы в данном случае полезен инструмент как у гугла - Возможность указать какие ссылки не учитывать, так как повлиять другим образом я на это не могу. А так указал что неучитывать и все.

firstlena.pershina,
Кстати прозрачность в этом вопросе может помочь Яндексу в борьбе с некачественными сайтами, которые сделаны для продажи ссылок. Народ просто перестанет поддерживать рублем так сказать некачественные ресурсы и проблема спама решится сама собой.
firstlena.pershina
14 июля 2016, 19:43
Дмитрий,
1) Это понятно, посмотрим, что можно сделать.
2) Да, кейс интересный, спасибо, подумаем над его реализацией.
Про инструмент неучета ссылок: нет, пока такой инструмент не планируется. 
По изображениям информация нужна. Но не всем, только тем, у кого сайты соответствующие и ориентируются на поиск по изображениям - обои на рабочий стол, фотографии и пр.
Попов Дмитрий
3 июня 2016, 13:48
devaka,
В текущем виде эта информация бесполезна была - т.к. все эти картинки были в разделе "исключенные страницы" и никак не связаны с поиском по изображениям.


Для того, что бы информация по картинкам была полезна - для этого нужно делать отдельный полноценный инструмент (или очень сильно переделывать текущий).
firstlena.pershina
3 июня 2016, 14:16
Да, тут проблема не в том, что информация о картинках и других данных была бесполезна, а в том, что ею было неудобно в данном случае пользоваться и она скорее мешала. Мы сейчас думаем, как иначе её отображать, чтобы она могла помогать и давать реальное представление о том, как такие файлы индексируются.
Молодцы! Пока ничего никуда не исчезло, ждем.

И да, поддержу, нужна инфа по всем объектам, просто не надо мешать мух с котлетами
firstlena.pershina
3 июня 2016, 14:17
Ага, выше про это уже написала. Сейчас думаем, как можно эти данные отображать иначе, чтобы было с ними удобнее работать. Но вот в нынешнем виде, увы, они порой скорее мешали.
Если индексировать то, что именно: автор картинки или просто картинка без автора? Лично я в фотошопе сжимаю картинки, чтобы не показывать внутри данные.
А когда появиться инструмент на опознавания уязвимость в картинках или на URL-страницах? Например Гугл замечает и сразу оповещает об этом.
Спасибо, что творите чудеса!
firstlena.pershina
3 июня 2016, 14:20
Не очень поняла вопрос, вы же название на картинках даете, alt прописываете? Кажется, там вы можете указать и автора, и название, например.
Про инструменты безопасности - у нас есть инструменты по  безопасности - оповещения в Вебмастере, например. Но вот инструментов, позволяющих найти уязвимость заранее, мы в своих  вебмастерских инструментах пока не делали и в ближайших планах такого нет.
"информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта" - каких именно показателей?
firstlena.pershina
3 июня 2016, 14:21
В разделе "индексирование" - показатель количества загруженных и исключённых страниц.
а зачем информацию о картинках то убираете? это важно для многих сайто вдумаю, у кого картинок много индексируется. сделали бы лучше отдельный раздел по картинкам и по файлам индексирующимся
firstlena.pershina
3 июня 2016, 14:22
Как раз думаем над отдельным разделом, но пока удалили, так как очень многим данные по подобным файлам в разделе индексирование скорее мешали.
webmaster.ferrum
3 июня 2016, 17:35
А почему данные "Входящие ссылки" не обновляются в бета вебмастере уже 3й месяц? (последние данные от 31 марта) В старом вебмастере данные меняются. У меня одного так? По всем сайтам..
webmaster.ferrum,
У меня тоже застой в этом плане в новом вебмастере. И еще уже как недели 3 перестал Вебвизор в метрике на iPone, iPad работать. Боритесь с вебмастерами, чтоб они подгоняли свои сайты под мобильный трафик, а свои сервисы даже под планшет подогнать не можете.
firstlena.pershina
6 июня 2016, 17:15
N2061555,
А в поддержку Метрики писали об этой проблеме?
firstlena.pershina,
Писал! Сказали, что мобильная версия работает "нестабильно". Я пошел до конца - скачал все браузеры для iPad которые только были в апсторе. Проверил на всех! Нигде не работает вебвизор. Так что с ответственностью могу сказать, что ответ "работает нестабильно" не верный. Нужно писать "стабильно не работает". А его очень не хватает! Например, когда к клиентам на встречу приезжаешь или в дороге проверять статистику...
firstlena.pershina
28 июня 2016, 13:30
N2061555,
Я передала ваш комментарий коллегам из Метрики. Спасибо большое, они еще раз все проверят. 
firstlena.pershina
6 июня 2016, 17:15
webmaster.ferrum,
А можете уточнить сайт? Или напрямую в поддержку написать, чтобы мои коллеги могли проверить, в чем дело.
firstlena.pershina
6 июня 2016, 17:19
webmaster.ferrum,
Так, посмотрела по общей ситуации. Да, там есть проблема для небольшой части сайтов, у них данные о входящих ссылках в beta-версии Яндекс.Вебмастера могут быть неактуальными. Но мы это исправляем.  В данном случае смотреть нужно в старую версию Вебмастера - там актуальные данные.
неужели. а то мусор по 5 лет храниться
Вы бы хоть в уведомления в вебмастере сообщение сделали, а то как увидел подумал сайт упал и "фсё пропало шеф...." :-)

firstlena.pershina
6 июня 2016, 17:17
Alex-developer,
Пока технологии оповещения еще не совершенны :) Но работаем и над этим!
Спасибо, Яндекс. Давно пытаюсь убрать лишнее, невостребованность давно наблюдаю,но руки не доходят. То,что надо. С уважением, poteyko
Разочарования. Проверяю входящие ссылки. Смотрю кэш - там нет. Не понятно по данным какой давности "обновлялись".
firstlena.pershina
6 июня 2016, 17:20
selgreg,
Про ссылки пока лучше смотреть в старом Вебмастере, там более актуальные данные по этому вопросу.
Судя по всему данные более чем полуторамесячной давности.
При выборе категории, например, "Исключенные страницы", показываются все те же исключенные страницы, что и раньше. Хотелось бы видеть актуальные данные (то есть видеть 5 исключенных, а не 500).
firstlena.pershina
6 июня 2016, 17:25
kostin-stas,
Спасибо, что отметили эту странность в отображении информации. Посмотрим, как тут исправить, чтобы не возникало путаницы в восприятии!
А что случилось с плагином Яндекс.ПДС для CMS? Нет больше страниц по документации, а также не работает плагин.
firstlena.pershina
6 июня 2016, 17:27
nowikow.oleg,
Поиск для сайта перешел на новую технологию SaaS-поиска, которая создавалась для увеличения полноты и скорости индексирования, поэтому и пингер стал больше не нужен (раньше он решал эту задачу). На основе этой же технологии и был анонсирован новый Поиск для интернет-магазинов (бета-версия): https://yandex.ru/blog/yatechnologies/otkryta-zapis-na-beta-testirovanie-poiska-dlya-internet-magazinov
Али Профи
5 июня 2016, 23:40
А можно вопрос по метрике? Вот с этим инструментом сегментиварония что стало в Яндекс метрике? http://zmoe.ru/wp-content/uploads/uvelichit-trafik-na-sajt.jpg 
Раньше я мог посмотреть по каким ключевым словам посещается статья, а теперь все изменилось и эта возможность пропала!
firstlena.pershina
9 июня 2016, 14:36
Али Профи,
Вот тут можно найти: https://yadi.sk/i/AiOkvBTxsNcJQ
Али Профи
9 июня 2016, 15:46
firstlena.pershina,
спасибо, но вы так быстро все не меняйте, а то люди не успевают за полетом вашей фантазии ;)
firstlena.pershina
9 июня 2016, 17:12
Али Профи,
Ага, я коллегам из Метрики передала. 
А почему бы не добавить инструмент, который бы позволял избавляться от некачественных ссылок в вебмастере, как это сделано у гугла? Да и просто мусорных. Понятно что алгоритм Яндекса это все делает в автоматическом режиме, но так как Яндекс неповоротливый, то можно бы помочь роботу - по шустрее выкидывать мусорные ссылки при помощи рук вебмастера 
firstlena.pershina
6 июня 2016, 17:32
tchewelev,
У нас большие планы по развитию Вебмастера, так, был сделан раздел "Нарушения", где можно сообщить роботу, что все было исправлено (в том числе и сняты ссылки), но вот планов по созданию инструмента, описанного выше, пока нет. В первую очередь хочется делать инструменты для тех, кто не пытается заниматься обманом.
firstlena.pershina,
Такой инструмент нужен не для того что бы помочь обманщикам, а для того что бы выглядеть лучше в вашем поиске. Это как бы совсем наоборот. Сделайте этот сервис.
firstlena.pershina
16 июня 2016, 20:59
jkeks1,
Вот как раз это и пытаюсь понять - как это поможет быть сайтам лучше, кроме 404, о которых написано выше? 
Вебмастер, Яндекс любит Тебя.
Для чего градация в 85 тиц в Вебмастере ?
https://gyazo.com/e89988d142c7399a93601181886627c4
Это что шутка или просто график тяп-ляп сделали и бросили ?
firstlena.pershina
16 июня 2016, 20:59
jkeks1,
Я так понимаю, вы об этом спрашиваете: https://yandex.ru/blog/webmaster/obnovleniya-algoritma-rasch-ta-tits ?
Вопрос немного не по теме. Есть не актуальные, удаленные с сайта объявления, они проиндексированны, какой код ответа сервера отдавать при переходе на них? 404? 301?
firstlena.pershina
14 июля 2016, 20:08
tippula,
Обычно для удаленных страниц советуют 404 код ответа, но как вариант - 301 редирект на страницы категории, где раньше были объявления. Это позволит пользователям из поиска попадать на нужную категорию, а не просто на заглушку.
Данные у большинства сайтов частично или полностью откатились.
Что то отвалилось или решили откатить алгоритм частично назад?
https://s.mail.ru/8XxK/P544tUwHz
firstlena.pershina
14 июля 2016, 19:45
Testy187,
Ничего не откатывали, нужно предметно разбираться, продублируете это сообщение в нашу поддержку? 
Здравствуйте, не могу найти тему, где можно задать вопрос...
Возник вопрос по индексации конструкции типа (индексации документов по этим ссылкам):

1. <li>
<span class="linksd" data-href="http://site.ru/page.html">Элемент меню</span>
</li>
2. <li>
<span class="linksd" data-href="http://site.ru/page.html" data-rel="nofollow">Элемент меню</span>
</li>


Обнаружили такой код после нескольких разработчиков и не поймем, что с ним делать

А закрепление авторства текстов в Вебмастере действительно какие то привилегии сайту даёт? Или это для самоудовлетворения сделали копирайтеров сделали? Я просто пользовался одно время и такое ощущение, что страницы с загруженными туда текстами только хуже продвигались - речь о сайте bistro-credit.ru
У меня новый интерфейс вебмастера для сайта http://mobilang.ru выдает Поисковые запросы=> Статистика только по 11.08.2016 включительно. И это на сегодняшний день. Хотя раньше выдавал минус два дня от сегодняшней даты. А старый интерфейс сегодня выдал по 28.08.2016, а до этого выдавал по 07.08.2016. Производятся какие-то системные работы?
мне кажется старый был удобнее.
после выдачи можно было понять какие ссылки новые и где.
Сейчас последняя инфа по ссылкам неделю назад.

В Вебмастере уже 5 дней не обновляются данные хотя уже прошли 3 обновления баз данных, сайт velolike.com (все данные застыли на 08.11.16). Писал в поддержку пока ответа не дождался, написали что ждите ваше письмо получено. В старой версии таких глюков не было. Вот и жду странице в поиске уже 797 шт а в вебмастере до сих пор 1990 шт анализа провести никакого не могу так как нет данных для него. 
Вопрос по индексированию site:mywebpc.ru/&  показывает дулбли страниц причем по одному и тому же одинаковому URL. Нажал проверить в кэше одна страница открылась в кэше, другая нет. Было все нормально но теперь непонятно стало. В кабинете пишет что в поиске столько сколько нужно +-5 страниц но в поисковике выдают их в 1.65 раза больше. 
Обновлено 25 февраля, 00:59
firstlena.pershina
27 февраля, 00:22
my WEB pc,
Думаю, в URL все-таки отличия есть. Но лучше разбираться все-таки на конкретном примере вместе с поддержкой Вебмастера - обратившись напрямую через форму обратной связи (ссылка внизу страницы сервиса).
firstlena.pershina,
не нашел ничего путного(, может есть где живое обращение к специалистам?) у меня просто в кабинете веб-мастера  пишет, что в поиске 60, а когда набираю site:mywebpc.ru/& пишет 97. Ну я просто не понимаю тогда, инструмент вебмастера противоречит поисковику). перепроверил все: ситенам, роботс...... Наверное робот при переобходе облажался, мне кажется.
firstlena.pershina
27 февраля, 19:44
my WEB pc,
У нас есть небольшие проблемы с работой оператора site сейчас, мы их исправляем. Просим ориентироваться в данном случае на Вебмастер.