Блог Яндекса для вебмастеров

июнь 2016
В Яндекс.Вебмастере обновились разделы про индексирование
3 июня 2016, 11:02

В бета-версии Яндекс.Вебмастера произошли изменения, связанные с индексированием сайтов. Мы удалили из соответствующего раздела информацию о страницах, которые давно исчезли и уже «забыты» роботом. Теперь отображаемые в сервисе веб-документы максимально близко соответствуют «живому» индексу.

Запуская бета-версию Вебмастера, мы включили в неё больше связанных с индексированием данных, в том числе картинки и другие известные роботам файлы (css, js и т.п.), размещённые на сайтах пользователей, и попросили вебмастеров высказать своё мнение, нужно ли показывать такие сведения в интерфейсе инструмента. Судя по обратной связи, эта функциональность оказалась не слишком востребована, а иногда и вовсе приводила к путанице. Поэтому с обновлением Вебмастера информация об изображениях исчезнет из сервиса, а мы перестанем учитывать её при расчёте показателей сайта.

В результате нововведений число загруженных и исключённых страниц в разделе «Индексирование» может уменьшиться. Подчеркнём: это связано с обновлением и не значит, что робот стал хуже индексировать сайт или посещать меньше страниц.

Спасибо за вашу обратную связь, она помогает нам делать сервис лучше!
Команда Яндекс.Вебмастера

70 комментариев
Яндекс.Вебмастер,индексирование
Пятая Вебмастерская: материалы опубликованы
7 июня 2016, 13:52

Опубликованы видеозаписи и презентации докладов с пятой Вебмастерской:

https://events.yandex.ru/events/yamasterskaya/20-may-2016/  

И, конечно, фотографии с самого мероприятия :)

4 комментария
Вебмастерская
Обновление алгоритма расчёта тИЦ
9 июня 2016, 14:46

8 июня произошло обновление алгоритма расчёта тематического индекса цитирования (тИЦ). Серьезным изменениям подверглись механизмы очистки ссылочного сигнала. Многие устаревшие показатели были исключены из алгоритма расчета.

Несмотря на то, что абсолютное значение тИЦ для каждого конкретного сайта могло измениться, общее распределение сохранило свои основные свойства. Другими словами, более авторитетные сайты по-прежнему имеют более высокие значения индекса.

160 комментариев
Яндекс.Вебмастер,тИЦ
Изменения в обработке robots.txt
10 июня 2016, 14:27

Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:

User-agent: *
Allow:

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.

Поэтому мы решили изменить обработку роботом такой директивы - сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Disallow: *

Или

Disallow: /

Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Рекомендуем обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.


Теперь ограничения в robots.txt работают еще надёжнее
Команда Поиска

27 комментариев
Яндекс.Вебмастер,Индексирование,robots.txt