Блог о технологиях Яндекса

Хардкорные обновления Вебмастера: API 4.0, новая проверка robots.txt, поддоменов

13 декабря 2018, 14:25

В последнее время в Вебмастере мы создали много инструментов для аналитиков, маркетологов и владельцев бизнесов. Даже первый сегодняшний анонс был связан именно с этой темой — обновлённые Тренды. Однако для нас всегда было очень важно поддерживать расширенную функциональность для тех, кто занимается технической стороной оптимизации сайта. Поэтому сегодня мы запустили:

Обновлённое API Вебмастера версии 4.0
В нём поддержаны:

  • данные об обходе;
  • данные о страницах в поиске и исключённых страницах;
  • события в диагностике;
  • инструмент переобхода страниц;
  • доставка данных для Турбо-страниц

Мониторинг изменений в robots.txt
Одна из самых частых и крайне неприятных проблем при индексировании сайта — это непреднамеренные изменения в robots.txt. Этот файл и затирают, и выкатывают тестовую версию с полностью закрытым для индексирования сайтом, и, наоборот, открывают для поиска разделы, находящиеся в разработке или содержащие техническую информацию. Для того чтобы отслеживать все подобные изменения, мы запустили мониторинг изменений в robots.txt. Теперь мы храним последние 100 версий robots.txt за полгода в разделе «Анализ robots.txt» и предупреждаем об изменениях в файле всех, кто захотел подписаться на данный тип уведомлений.

Мониторинг поддоменов
Другой пример проблемы, очень близкой к описанной в предыдущем пункте: попадание в поиск служебных поддоменов или тестовых версий сайтов. Иногда это происходит из-за некорректных обновлений robots.txt, а иногда — из-за сбоя в настройках сайта или необдуманных действий разработчика. Теперь мы оповещаем вас о таких случаях, они также были добавлены в уведомления, на которые мы рекомендуем подписаться.

Команда Вебмастера

P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзене