Платон Щукин

Все что вы хотели знать о роботе

За последнее время помощь для вебмастеров была существенно дополнена. Мы посмотрели, о чем именно чаще всего спрашивают в саппорте, и постарались эти вопросы внести в помощь. В том числе теперь тут есть ответы как сделать <noindex> валидным и какие именно мета-теги учитываются поиском.

20 комментариев
не понимаю, зачем роботы учитывают такие штуки как noindex, nofollow. Логичней действовать с точки зрения пользователя сайта, который видит эти ссылки и но-индекс тексты и для него это точно такой же контент, как и всё остальное на странице.

Кстати с праздником Вас Платон :) Я так понял у Вас на Льва Толстого сегодня что то намечается :)
Спасибо! Да, погуляли немного. :)

Для робота это полезные теги - они позволяют экономить ресурсы. А порядочный вебмастер будет использовать их исключительно в интересах пользователей.

я не верю своим глазам! :) Я получил ответ от Платона Щукина. Фантастика!
Платон, раз Вы мне ответили можно спросить: 1.1. Вы реальный человек
или Вас в Яндексе много Платонов Щукиных? 1.2. Если Вы реальный, Вы на
самом деле Платон Щукин? :)
2.1 А можете написать или сбросить
ссылочку, где можно прочитать идею этих тегов: как они экономят ресурсы
(я так понимаю Ваши)? 2.2. Можно узнать или опять таки ссылку, как и в
каких случаях порядочному вебмастеру стоит их использовать?
Заранее
благодарен! Очень приятно было получить от Вас ответ!
Отлично, спасибо!
Еще бы логику обработки конфликтующих значений сделать традиционной (запрещающий тег имеет приоритет над разрешающим)... Или это "не баг, а фича"? ;)
Спасибо за отзыв! Не могли бы Вы привести пример подобного конфликта, который бы сейчас отрабатывался некорректно?
Я имею в виду, что общая логика приоритетов неочевидна:
 

Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.


Пример:




Робот выберет значение all, текст и ссылки будут проиндексированы.

Логичнее, имхо, чтобы запрещающий тег превалировал над разрешающим.
Случаи, когда мета-теги противоречат друг другу — это, скорее всего, ошибка или невнимательность вебмастера. Угадать, что именно вебмастер хотел, мы не можем. Логичнее выбирать именно значение по умолчанию, а не запрет, так как в этом случае ни поиск, ни вебмастер ничего не теряют.
Если делать выбор в сторону запрета, ошибочный запрет удалит страницы и, после исправления ошибки, вебмастеру нужно будет ждать, пока робот переобойдет все, что успел удалить.
Поэтому мы приняли решение не способствовать удалению страниц из поиска, если однозначных указаний вебмастера на это нет.
Пожалуй, соглашусь - Ваш вариант логичен, предпочтительнее индексировать все, что не запрещено. Глубокий it-шный опыт навязывает мне логику предпочтительного запрета, но это не подходит для поиска.

Спасибо за разъяснение,
Михаил.
я тоже думаю, что так правильнее
согласен))
Пётр Сальников
28 января 2016, 11:50
отстойно Вы работаете
Пётр Сальников
28 января 2016, 11:50

ребят прикольно всё это читать.... хрень полная Ваш яша... ждёт его будущее апарта... (знает админ где кнопочка удалить комментарий, который ему не нравится......)


 


ХА..ХА.....

А у меня сегодня День Рождения

Но подарка нет - сайт http://cimatagalpa.com/ почему-то никак не индексируется, и на письма больше 2-х месяцев ответов нет
Это бывает, заняты очень.
Владимир Степаненко
28 января 2016, 11:50
Правельно пишите и будет вам счясьтье
Помогите пожалуйста. У меня в панели вебмастера фиксируются переходы по   кое каким запросам на главную страницу, из региона Москва, сам ищу из   того же региона, но сайта нет. Потом поставил галочку  "искать только в   Москве" сайт появился. Но проблема только с главной страницей сайта,   остальные страницы видны по региону москва и без галочки. Но по  некоторым запросам сайт(главная страница) был виден на 1-2 страницах, а  после только с галочкой, вот уже месяц. С чем это может быть связано?
У меня вообще никогда не совпадают позиции из вебмастера и из серпа независимо от региона. В каком месте глюк?
Сергей Шмигирилов
28 января 2016, 11:50
спасибо интересно и главное нужно
У меня вопрос к работникам яндекса а правда ли что говорят что основные участники гей парадов Москве это работники яндекса?