Блог Яндекса для вебмастеров

Робот Яндекса начал использовать JavaScripts и CSS

9 ноября 2015, 12:01

Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.

В настоящий момент это происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Но мы постоянно следим за данным процессом и проверяем поступающую информацию, а также вносим необходимые изменения для применения этой технологии для всех известных нам сайтов в будущем, постепенно расширяя объем индексируемых таким образом ресурсов.

Поэтому мы рекомендуем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта. 

Поскольку данный процесс только проходит тестирование, мы не можем использовать его для всех известных нам сайтов, как и предложить всем желающим вебмастерам поучаствовать в эксперименте. Но как только появится такая возможность, мы начнём индексировать все известные нам ресурсы именно таким образом.

Делаем жизнь ярче 

Команда Поиска

37 комментариев
Подписаться на комментарии к посту

Отлично! давно пора было!

что можно обнаружить в скрипфайлах касаемо тематики сайта?

firstlena.pershina
15 ноября 2015, 23:22

Речь тут ведь не только о тематике, но и об удобстве для пользователей. 

В чем удобство? 

firstlena.pershina
16 ноября 2015, 22:12

В интерфейсе, в контенте, который ранее был недоступен роботу.

Собственно как и у Google

не понимаю, зачем лесть в джава, если надо вывести контент я его выведу параллельно скрытым блоком, те же комментарии к товарам, как у меня и сделано. А css - как робот может оценить визиально удобен дизайн или нет, на это есть показатели поведенческих

dklimat, а если поведенческие данные еще не накоплены? 

Яндекс бы ответил "Яндекс.Директ"

табы например делаются с помощью джавы, и чтоб получить корректые поведеньческие показатели, нужно анализировать js и css

Ну так сам контент табов-то обычно изначально присутствует в документе, а скрипты только переключают блоки. Что значит "корректные поведенческие" в данном случае?

не всегда, контент табов может быть изначально пустым, и только при переключении таба догружаться, например закладка комментариев к товару или вопрос-ответ

Даже в этом случае, речь идет о контентной составляющей, а не поведенческих показателях.

не прошло и пяти лет

Уже давно открыл, как только гугл стал требовать.

Я так понимаю, что AJAX так и не будет индексироваться?

Артёмкин Павел
10 ноября 2015, 00:43

Кажется, что новость именно про то, что AJAX будет индексироваться.

Все, понял, запутался. Спасибо.

зачем у ютуба тиц обнулили? :-D

Наверн накрутили гайки ржавые, а Яндекс это заметил.

 

 

Уважаемые вебмастера, вопрос может и глупм показаться, но меня волнует в данный момент такое.

Если некоторый контент прятать от простых посетителей для определенных целей (не рекламная), будет ли Поисковый Робот считывать контент, который скрыт от пользователей?

firstlena.pershina
16 ноября 2015, 22:10

Ситуация очень общая, как скрыт, зачем скрыт, – все это не очень понятно из вашего вопроса. Лучше всего этот вопрос задать в поддержку Вебмастера с подробным описанием того, как именно он скрыт от пользователей и скрыт ли он от поисковых роботов. Хорошо бы еще пример дать.  

Я еще не скрывал контент, а как скрыт, думаю прсотыми посредствами HTML CSS либо попробовать JS

Подскажите содержимое отзывов выводимых скриптом внешней системы Mnenia.Pro (как тут например: http://bonkids.ru/reima-tec-komplekt-koru-513093r-5915) будут также индексироваться и попадать в выдачу ?

Если да, то можно как то сайт добавить уже сейчас, в рамках бета-тестирования ?

Чтобы уже не заморачиваться и не тратить средства на разработку спец. версии для поисковика или выводом скрытых блоков с тем же HTML контентом рядом.

 

 

firstlena.pershina
30 ноября 2015, 14:42

На текущий момент такой контент не индексируется. Когда будет возможность добавить сайт для обхода роботом с использованием скриптов или раскатим такой метод на все сайты, мы сообщим дополнительно.

На все то может как раз и не надо ? Технология вывода текста через скрипт часто же как раз использовалась в целях, чтобы этот контент поисковиком не индексировался. Иногда это нужно.

Поэтому ИМХО было бы разумно, чтобы можно было указывать какие скрипты надо индексировать, а какие нет. Опять же это съэкономит ресурс поискового робота, а он увы не безграничен.

 

всем доброго дня.

Прежде всего хотелось поздравить всех с новогодними праздниками и рождеством. Пожелать всем в новом году успехов в карьере и здоровья.

У меня вопрос к замечательной технической поддержки Яндекс.

я прошу прощения что пишу в блог и скорее всего не по адресу но не могу найти ни единой страницы в интернете где официально тех. поддержка яндекс давала бы свои комментарии по каким либо проблемам связанным с работой сервисов Яндекс. 

собственно моя проблема связана с фильтром АГС.

я уже 2й месяц веду бестолковую переписку с технической поддержкой Яндекс о сате http://mskadmin.ru как вы можете посмотреть он находится под фильтром АГС.

но почему он там оказался ни одного ответа не поступило.

Все ответы технической поддержки сводятся к тому что у Яндекса есть робот который периодически проверяет сайты и определят ставить сайт под фильтр или обирать его из фильтра.

Вот собственно вопрос:

 почему он под фильтром ?

и когда фильтр снимут ?

firstlena.pershina
9 января 2016, 18:14

Здравствуйте! На вопросы про санкции мы отвечаем только через поддержку Вебмастера, так как данные об этом может получить только владелец сайта, который подтвердил на него права. 

Есть сервис комментариев Disqus.com. Будут ли теперь индексироваться комментарии из блока Disqus на сайте?
Здравствуйте!
Пока данный процесс проходит тестирование, какие возможности существуют для сайта, на котором реализован поиск объектов с помощью Ajax ?

Если использовать метод с использованием тега <noscript> (т.е. выводить содержимое тега для роботов и браузеров с отключенными скриптами), это будет работать? Не будет ли это расценено как запрещенный метод продвижения?
Ну когда же? Когда начнется? Или может уже как-то можно поучаствовать в тестировании?
Подскажите пожалуйста, а как Яндекс относится к тому чтобы присваивоить блокам собственного URL при помощи JavaScript и метода PushState?
То есть теперь можно будет делать навигацию через
<select onchange="location.href=this.value">
<option value="/example-page-1/">
<option value="/example-page-2/">
<option value="/example-page-3/">
</select>
и Яндекс сможет все это проиндексировать?
Здравствуйте. Подскажите, как ПС Яндекс сейчас относится к таким конструкциям:

<span class="hidden" data-link="http://ya.ru">внешняя ссылка</span>
<script>$('.hidden').click(function(){window.open($(this).data('link'));return false;});</script>

Можно ли такое использовать?
что то так и не понятно ничего!
вы индексируете динамически подгружаемый контент или нет?
вот гипотетический сайт на ajax подгружающий контент по клику на ссылке


<html>
<head>


<title>Мой сайт</title>


</head>
<body>


<div id="menu">
<a onClick="ajax(1) return false;">Ссылка1</a>
<a onClick="ajax(2) return false;">Ссылка2</a>
<a onClick="ajax(3) return false;">Ссылка3</a>
</div>


<div id="content"></div>


</body>
</html>


Индексируется ли контент который подгружается в блок content или нет?
coaperator,
Вот мне тоже интересно. Гугл проверил. индексирует. Причем у них есть инструмент. воткнул ссылку и сразу видно что видит робот. В яндексе как всегда ждать до второго пришествия надо.
У меня вопрос: Сайт сделан на JavaScript (JS) с использованием фреймворка Angular JS, какие действия нужно выполнить для того, чтобы страницы индексировались поисковыми роботами?
Обновлено 19 декабря 2016, 22:48