Блог Яндекса для вебмастеров

Робот Яндекса начал использовать JavaScripts и CSS

9 ноября 2015, 12:01

Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.

В настоящий момент это происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Но мы постоянно следим за данным процессом и проверяем поступающую информацию, а также вносим необходимые изменения для применения этой технологии для всех известных нам сайтов в будущем, постепенно расширяя объем индексируемых таким образом ресурсов.

Поэтому мы рекомендуем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта. 

Поскольку данный процесс только проходит тестирование, мы не можем использовать его для всех известных нам сайтов, как и предложить всем желающим вебмастерам поучаствовать в эксперименте. Но как только появится такая возможность, мы начнём индексировать все известные нам ресурсы именно таким образом.

Делаем жизнь ярче 

Команда Поиска

57 комментариев

Отлично! давно пора было!

что можно обнаружить в скрипфайлах касаемо тематики сайта?

firstlena.pershina
15 ноября 2015, 23:22

Речь тут ведь не только о тематике, но и об удобстве для пользователей. 

В чем удобство? 

firstlena.pershina
16 ноября 2015, 22:12

В интерфейсе, в контенте, который ранее был недоступен роботу.

Собственно как и у Google

не понимаю, зачем лесть в джава, если надо вывести контент я его выведу параллельно скрытым блоком, те же комментарии к товарам, как у меня и сделано. А css - как робот может оценить визиально удобен дизайн или нет, на это есть показатели поведенческих

dklimat, а если поведенческие данные еще не накоплены? 

Яндекс бы ответил "Яндекс.Директ"

табы например делаются с помощью джавы, и чтоб получить корректые поведеньческие показатели, нужно анализировать js и css

Ну так сам контент табов-то обычно изначально присутствует в документе, а скрипты только переключают блоки. Что значит "корректные поведенческие" в данном случае?

не всегда, контент табов может быть изначально пустым, и только при переключении таба догружаться, например закладка комментариев к товару или вопрос-ответ

Даже в этом случае, речь идет о контентной составляющей, а не поведенческих показателях.

не прошло и пяти лет

Уже давно открыл, как только гугл стал требовать.

Я так понимаю, что AJAX так и не будет индексироваться?

Артёмкин Павел
10 ноября 2015, 00:43

Кажется, что новость именно про то, что AJAX будет индексироваться.

Все, понял, запутался. Спасибо.

зачем у ютуба тиц обнулили? :-D

Наверн накрутили гайки ржавые, а Яндекс это заметил.

 

 

Уважаемые вебмастера, вопрос может и глупм показаться, но меня волнует в данный момент такое.

Если некоторый контент прятать от простых посетителей для определенных целей (не рекламная), будет ли Поисковый Робот считывать контент, который скрыт от пользователей?

firstlena.pershina
16 ноября 2015, 22:10

Ситуация очень общая, как скрыт, зачем скрыт, – все это не очень понятно из вашего вопроса. Лучше всего этот вопрос задать в поддержку Вебмастера с подробным описанием того, как именно он скрыт от пользователей и скрыт ли он от поисковых роботов. Хорошо бы еще пример дать.  

Я еще не скрывал контент, а как скрыт, думаю прсотыми посредствами HTML CSS либо попробовать JS

Подскажите содержимое отзывов выводимых скриптом внешней системы Mnenia.Pro (как тут например: http://bonkids.ru/reima-tec-komplekt-koru-513093r-5915) будут также индексироваться и попадать в выдачу ?

Если да, то можно как то сайт добавить уже сейчас, в рамках бета-тестирования ?

Чтобы уже не заморачиваться и не тратить средства на разработку спец. версии для поисковика или выводом скрытых блоков с тем же HTML контентом рядом.

 

 

firstlena.pershina
30 ноября 2015, 14:42

На текущий момент такой контент не индексируется. Когда будет возможность добавить сайт для обхода роботом с использованием скриптов или раскатим такой метод на все сайты, мы сообщим дополнительно.

На все то может как раз и не надо ? Технология вывода текста через скрипт часто же как раз использовалась в целях, чтобы этот контент поисковиком не индексировался. Иногда это нужно.

Поэтому ИМХО было бы разумно, чтобы можно было указывать какие скрипты надо индексировать, а какие нет. Опять же это съэкономит ресурс поискового робота, а он увы не безграничен.

 

всем доброго дня.

Прежде всего хотелось поздравить всех с новогодними праздниками и рождеством. Пожелать всем в новом году успехов в карьере и здоровья.

У меня вопрос к замечательной технической поддержки Яндекс.

я прошу прощения что пишу в блог и скорее всего не по адресу но не могу найти ни единой страницы в интернете где официально тех. поддержка яндекс давала бы свои комментарии по каким либо проблемам связанным с работой сервисов Яндекс. 

собственно моя проблема связана с фильтром АГС.

я уже 2й месяц веду бестолковую переписку с технической поддержкой Яндекс о сате http://mskadmin.ru как вы можете посмотреть он находится под фильтром АГС.

но почему он там оказался ни одного ответа не поступило.

Все ответы технической поддержки сводятся к тому что у Яндекса есть робот который периодически проверяет сайты и определят ставить сайт под фильтр или обирать его из фильтра.

Вот собственно вопрос:

 почему он под фильтром ?

и когда фильтр снимут ?

firstlena.pershina
9 января 2016, 18:14

Здравствуйте! На вопросы про санкции мы отвечаем только через поддержку Вебмастера, так как данные об этом может получить только владелец сайта, который подтвердил на него права. 

Есть сервис комментариев Disqus.com. Будут ли теперь индексироваться комментарии из блока Disqus на сайте?
Здравствуйте!
Пока данный процесс проходит тестирование, какие возможности существуют для сайта, на котором реализован поиск объектов с помощью Ajax ?

Если использовать метод с использованием тега <noscript> (т.е. выводить содержимое тега для роботов и браузеров с отключенными скриптами), это будет работать? Не будет ли это расценено как запрещенный метод продвижения?
Ну когда же? Когда начнется? Или может уже как-то можно поучаствовать в тестировании?
Подскажите пожалуйста, а как Яндекс относится к тому чтобы присваивоить блокам собственного URL при помощи JavaScript и метода PushState?
То есть теперь можно будет делать навигацию через
<select onchange="location.href=this.value">
<option value="/example-page-1/">
<option value="/example-page-2/">
<option value="/example-page-3/">
</select>
и Яндекс сможет все это проиндексировать?
Здравствуйте. Подскажите, как ПС Яндекс сейчас относится к таким конструкциям:

<span class="hidden" data-link="http://ya.ru">внешняя ссылка</span>
<script>$('.hidden').click(function(){window.open($(this).data('link'));return false;});</script>

Можно ли такое использовать?
что то так и не понятно ничего!
вы индексируете динамически подгружаемый контент или нет?
вот гипотетический сайт на ajax подгружающий контент по клику на ссылке


<html>
<head>


<title>Мой сайт</title>


</head>
<body>


<div id="menu">
<a onClick="ajax(1) return false;">Ссылка1</a>
<a onClick="ajax(2) return false;">Ссылка2</a>
<a onClick="ajax(3) return false;">Ссылка3</a>
</div>


<div id="content"></div>


</body>
</html>


Индексируется ли контент который подгружается в блок content или нет?
coaperator,
Вот мне тоже интересно. Гугл проверил. индексирует. Причем у них есть инструмент. воткнул ссылку и сразу видно что видит робот. В яндексе как всегда ждать до второго пришествия надо.
Удалённый пользователь
19 декабря 2016, 22:48
У меня вопрос: Сайт сделан на JavaScript (JS) с использованием фреймворка Angular JS, какие действия нужно выполнить для того, чтобы страницы индексировались поисковыми роботами?
Обновлено 19 декабря 2016, 22:48
переписать его на HTML)) А если серьезно, то бред конечно, 2017 год, Angular, React, а они (Яндекс) только начали индексировать НЕКОТОРЫЕ сайты с подгружаемой инфой. Конечно, лучше всякие изначально мертвые технологии двигать, вроде БЭМа, чем поисковик довести до ума!
Новость неактуальная. Прошло 2 года, а кравлинг  ajax так и не прикрутили
Обновлено 24 апреля, 22:48
firstlena.pershina
Сотрудник Яндекса25 апреля, 19:03
orez.work,
Новость не про ajax была. Про ajax - тут: https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml
И да, тут ничего не менялось. 
firstlena.pershina,
все еще этап тестирования? Уже можно отказаться от серверного рендеринга HTML для поискового робота и показывать страницу также как и для браузера конечного пользователя? 
firstlena.pershina
Сотрудник Яндекса4 мая, 20:20
evgenyjam,
Рендеринг отключать не стоит - данная технология не используется для всех известных роботу сайтах.
Здравствуйте. А как сейчас с JavaScrit?

У нас страница каталога грузится JavaScrit по частям с возможностью подгрузки большего количества товаров.
Можем ли мы выдавать Яндекс-боту страницу со всеми товарами данного каталога для улучшения индексации? Не запрещено ли это и улучшит ли это наши позиции в поиске?
firstlena.pershina
Сотрудник Яндекса3 ноября, 17:38
konakov.av,
Да, можете делать, это не запрещено. 
firstlena.pershina,
Большое спасибо за ответ :)
firstlena.pershina,
Еще вопрос про это: у нас товары не находятся в коде страницы, мы их подгружаем через Ajax. В этом случае по-прежнему можно делать HTML-слепки?
firstlena.pershina
Сотрудник Яндекса13 ноября, 10:32
konakov.av,
Да, в этом случае по-прежнему нужны статические копии. 
firstlena.pershina,
Еще раз большое спасибо за ответ :)
firstlena.pershina, есть ли разница по краулинговому бюджету для бота, индексирующему сайт с javascript и без? У меня большой сайт ~ 12млн страниц и без javascript контент не загружается (выдается 404 ошибка с просьбой обновить браузер). Вопрос: может ли это ухудшить скорость индексации моего сайта? Или боту все равно есть ли у меня javascript или нет т.к. квота на него выдается одинаковая и зависит только от числа страниц? 
firstlena.pershina
Сотрудник Яндекса4 декабря, 16:45
seoprof2017,
А для робота статическая версия страницы ведь есть? Там же не все на скриптах? Можно сам сайт? 
firstlena.pershina,
 Все на скриптах, статической версии нет, пример: https://professionali.ru/Soobschestva/biznes-klub/viktor-kurilov-o-chem-uchastniki-opek-budut/





firstlena.pershina
Сотрудник Яндекса6 декабря, 19:55
seoprof2017,
Должен индексироваться. 
Обновлено 6 декабря, 19:55
firstlena.pershina,
 да, сайт индексируется, но вопрос в другом, влияет ли это как-то на скорость индексации моего сайта? Мне нужно как-то заморачиваться и делать статическую версию, чтобы ускорить индексацию?
Добрый день!
Не совсем ясен вопрос с ранжированием сайтов, которые отдают слепок страницы.
У нас сайты с использованием javascript, специально создаем слепок страницы для ботов яндекса, но из-за времени на создание слепка, увеличивается отклик от сервера с 200 мс (как у пользователей) до 2.3 сек для роботов.
Как в данном случае поступает робот? Учитывает ли он, что смотрит на слепок, а не на то, что видит пользователь? Накладываются ли какие-то понижающие факторы в ранжировании из-за такого отклика? 
firstlena.pershina
Сотрудник Яндекса13 декабря, 22:53
partnerlight,
Нет, не учитывает, но такое время ответа приемлемо, каких-либо проблем с ранжирование из-за этого не будет.
partnerlight
вчера, 18:24
firstlena.pershina,


Спасибо за оперативный ответ.
А какое время будет неприемлемо? По мере роста товарной базы, нагрузка на фантом будет расти постоянно, в какой-то момент это может быть и 3 и 4 секунды, хотелось бы понимать, как правильно поступать в данном случае?
firstlena.pershina
Сотрудник Яндексавчера, 23:22
partnerlight,
В среднем сайты в рунете отвечают в течение 3 секунд. Все, что выше - плохо, для робота это будет знак, что сайт не сплавляется с нагрузкой, поэтому страницы будут посещаться реже.