Блог Яндекса для вебмастеров

Робот Яндекса начал использовать JavaScripts и CSS

9 ноября 2015, 12:01

Мы начали использовать JavaScripts и CSS при обходе некоторых ресурсов для того, чтобы получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере. Это позволяет оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS.

В настоящий момент это происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Но мы постоянно следим за данным процессом и проверяем поступающую информацию, а также вносим необходимые изменения для применения этой технологии для всех известных нам сайтов в будущем, постепенно расширяя объем индексируемых таким образом ресурсов.

Поэтому мы рекомендуем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта. 

Поскольку данный процесс только проходит тестирование, мы не можем использовать его для всех известных нам сайтов, как и предложить всем желающим вебмастерам поучаствовать в эксперименте. Но как только появится такая возможность, мы начнём индексировать все известные нам ресурсы именно таким образом.

Делаем жизнь ярче 

Команда Поиска

75 комментариев

Отлично! давно пора было!

что можно обнаружить в скрипфайлах касаемо тематики сайта?

firstlena.pershina
19 января 2016, 10:57

Речь тут ведь не только о тематике, но и об удобстве для пользователей. 

В чем удобство? 

firstlena.pershina
19 января 2016, 10:57

В интерфейсе, в контенте, который ранее был недоступен роботу.

Собственно как и у Google

не понимаю, зачем лесть в джава, если надо вывести контент я его выведу параллельно скрытым блоком, те же комментарии к товарам, как у меня и сделано. А css - как робот может оценить визиально удобен дизайн или нет, на это есть показатели поведенческих

dklimat, а если поведенческие данные еще не накоплены? 

Яндекс бы ответил "Яндекс.Директ"

табы например делаются с помощью джавы, и чтоб получить корректые поведеньческие показатели, нужно анализировать js и css

Ну так сам контент табов-то обычно изначально присутствует в документе, а скрипты только переключают блоки. Что значит "корректные поведенческие" в данном случае?

не всегда, контент табов может быть изначально пустым, и только при переключении таба догружаться, например закладка комментариев к товару или вопрос-ответ

Даже в этом случае, речь идет о контентной составляющей, а не поведенческих показателях.

не прошло и пяти лет

Уже давно открыл, как только гугл стал требовать.

Я так понимаю, что AJAX так и не будет индексироваться?

Артёмкин Павел
19 января 2016, 10:57

Кажется, что новость именно про то, что AJAX будет индексироваться.

Все, понял, запутался. Спасибо.

зачем у ютуба тиц обнулили? :-D

Наверн накрутили гайки ржавые, а Яндекс это заметил.

 

 

Уважаемые вебмастера, вопрос может и глупм показаться, но меня волнует в данный момент такое.

Если некоторый контент прятать от простых посетителей для определенных целей (не рекламная), будет ли Поисковый Робот считывать контент, который скрыт от пользователей?

firstlena.pershina
19 января 2016, 10:57

Ситуация очень общая, как скрыт, зачем скрыт, – все это не очень понятно из вашего вопроса. Лучше всего этот вопрос задать в поддержку Вебмастера с подробным описанием того, как именно он скрыт от пользователей и скрыт ли он от поисковых роботов. Хорошо бы еще пример дать.  

Я еще не скрывал контент, а как скрыт, думаю прсотыми посредствами HTML CSS либо попробовать JS

Подскажите содержимое отзывов выводимых скриптом внешней системы Mnenia.Pro (как тут например: http://bonkids.ru/reima-tec-komplekt-koru-513093r-5915) будут также индексироваться и попадать в выдачу ?

Если да, то можно как то сайт добавить уже сейчас, в рамках бета-тестирования ?

Чтобы уже не заморачиваться и не тратить средства на разработку спец. версии для поисковика или выводом скрытых блоков с тем же HTML контентом рядом.

 

 

firstlena.pershina
19 января 2016, 10:57

На текущий момент такой контент не индексируется. Когда будет возможность добавить сайт для обхода роботом с использованием скриптов или раскатим такой метод на все сайты, мы сообщим дополнительно.

На все то может как раз и не надо ? Технология вывода текста через скрипт часто же как раз использовалась в целях, чтобы этот контент поисковиком не индексировался. Иногда это нужно.

Поэтому ИМХО было бы разумно, чтобы можно было указывать какие скрипты надо индексировать, а какие нет. Опять же это съэкономит ресурс поискового робота, а он увы не безграничен.

 

всем доброго дня.

Прежде всего хотелось поздравить всех с новогодними праздниками и рождеством. Пожелать всем в новом году успехов в карьере и здоровья.

У меня вопрос к замечательной технической поддержки Яндекс.

я прошу прощения что пишу в блог и скорее всего не по адресу но не могу найти ни единой страницы в интернете где официально тех. поддержка яндекс давала бы свои комментарии по каким либо проблемам связанным с работой сервисов Яндекс. 

собственно моя проблема связана с фильтром АГС.

я уже 2й месяц веду бестолковую переписку с технической поддержкой Яндекс о сате http://mskadmin.ru как вы можете посмотреть он находится под фильтром АГС.

но почему он там оказался ни одного ответа не поступило.

Все ответы технической поддержки сводятся к тому что у Яндекса есть робот который периодически проверяет сайты и определят ставить сайт под фильтр или обирать его из фильтра.

Вот собственно вопрос:

 почему он под фильтром ?

и когда фильтр снимут ?

firstlena.pershina
19 января 2016, 10:57

Здравствуйте! На вопросы про санкции мы отвечаем только через поддержку Вебмастера, так как данные об этом может получить только владелец сайта, который подтвердил на него права. 

Есть сервис комментариев Disqus.com. Будут ли теперь индексироваться комментарии из блока Disqus на сайте?
Здравствуйте!
Пока данный процесс проходит тестирование, какие возможности существуют для сайта, на котором реализован поиск объектов с помощью Ajax ?

Если использовать метод с использованием тега <noscript> (т.е. выводить содержимое тега для роботов и браузеров с отключенными скриптами), это будет работать? Не будет ли это расценено как запрещенный метод продвижения?
Ну когда же? Когда начнется? Или может уже как-то можно поучаствовать в тестировании?
Подскажите пожалуйста, а как Яндекс относится к тому чтобы присваивоить блокам собственного URL при помощи JavaScript и метода PushState?
То есть теперь можно будет делать навигацию через
<select onchange="location.href=this.value">
<option value="/example-page-1/">
<option value="/example-page-2/">
<option value="/example-page-3/">
</select>
и Яндекс сможет все это проиндексировать?
Здравствуйте. Подскажите, как ПС Яндекс сейчас относится к таким конструкциям:

<span class="hidden" data-link="http://ya.ru">внешняя ссылка</span>
<script>$('.hidden').click(function(){window.open($(this).data('link'));return false;});</script>

Можно ли такое использовать?
что то так и не понятно ничего!
вы индексируете динамически подгружаемый контент или нет?
вот гипотетический сайт на ajax подгружающий контент по клику на ссылке


<html>
<head>


<title>Мой сайт</title>


</head>
<body>


<div id="menu">
<a onClick="ajax(1) return false;">Ссылка1</a>
<a onClick="ajax(2) return false;">Ссылка2</a>
<a onClick="ajax(3) return false;">Ссылка3</a>
</div>


<div id="content"></div>


</body>
</html>


Индексируется ли контент который подгружается в блок content или нет?
coaperator,
Вот мне тоже интересно. Гугл проверил. индексирует. Причем у них есть инструмент. воткнул ссылку и сразу видно что видит робот. В яндексе как всегда ждать до второго пришествия надо.
Удалённый пользователь
19 декабря 2016, 22:47
У меня вопрос: Сайт сделан на JavaScript (JS) с использованием фреймворка Angular JS, какие действия нужно выполнить для того, чтобы страницы индексировались поисковыми роботами?
Обновлено 19 декабря 2016, 22:48
переписать его на HTML)) А если серьезно, то бред конечно, 2017 год, Angular, React, а они (Яндекс) только начали индексировать НЕКОТОРЫЕ сайты с подгружаемой инфой. Конечно, лучше всякие изначально мертвые технологии двигать, вроде БЭМа, чем поисковик довести до ума!
Новость неактуальная. Прошло 2 года, а кравлинг  ajax так и не прикрутили
Обновлено 24 апреля 2017, 22:48
firstlena.pershina
Сотрудник Яндекса25 апреля 2017, 19:03
orez.work,
Новость не про ajax была. Про ajax - тут: https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml
И да, тут ничего не менялось. 
firstlena.pershina,
все еще этап тестирования? Уже можно отказаться от серверного рендеринга HTML для поискового робота и показывать страницу также как и для браузера конечного пользователя? 
firstlena.pershina
Сотрудник Яндекса4 мая 2017, 20:20
evgenyjam,
Рендеринг отключать не стоит - данная технология не используется для всех известных роботу сайтах.
Здравствуйте. А как сейчас с JavaScrit?

У нас страница каталога грузится JavaScrit по частям с возможностью подгрузки большего количества товаров.
Можем ли мы выдавать Яндекс-боту страницу со всеми товарами данного каталога для улучшения индексации? Не запрещено ли это и улучшит ли это наши позиции в поиске?
firstlena.pershina
Сотрудник Яндекса3 ноября 2017, 17:38
konakov.av,
Да, можете делать, это не запрещено. 
firstlena.pershina,
Большое спасибо за ответ :)
firstlena.pershina,
Еще вопрос про это: у нас товары не находятся в коде страницы, мы их подгружаем через Ajax. В этом случае по-прежнему можно делать HTML-слепки?
firstlena.pershina
Сотрудник Яндекса13 ноября 2017, 10:32
konakov.av,
Да, в этом случае по-прежнему нужны статические копии. 
firstlena.pershina,
Еще раз большое спасибо за ответ :)
firstlena.pershina, есть ли разница по краулинговому бюджету для бота, индексирующему сайт с javascript и без? У меня большой сайт ~ 12млн страниц и без javascript контент не загружается (выдается 404 ошибка с просьбой обновить браузер). Вопрос: может ли это ухудшить скорость индексации моего сайта? Или боту все равно есть ли у меня javascript или нет т.к. квота на него выдается одинаковая и зависит только от числа страниц? 
firstlena.pershina
Сотрудник Яндекса4 декабря 2017, 16:45
seoprof2017,
А для робота статическая версия страницы ведь есть? Там же не все на скриптах? Можно сам сайт? 
firstlena.pershina,
 Все на скриптах, статической версии нет, пример: https://professionali.ru/Soobschestva/biznes-klub/viktor-kurilov-o-chem-uchastniki-opek-budut/





firstlena.pershina
Сотрудник Яндекса6 декабря 2017, 19:55
seoprof2017,
Должен индексироваться. 
Обновлено 6 декабря 2017, 19:55
firstlena.pershina,
 да, сайт индексируется, но вопрос в другом, влияет ли это как-то на скорость индексации моего сайта? Мне нужно как-то заморачиваться и делать статическую версию, чтобы ускорить индексацию?
Ох-х, эти профессионалы https://professionali.ruНАДОЕЛИ своим спамом! Добро, хоть Яндекс.Почта сообщения с этого сайта складывает теперь в спам. А то ведь удержу нет. Похоже, это - самый спамный сайт - больше мне никто ТАКУЮ массу совершенно ненужных сообщений не присылает. Не стыдно ли вам, professionali.ru ? Может, хватит издеваться над пользователями, надо мной, в частности? Ведь иногда в папке СПАМ попадают и полезные письма - с нужных сайтов. И вот - приходится отфильтровывать присылаемый вами мусор от нужных писем.
Если пользователь заходил на ваш сайт 1...2 раза и больше не заходил вообще - так неужели непонятно, что его он не интересует? Проявите свое благоразумие, прекратите уже свой информационный террор.
Добрый день!
Не совсем ясен вопрос с ранжированием сайтов, которые отдают слепок страницы.
У нас сайты с использованием javascript, специально создаем слепок страницы для ботов яндекса, но из-за времени на создание слепка, увеличивается отклик от сервера с 200 мс (как у пользователей) до 2.3 сек для роботов.
Как в данном случае поступает робот? Учитывает ли он, что смотрит на слепок, а не на то, что видит пользователь? Накладываются ли какие-то понижающие факторы в ранжировании из-за такого отклика? 
firstlena.pershina
Сотрудник Яндекса13 декабря 2017, 22:53
partnerlight,
Нет, не учитывает, но такое время ответа приемлемо, каких-либо проблем с ранжирование из-за этого не будет.
firstlena.pershina,


Спасибо за оперативный ответ.
А какое время будет неприемлемо? По мере роста товарной базы, нагрузка на фантом будет расти постоянно, в какой-то момент это может быть и 3 и 4 секунды, хотелось бы понимать, как правильно поступать в данном случае?
firstlena.pershina
Сотрудник Яндекса14 декабря 2017, 23:22
partnerlight,
В среднем сайты в рунете отвечают в течение 3 секунд. Все, что выше - плохо, для робота это будет знак, что сайт не сплавляется с нагрузкой, поэтому страницы будут посещаться реже.
Добрый день. Подскажите пожалуйста следующий момент, у меня вебапп сделан на реакте с множеством различных динамических страниц (имеется полный sitemap.xml) и я не могу проиндексировать все эти страницы из-за-того что яндекс-робот не дает отработать подключаемому js-скрипту и отрендерить все эти компоненты/страницы, хотя гугл-робот все это прекрасно делает. Получается что по сайтмапу робот ходит но при этом везде говорит что страница дубль, так как скрипт у него не отрабатывает, что возможно сделать в данном случае? Пробовал писать в robots.txt Allow: *js, но не сильно помогло, возможно есть ещё какие-то варианты? Заранее спасибо.
firstlena.pershina
Сотрудник Яндекса22 января, 18:47
Norwegian-Soul,
Лучше всего отдавать статикой, как тут написано:  https://yandex.ru/support/webmaster/robot-workings/ajax-indexing.xml
firstlena.pershina,
У меня везде стоит мета-тег <meta name="fragment" content="!">, но это не сильно помогло.
firstlena.pershina
Сотрудник Яндекса24 января, 15:12
Norwegian-Soul,
Роботу отдается статика или нет в итоге? 
firstlena.pershina,
Наверное я что-то не правильно понял с этим мета-тегом. Статики у нас на сайте получается нет ( нет статических html-страниц). Неужели никак нельзя обойтись без статических копий, а только с одним js? У меня в cайтмапе в районе 38 тысяч страниц, делать для всего html-версию это жесткий костыль, гугл робот же как-то без такого костыля все воспринимает, может есть какие-то способы подружить реакт с яндекс-роботом?
firstlena.pershina
Сотрудник Яндекса25 января, 14:16
Norwegian-Soul,
Чтобы сайт точно хорошо индексировался - мы просим давать статичные копии для робота. Если их нет, очень большая вероятность, что контент мы проиндексировать не сможем. Какой-либо иной рекомендации у нас нет. Так что просто проверьте, как индексируется вас сайт через проверку страницы в Вебмастере - там показывается, какой контент видит робот. 
firstlena.pershina,
Извините, но доколе это будет продолжаться ? Сколько можно уже мучить людей и заставлять их делать костыли ?
Понятно, что это сложно, но скажите, что хотя бы, работа в этом направлении ведется.
firstlena.pershina
Сотрудник Яндекса28 января, 13:29
zoxexivo,
Простите, пожалуйста, есть общие рекомендации поиска. Если вы им не следуете - то это ваш выбор. Я понимаю ваше желание, вам хочется, чтобы не вам нужно было делать дополнительную разработку из-за того, что вы не ознакомились с рекомендациями до этого, а кто-то сделал её за вас. Увы, разрабатывать удобные решения для каждого технического решения каждого разработчика - странно. Именно поэтому и выпускаются общие стандарты. 
firstlena.pershina,
я напомню, что сейчас идет 2018 год и называть индексацию SPA приложений как просто "доработку под каждого конкретного разработчика" это просто дико. 
Google несколько лет назад научился это делать и неплохо с этим справляется. Что мешает вам ?
По сути, вы (Yandex), сейчас тормозите развитие этого направления и заставляете людей извращаться, пытаясь подпихнуть контент вашему поисковику.
firstlena.pershina
Сотрудник Яндекса30 января, 13:31
zoxexivo,
Я уверена, что это важное направление. Как и много других направлений со своими стандартами. Мы прорабатываем разные варианты поддержки, но гарантию на корректную работу даем только при выполнении наших рекомендаций. Никто вам не мешает делать такой вариант сайта - просто отдавайте роботу статичную копию. 
А как запретить индексирование скриптов-рекламных?

И свои у сайта, должны быть открыты?
firstlena.pershina
Сотрудник Яндекса2 апреля, 14:26
r-g-84,
noindex почему не подходит? 
firstlena.pershina,
</noindex> разве не для текста?
firstlena.pershina
Сотрудник Яндекса2 апреля, 15:51
r-g-84,
 подходит и для рекламных скриптов на странице. 
firstlena.pershina,
А как определить что на странице индексирует робот, а что нет?
firstlena.pershina
Сотрудник Яндекса2 апреля, 16:17
r-g-84,
Проверку ответа сервера можно запустить - так показывается, какой контент отдается роботу и как. 
firstlena.pershina,
Но не понятно же что он индексирует а что игнорит, почти тоже самое что и посмотреть исходной код...
Всё тот же </noindex> тама, раз он видит - значит индексирует.. хмм...