Клуб о поиске Яндекса

Когда Яндекс начнет нормально работать с HTTPS?

alex7kom
15 апреля 2014, 18:33

Естественно, под работой подразумевается индексация.
Если судить по странице YandexBot 3.0 на Qualys SSL Labs, бот Яндекса по-прежнему не поддерживает следующие технологии:

  • TLS, совсем. Это позор, стандарту уже 15 лет, все более-менее известные браузеры поддерживают его хотя бы версию 1.0. Полтора месяца назад в Firefox наконец появилась поддержка 1.2.
  • SNI, который позволяет на одном IP размещать больше одного HTTPS-сайта.
  • Сильные наборы криптоалгоритмов, включая Forward Secrecy.

Поэтому следующие сайты в данный момент не индексируются Яндексом:

  • Достаточно безопасный HTTPS-only сайт. Естественно, что браузеры стараются выбирать то, что «покрепче», из предлагаемых сервером алгоритмов, но существуют/не исключено существование атак, заставляющих подключающихся к сайту клиентов, понижать версии до менее безопасных.
  • Любой HTTPS-only сайт, работающий по SNI, что фактически убивает перспективу использования HTTPS в небольших проектах.
Фактически, Яндекс сейчас — главная кость в горле развития безопасного интернета в РФ/СНГ. Развитие ПО и инфраструктуры выдачи сертификатов уже сейчас позволяет всем сайтам перейти на защищенное соединение (мифы о дорогих сертификатах и значительной нагрузке — всего лишь мифы), но многие сайты не хотят давать по умолчанию слабый HTTPS только чтобы индексироваться Яндексом, поэтому обычно HTTP- и HTTPS-версии существуют вместе, или HTTPS защищает только авторизацию (что делает HTTPS почти бесполезным из-за возможного ssl strip по пути).
Вполне возможно, что Яндекс поддерживает именно такой набор протоколов для того, чтобы индексировать только сайты, совместимые с IE на Windows XP (где тоже отсутствует поддержка TLS и SNI). Если да, то самое время бросить эту практику, раз поддержка Windows XP наконец прекращена.
Спасибо за внимание.
5 комментариев
Подписаться на комментарии к посту
firstlena.pershina
15 апреля 2014, 19:30
Да, о проблеме знаем и принимаем все меры, чтобы осуществить эту поддержку в самое ближайшее время.
Спасибо за ответ, очень рад это слышать!

Надо же, не знал. Вот бы я впух, если бы не наткнулся на проблемы внедрения.

 

Спасибо за предупреждение.

Виталий Супрун
15 августа 2016, 22:50
что-то как-то долго тянется это "самое ближайшее время".
до сих пор не нашел признаков того, что этот бот поддерживает SNI.
и что куда больше бесит, так это то, что из-за этого лично я попадаю на бабки.
хостер (hoster.ru), хотя его nginx настроен с поддержкой SNI, навязывает услугу "выделенный IP-адрес", оправдывая это тем, что некоторые поисковые боты не поддерживают SNI. и явно главный не-поддерживающий - это ваш.
вам - выгодно. ничего не надо менять. работает - и фиг с ним.
хостеру выгодно - получает копеечку прибыли.
а вот мне не выгодно - я должен это всё оплачивать.
Добрый день! Наш робот поддерживает SNI.