Полста

10 октября 2008, 20:45

Мы растем, прогресс не остановить, и на этой неделе мы преодолели рубеж в 50.000.000 поисковых запросов в день (учитывая mail.ru, tut.by и других XML-партнеров). Каждый поисковый запрос "перелопачивает" массив информации в 20 терабайт на географически распределенном кластере из нескольких тысяч серверов. 10 миллионов запросов мы научились выполнять в 2004 году (Поиск «Яндекса»: 10 миллионов хитов), а 2 миллиона - в 2002 (Количество ежедневных запросов к поисковой машине Яндекс превысило 2 миллиона).

Антон Самохвалов, надежность и производительность поиска
19 комментариев
Подписаться на комментарии к посту
Мои поздравления :) Вообще, ваши серваки потрясающе шустро работают. Интересно, а насколько географически разделены ваши дата-центры? В каких городах они находятся? И что будет, если по какой-то причине вдруг один дата-центр перестанет быть доступным с других дата-центров? Пользователи этого не заметят?Александр
Спасибо :) 1) Наши ДЦ большей частью находятся в Москве. 2) У нас многократная репликация на каждом уровне, поэтому если что-то отваливается, то за нужным кусочком данных мы просто пойдем в другое место. 3) Если проблемы не порядка "полный блэкаут", то не заметят. Антон Самохвалов
Где-то около трёх-четырёх недель назад у Вас полный сбой был. Яндекс не открывался где-то около полутора часов. Мне даже захотелось позвонить Вам в офис, где мне ответили, что действительно произошёл сбой и Яндекс не работает по всему Свету. Что ж Вы "просто не пошли в другое место" за "нужным кусочком" ? :-) Или это был как раз тот самый "полный блэкаут"... :-)Тарасов Виктор
Да, это была проблема такого порядка :(Антон Самохвалов
Обалденные вы молодцы! :) А вообще, круто у вас все сделано. Это сколько ж хардов у вас в серваках, что вы еще и резервные копии делаете, к примеру, файлов на народ.диске и всех фоток. Это ж е-мое сколько места :) Один только я уже пару терабайт залил :) Респектище вам каждому! Вы - полезнее гугла :)Александр
Антон, а вы можете хотя бы приблизительно представить сколько из этих запросов оптимизаторские? Я долго ломаю голову над этой проблемой, ведь частотность запросов уже давно не отражает поиск реальных людей!Dima.Shirokov
Я не знаю, сколько запросов из этих - оптимизаторские. Потому что все запросы, которые мы считаем оптимизаторскими, в этой статистике не учтены :) Вообще таких запросов в потоке(по нашим представлениям и о которых мы знаем) - около 5 - 10 процентов.Антон Самохвалов
Согласитесь, но 5-10 % от 50 млн тоже много! Вообще мне кажется что этот процент немного выше. Откуда тогда могут появляться такие вещи в директе: http://direct.yandex.ru/stat/wordsstat.pl?checkboxes=0&key=2c2a89fcfcb0ff21ea9aa0e2a3a9c6b1®ions=&rpt=ppc&shw=1&text=%D0%BA%D0%BE%D1%81%D0%BC%D0%B5%D1%82%D0%B8%D0%BA%D0%B0%20%D0%BF%D1%80%D0%BE%D1%82%D0%B8%D0%B2%20%D1%86%D0%B5%D0%BB%D0%BB%D1%8E%D0%BB%D0%B8%D1%82%D0%B0&tm=1223705949 Обратил внимание совсем недавно, не знаю правда как дела обстаят по другим запросам, но картина странная... P.S. А как отличают оптимизаторские запросы?Dima.Shirokov
>на географически распределенном кластере из нескольких тысяч серверов. я правильно понимаю, что кластер состоит из серверов, принадлежащих яндексу. а каждый сервер - это примерно 1 комп. т.е. на нескольких тысячах компах? или вот для примера, на скольких физических компах происхоидт поиск запроса из минска или киева?квазар
Так держать, вы молодцы, хотелось бы в будущем хоть как-то с вами помогать развивать рунет. Жаль только что вроде классические веб-разработчики вам вроде как и не требуются ... эххх. Все равно рад, Гуглу наших не съесть, россия непобедимая страна, в ней живут и работают замечательные люди.inИван Шумов
ой, не в ту ветку >_<inoise
Требуются разные разработчики =) Я пришел работать как классический веб-разработчик.Арикон
php, MySQL, PostgreSQL, JS? черт, я явно что-то пропустил .. очень хотелось бы услышать подробности твоего появления в Яндексе ;) (если есть возможность, напиши мне пожалуйста iashumov@gmail.com) Рад знакомству ;)Иван Шумов
>Гуглу наших не съесть Ну как сказать. Я свой сайт добавил в Яндекс почти месяц назад, но до сих пор робот не заходил. Даже добавление в "мои сайты на webmaster" не помогло. Зато Гугл нашел мой сайт еще задолго до "официального открытия" и через сутки (а то и каждый день) посещает его. Да, мой сайт в зоне org, но он русскоязычный. Поэтому, я не понимаю, почему Яндекс зовется лучшим поисковиком в России. Он просто более популярен чем Гугл: более раскручен, более красив, да и мейд ин русиш, как никак. Это как жигуленок: не так хорошо ездит, но, собака, родной.Владимир Кича
прошу меня простить, но если вы не в курсе, то у Яндекса были проблемы в датацентре, о которой гудела огромное количество людей. Так Яндекс просто молодцыinoise
А-хре-неть! Даёшь сто миллионов к 2010 году ;-)Siron
Даешь 100 000 к середине 2009ого :-Dinoise
1 000 000 000 чего уж мелочиться :)Фых Пых
Отлично! Примерно 10% это боты, вытягивающие вкусную информацию из Индекса и засоряющие Интернет. Хорошо держите нагрузку :)SUFIx