Экскурсия в дата-центр Яндекса

29 ноября 2013, 13:11

Яндекс поддерживает разветвлённую и независимую от офисов сеть дата-центров, которая позволяет обеспечивать пользователей качественными сервисами в режиме 24х7 с высокой скоростью доступа. Несколько лет назад в Яндексе шутили, что департамент эксплуатации компании потребляет серверы на завтрак, обед и ужин, устанавливая в дата-центры по три сервера за день. Сегодня эта цифра гораздо больше.

Вот как выглядит дата-центр Яндекса изнутри:

Стойка с серверами. В одну стойку мы можем установить до 80 серверов, к которым подключены провода. Очень много проводов.


Каждый сервер подключён двумя проводами. Один для управления, другой — для передачи данных.


Сетевой центр с оптическими кабелями.


Модуль c двумя рядами стоек с серверами.


Так стойка с серверами выглядит сзади.


Серверный шкаф.


Часть системы вентиляции и охлаждения дата-центра.


Маховики, которые накапливают энергию на случай отключения электричества (DRUPS). Генерируют электричество, давая возможность запуститься дизелям.


Щиты электрораспределения энергомодуля, которые являются частью решения на DRUPS.


Система пожаротушения. На всякий случай.


Так выглядит система охлаждения дата-центра снаружи.


Энергоцентр, в котором находятся DRUPS и топливохранилище. В масштабах к дата-центру это внушительное здание всего лишь маленький домик.

93 комментария
Подписаться на комментарии к посту

Сколько же денег это всё стоит...

Сделано на совесть, говоришь? Ты монтаж на первой фотке видишь? Это укладка патч-кордов по-твоему? Это сопли с петлями, и соответствующими глюками по сигналам приема-передачи в протоколах обменаB-)

aksayondon,
сразу видно ты шпециалист с верхним образованием ))))
все там нормально сделано и никаких глюков нет, даже если провод в десять погибелей скрутить
i.creative,
Да не догоняешь, ты, креатив - дело в переходных контактах по шлейфу на патч-соединениях, на соединениях в свичах, на соединениях в ТЭЗах, в микротрещинах на многослойках, наконец. А эти бублики своё возьмут, будь уверен :)
aksayondon,
Вы случайно не из конкурирующей компании типа "Google"?) Уж слишком Вы тут надрываетесь...)
ershov-valen,
Вы угадали - из конкурирующей компании типа "Советская школа построения фундаментальных автоматизированных систем". Правда конкурировать приходится в блогосфере, видя уровень некомпетентности современных специалистов, взрощщенных "эффективными менеджерами" в условиях ресурсной экономики. Сам я давно безработный, иначе что б я тут ошивался :) Кста, специальности с кодом 0646 - автоматизированные системы управления и квалификации инженер-системотехник в базах данных РФ по службе занятости давно не существует - помножена на ноль вместе с бывшими специалистами :)

Маховики, которые накапливают энергию (DRUPS) чтобы запустить дизель-генераторы убили наповал. Кто вам проектировал? Первая в СССР АС УВД "Стрела" тоже в 80-х поначалу поставила маховики - но там понятно, там нельзя было допустить разрыва синусоиды, поскольку вся синхронизация огромного четырехмашинного комплекса на ЕС 1060-х держалась на этой 50-герцовой гармонике. Маховики за 2 минуты просто останавливались в ноль от такой огромной нагрузки. Дизеля не успевали запуститься даже с гарантированным трехкратным автозапуском. Спасла только система с аккумуляторами вместо маховиков и простая схема конвертации переменного тока в постоянный и обратно в переменный. Естественно аккумуляторы стояли буффером в середине схемы.

Современные маховики – самая лучшая штука для подобной задачи. Обычные аккумуляторы намного менее эффективны и ещё менее долговечны, чем маховики.

И тем не менее в каждой серверной стойке такого дата-центра наверняка стоит тот самый самый бесперебойник, только маленький:-) Аккумуляторы были не обычные - обслуживаемые английские - огромные прозрачные банки с визуальным контролем и быстрой заменой начинки.

Дедушка Мороз сразу расставит все на свои места и покажет что лучше - запуск дизеля или аккумулятор в байпасе.

Вообще-то, одно другому не мешает. В правильных дата-центрах несколько различных резервных систем.
Нет, классических UPS в этом датацентре нет.
Только динамические на маховиках.

Странно. В конце комментов, Весельчак У разместил ссылки на обзоры других хранилищ данных - практически у всех мобильных операторов есть мощные аккумуляторные.

Ну, мы же не мобильные операторы.
А в наших прежних ДЦ и у нас есть аккумуляторы, так что выбор вполне осознанный.

, даже я за две секунды через Яндекс )) нашел сайт http://www.euro-diesel.com
По фото прям похоже на это решение. И не думаю что там сидят дураки которые с маховиками сделали что-то нерабочее... 

Восемь дизелей вынесены в отдельный холодный бокс без систем климатообеспечения в сторонку от дата-центра. Повторюсь, - Дедушка Мороз сразу расставит все на свои места и покажет что лучше - запуск дизеля или аккумулятор в байпасе.

На "Стреле" все было сделано в едином здании с полным автономным климатообеспечением, как на подводной лодке. А эти эуропейские боксы из сандвич-панелей - всего лишь хорошие мобильные технологии для продажи в страны третьего мира с щадящим климатом. Не по нашенски это как-то, не фундаментально :-D 

Сервера там не нужного тепла на мегаватты отлично производят за стенкой, дизеля хоть на улицу ставь и вентилятором дуй. Тепло все равно в атмосферу летит, то что не утилизировать.

Ну 9 мощных градирен перед главным боксом о том и говорит что сервера работают как печки, воздуховодов приточной и вытяжной вентиляции полно в основном здании. А вот дизели, практически на улице и стоят и воздуховодов вытяжки из основного здания к дизельной не видно. Да оно и верно, если связать эти два здания еще и воздуховодами, помимо кабелегонов, то в случае возгорания дизельной - долбанет и по серверной так, что мама не горюй. В Ростовском аэропорту в дизельной всего один из двух дизелей загорелся в 80-х, пожар по кабелегону попер так, что и КДП досталось:-@

Сколько стоит это оборудование?

У мегафона в самаре подобные сервера. Один шкаф 12 000 000 руб. Плюс здание, система охлаждения, генераторы и т.д.

Космос!

У МегаФона в Самаре большой ЦОД, но совсем иначе устроенный :) И сервера там тоже другие :)

Это в России?

Да, в России.  

класс
Класс-класс-класс.

Очень круто. Особенно укладка кабеля. Даёшь ещё фотографий с кабелем, лотками, патч-панелями и шкафами!!! :-)

Wow! Супер-пупер, спасибо за экскурсию!!!

(+1)Красиво то как, аж дух захватывает, просто здорово!

Спасибо Яндексу!!!

Когда ОМОН это все вынесет, это будет восстановлено, но у же не в России

Это всё конечно хорошо, но вот качественных сервисов как-то давно не наблюдается и становится всё хуже и хуже что приводит к тому что люди которые пришли на Яндекс почти с самого начала уже почти все ушли, а те которые приходят сами не знают куда и зачем они пришли...
Поиск, Деньги, Карты, Почта, Маркет  – как минимум, 5 очень крутых и качественных сервисов, которыми ежедневно пользуюсь. А много ещё и тех, которые пригождаются время от времени (Недвижимость, Авто, ПДД, Погода и т.д. и т.п.)
- Поиск - 4 с большим минусом;
- Деньги - не пользуюсь т.к. не везде и не всегда можно использовать и на прямую с карты платить проще и быстрее;
- Карты - только на самом сайте сносно работают, но далеко не всегда и не везде да и информация сильно устаревшая - уже давно нету, а на карте есть или уже давно есть, а на карте нету... Про карты для мобильных устройств я вообще молчу;
- Почта - ну здесь слабую 4 можно поставить;
- Маркет - не вижу что там делать...
- Я.ру практически мёртв, а почти все Клубы Сервиса уже практически год не работают...
- Лента друзе постоянно бьётся в конвульсиях;
- только Фотки вроде пока живы, но и то чуть тёплые.
- Народ уже убили!
И что теперь на очереди?

Браво!

- Почта - ну здесь слабую 4 можно поставить;
Вот интересно, а какому почтовому сервису вы 5 поставите? Даже ГМейл до Я.Почты по удобству, скорости работы и качеству интерфейсов не дотягивает, а остальные и близко не стояли...

А насчёт остального... Вы так говорите, как будто вас на Яндексе кто-то силой удерживает :) Интернет – не Россия, в Интернете свобода: чем хотите тем и пользуйтесь...
Это конечно силой никто не удерживает и потому народ уходит или не появляется месяцами или общается на уровне дневников... Жаль что вполне неплохой сервис мог бы быть, но похоже это только из разряда помечтать...

Gmail заслуживает твердую 5. И да, яндекс по сравнению с ним вяленькую 4 получит.

GMail прост и удобен, просто им надо научиться пользоваться. Спама вообще нету, ВООБЩЕ, почте за 5 лет, светится вообще всюду, не прошибаемо. Хорошая интеграция с линуксами. В Ubuntu Unity вшилось как родное. В Яндексе до сих пор ни одной интеграции с Unity не нашел, тот же мэил уже все интегрировал. Сразу видно на какую аудиторию рассчитывает яндекс - на технически не грамотных.

Про говновыдачу и алогоритмы ранжирования яндекса помолчу. Горький опыт с годами, одно говно ищется и всегда в топе, на нормальный СДЛ попасть почти невозможн, пока до 2-3 страницы не долистаешь. А недавно опубликованные графики как яндекс под АГС кидает, дают понять почему говно в топе а сдлы в низу.

Яндекс придумывает какие-то совершенно ненужные сервисы, когда можно улучшать старые. МЭИЛ, говномэил и то уже ребрендинг провел, все улучшил, по сравнению с ними яндекс просто божественнен, и то, мэил уже впереди на пару шагов в прогрессе.

Насчёт почты не соглашусь, у меня спам и туда и сюда валится.
бОльшая часть и Я и Г фильтруют, но тем не менее, 2-3 письма в неделю прорываются. Насчёт интеграций – без понятия, не пользуюсь. Я говорил именно в контексте веб-сервисов.

покажите мне в gmail кнопку массовой пересылки сообщений. Вот, например, мне нужно переслать 50 писем одновременно? как я это сделаю не пользуюясь сторонними сервисами? правильно. Никак.

Про выдачу яндекса, равно, как и гугля не стоит спорть. все косячат. Тут вечный спор ios или андроид, кенон или никон, гугль или яндекс.

 

 

 

Не далее как в четверг вечером GMail около часа просто лежал, отдавал 502 и рисовал сломанного робота. А незадолго перед этим отдавал по IMAP испорченные письма (тексты разных писем перепутывались). Не очень-то я доверяю такому сервису.

Почта 24\7 активна и принимает письма. Скорее всего это у вашего провайдера были неполадки на канале который оказался и тем что ведет к гуглу.

SuperDuper2007,
Да, Gmail молодцы, трудятся, новый интерфейс постоянно придумывают, а чтобы им пользовались - старый отрубают. И теперь никакими танцами с бубном мне не удается придать почте привычный классический вид - письма один хрен организуются в цепочки и хрен ты их заставишь этого не делать.

Сейчас уже качество почты и сервисов оценивается не только тем какое оно на веб-сайте, но и качеством интеграции с мобильными платформами. И тут у Я увы полный провал пока: почта ещё как-то, контакты и календари почти никак. Это против Гугла или ВП, когда достаточно ввести логин-пароль и смартфон буквально вливается гармонично в целую систему интерактивных сервисов.

Я не первый год вопрошаю Яндексу о необходимости хотя бы реализации качественного EAS для почты-календарей-контактов, но воз и ныне там: почта через пень-колоду, календари через calDav кое-как, контакты еще хуже - по слухам через cardDav, на деле и так не работают.

Поддерживаю. Вообще в яндекс захожу чтобы выдачу своего сайта глянуть. Сейчас и то из твиттоты сюда попал

Мне здаётся на всех нас яндексовским ребятам плевать, но если так и дальше будет продолжаться то как бы все не плюнули на яндекс...

 Яндекс маркет крайне полезен!!! для поиска нормальных товаров по статистике отзывов

NikonDPhoto,
ну о чем с тобой разговаривать, если ты, упырь, не пользуешься сервисами Яндекса, зато их упрекаешь в чем-то? Мудила. Я пользуюсь как минимум 10-15 сервисами практически каждый день. И меня всё устраивает, почти всё.
А ты мудила, ещё раз повторю.
Масштабно...

КлассноB-) 

Охренетикус Датацентрикус!!!)))(+1)

Андрей Собашко
29 ноября 2013, 20:18

это сколькоже там системные админы зарабатывают, что там так все красиво и чисто

Системные администраторы там, кстати, только на экскурсиях бывают. А вот инженерам ДЦ и дежурным администраторам - спасибо огромное, да =) 

Андрей Собашко
30 ноября 2013, 00:43

Не суть кто, суть сколько? :-)

Ну этого-то вам никто не скажет здесь) Да и вообще вряд ли кто. NDA и около того, всё такое. 

Достаточно, чтобы иметь мотивацию работать на совесть ;)

побольше бы таких экскурсий в яндекс, реально интересно

Первым делом надо оторвать провода серверов ucoz, которые там находятся))))))) Яндекс тоже молодец отдать сервера бесплатно ucoz`у

Владимир Иванов
29 ноября 2013, 23:43

Там нет серверов ucoz.

Я побывал бы там. И даже поработал, как раз по своей специальности.

Можете рассказать, как там продвигаются дела со строительством дата-центра в Финляндии?

Было очень интересно посмотреть на Яндекс изнутри! 

яндекс на века :-)

Интересно глянуть на то, как это выглядит у "коллег по IT цеху" Яндекса :)

Дата центр Google: http://bigpicture.ru/?p=338637

Дата центр Ростелекома: http://habrahabr.ru/company/rostelecom/blog/139217/

Дата центр Билайна: http://www.pvsm.ru/bilajn/3736

Дата центр Мегафон: http://daypic.ru/architecture/106312

Дата центр Вконтакте: http://vk.com/album11_140615149

Дата центр Facebook: http://hi-news.ru/eto-interesno/foto-dnya-fotoekskursiya-v-novyj-data-centr-facebook.html

отлично выглядит)

просто афигеть, понимал что яндекс это не один сервер, но чтобы вот в таком масштабе.......

a.c.tsoy,
гыгы, у них не один дата-центр ;)

кроме:  ВОТ ЭТО ДА! или: НИФИГА СЕБЕ! или: АХРИНЕТЬ!  

просто до этой секунды для меня яндекс был всего лиш кнопочкой НАЙТИ

За год этот ЦОД стал частичкой меня (love)

Красиво) Неужели нечего не ломается там?:)) Полубому из-за времени должны окисляться контакты, просто отваливаться) 

cfhfp,
где-то год назад они писали только про Яндекс.Почту, что там 50-100 жестких дисков выходит из строя каждую неделю. Об остальных сервисах можно только догадываться, особенно о поиске.
serejqa.m,
просто я работаю инженером - электроником на немецкой линии. Так у нас постоянно что то выходит из строя. Интересно там полазить)
Не Google и Facebook, но тоже круто. В РФ самые быстрые по скорости загрузки контента - Яндекс, Mail.ru и Вконтакте. Проверено не раз на личном опыте. Конечно, до их серверов ближе, чем до Европы или США, но всё же.
Мошь
впечатляет, я получил ответ на мой вопрос.
вы супер)
Вот по чему я люблю яндекс!!!
Яндекс тратит избытки тепла на обогрев соседних зданий? Еще можно теплицу поставить и фрукты выращивать.
Можете сказать, сколько Гб в день Яндекс добавляет к хранилищу данных?
Эххх... не посчастливилось поработать на этом объекте, очень жаль, был бы весомый актив в копилке проектов. А так да, впечатляет, желаю стабильной работы серверов и прохладной температуры!
Всё это прекрасно! Теперь бы сделали нормальную работу своих  сервисов или закрыли. А то не пойми что....
это сила
у гугла все както окуратней и красевей смотрится :) а у вас ток на троичку :))
Нечушкин Константин
25 апреля 2014, 02:34
Так обновления к обновления и потом к этим обновлениям ещё обновления нужно делать!
Кто с самого начала писал, тот на пенсии, а новенькие, которые приходят зарплату получать, даже и не знают в каком месте кодить нужно.... Проверяют работу после обновления только на пользователях, откуда сделать на 5?  Потом после покупки Яндекса известными нам лицами, стратегия и цель поменялась... выжимать прибыль стало важнее, чем Поиск!
Мощно!
Хоть бы сколько денег это не стоило.
Ничо, скоро Яндекс Google переплюнет.
Признайтесь, у вас есть дата-центр в Украине? Уж очень хорошие скорости до ваших серверов) К тому-же если фсб накроет - Украина всегда рядом, далеко ехать не придется.
Датацентры в России и Нидерландах, строится в Финляндии. В остальных странах, в т.ч. в Украине - сервера CDN (http://en.wikipedia.org/wiki/Content_delivery_network).
Красота и мощь!!!
Мда.......Сегодня надо сделать игру про IT - компанию Яндекс ! Пусть завидуют и знают какая у нас  компания технологичная !
Шикарно :))
Владимир Алексеенко
24 сентября 2016, 12:09
Почитал комменты... Как же Яндекс до сих пор справлялся без комментаторов))))
наверняка это стоит больше 1 000 000 рублей
Новый ролик про датацентр Яндекса
https://www.facebook.com/yandex/videos/10157768217765577/