Новый датацентр

10 марта 2010, 18:24
Количество наших пользователей и объемы информации растут, и на прошлой неделе мы запустили новый, седьмой по счету, датацентр. Наш новый датацентр расположен в Мытищах, имеет подведенную мощность 4МВт, и в нем можно разместить более 6000 серверов. В нем 4 очереди, каждая по 1МВт. Сейчас готовы к работе две, а еще две строятся.

Датацентр начинается с выбора помещения, где есть достаточно электроэнергии, куда можно провести оптику для связи и договориться о долгосрочной аренде помещения. После начинается ремонт помещения. Тут видно, что на полу стоят ножки, на которые впоследствии ляжет фальшпол. А 60 см под полом - свободно для продува воздуха от кондиционеров. Справа уже видно помещение, где фальшпол уложен на ножки.
После строительной готовности помещения расставляются кондиционеры, ставятся стойки, проводится электричество и СКС, центральный ряд плиток фальшпола меняется на решетки, из которых будет дуть холодный воздух из кондиционеров в холодный коридор. Холодный воздух из этого воздушного коридора будет захватываться вентиляторами серверов, прогоняться сквозь них и охлаждать. В стойки расставляются свитчи и KVM.
Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо). Обеспечением работы дизель-генераторов, кондиционеров, электричества занимаются инженеры Службы Главного Инженера департамента по общим вопросам.
Чтобы у серверов была сеть, им нужно ее обеспечить. К каждому датацентру мы прокладываем минимум 2 оптических канала, и, конечно, все наши датацентры подсоединены к нашему московскому оптическому кольцу. Это делается для защиты от экскаваторов, которые почему-то копают именно в тех местах, где лежит оптоволокно. В самих же очередях сеть приходит вот в такие свитчи, только шасси от которых весит 55кг, не считая внутренностей. После сеть подводится к свитчам, которые стоят в каждой стойке, а от них уже разводится по серверам. Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета.
Казалось бы, пора ставить сервера? Не сразу. Прежде, чем сервер будет установлен в стойку, его нужно принять, распаковать из коробки, разобрать, чтобы инвентаризовать память, жесткие диски и сам корпус, затем снова собрать, чтобы установить в стойку и подключить, а все действия аккуратно провести по складской программе, чтобы мы знали, где и что у нас стоит. Аналогичные действия производятся и со свитчами, с KVM'ами и другим оборудованием, которое используется в датацентре. Все эти действия проводятся на складе, который есть в любом датацентре. Отвечают за это инжереры датацентра из инфраструктурного отдела департамента эксплуатации. Это очень ответственные люди, у которых всегда обязан быть порядок в хозяйстве. А все полки подписаны. Даже те, которые непонятны.
Вот теперь можно ставить сервера. После их установки на них устанавливается операционная система и необходимое ПО в полуавтоматическом режиме, чем обычно занимаются дежурные администраторы. После чего сервера передаются в эксплуатацию системным администраторам. Сисадмины устанавливают то, чего не хватает и окончательно настраивают сервера перед вводом их в продакшн. В окончательную настройку входит также настройка мониторинга, который будет оповещать нас о проблемах на сервере. За мониторингом круглосуточно следят дежурные администраторы, которые оповещают ответственных админов о проблемах с их серверами и являются руками админов в случаях, когда надо поменять винчестер, подключить KVM или перегрузить намертво зависший сервер.
А вот такой охранник стоит на входе в наш ДЦ:

49 комментариев
Андрей Чувелёв
10 марта 2010, 18:29
А какие платформы? Программное обеспечение? Есть ли у Вас планы сдачи мощностей в аренду?
Я пока не готов написать про сервера и ПО. Сдавать в аренду мощности в ДЦ мы точно не собираемся. Самим едва хватает.
Судя по корпусам это SuperMicro. А вот что там внутри уже сказать сложно у них в таком конструктиве довольно много разных платформ.
на фото SuperMicro, касаемо ОС - насколько я знаю, традиционно Яндекс любит Debian.
и FreeBSD
не слышал такого. думаю, их немного
ну после такого трудно спорить
что с версткой? ужасно отображается?
Иванов Роман
10 марта 2010, 19:27
Вроде сделали лучше =)
да, гораздо!
Поздрям с вводном 7го ДЦ.  Не планируете давать им имена (например, по аналогии с городами, например, по названию гор и горных систем)? 
Предлагаю начать прямо с этого и назвать его, да пусть даже, Ама-Даблам.  А следующий ДЦ на букву М.
Уже даем. Но не по горам. Вот первая очередь в Мытищах называется Мытищи-1, а в Ивантеевке, к примеру, есть Ива-3 (она же Ивантеевка-3).
как-то не особо творчески... Мытищи-1 хм админы/технари не творческие люди, это и понятно. 
Точно. Нам, типа, работать надо.
так все-таки в Ивантеевке построили, но где? :) Хлебозаводская, Задорожная, Фабричная?
люблю яндекс, люблю дата центры, люблю людей которые умеют их делать! ВОЗЬМИТЕ МЕНЯ НА РАБОТУ!
New-Chevrolet-Camaro
10 марта 2010, 19:51
Присоединяюсь к просьбе!
тебе легко говорить, ты ядра умеешь пересобирать =)

меня возьмите! раздаю люли и пишу на крестовом языке за еду ! ;)

Ого! прям адронный коллайдер!)
БАК в отличии от датацентра не работает )
Кстати да!
Было интересно почитать =)
New-Chevrolet-Camaro
10 марта 2010, 19:52
Интересный рассказ. По чаще бы писали о технической стороне Яндекса.
А есть мысли, о какой еще "технической стороне" было бы интересно почитать?
Мне вот интересно как хранение файлов устроено. По аналогии с Google GFS?
gaudeamus-omskcity
10 марта 2010, 20:01
Я б в монтажники дата-центрофф пашол, - пусть меня научатъ! Поздрамулки и удачи! :-)
А можно фото уборщицы-бабы Клавы, которая периодически мокрой тряпкой обрывает провода, что мы часто принимаем за смену алгоритма. Баба-Клава у каждого дата-центра своя или общая на все?
Фотки понравились! Яндекс изнутри тоже хорош)
Спасибо за этот пост! :-)
а где в Мытищах находится ДЦ?
Вы водитель экскаватора? =)
ага, копаю для Гугла канавы под оптику B-)
Расстрою, у проектов Яндекса есть хорошее правило - выживать при отключении одного ДЦ ;-)
Так что... копайте  ;-)
так где копать-то? первый вопрос и был, где в Мытищах находится ДЦ?)
Незя говорить ...военная тайна!! А скока это всё стоит знают бухгалтера наврное только.
красиво и познавательно!
скажите, а это окупается или чей-то безумный проект? :)
Иванов Роман
11 марта 2010, 02:08
Яндекс вышел на прибыль в 2003 году, и с тех пор окупается =)
сколько стоек в этом ДЦ, и если не сильно большой секрет, во что обошлось строительство?
Ваше сообщество попало в ТОП30 самых обсуждаемых тем в блогосфере.
Почитать текст со всеми комментариями по ссылке.
Это Ваш 2-й ТОПовый пост за последний год.
Посмотреть статистику автора можно в карточке топблогера.
ололо!
Даешь красивые названия для ДЦ Яндекса! :)
Для нас, приземленных, надо, чтобы название ДЦ не вводило в заблуждение. А особо желающие могут заняться переименованием городов, в которых стоят ДЦ.
Они наверное так круто в темноте светятся, когда работают, ммм.
typo "инжереры"
Классно! Спасибо, очень интересный репортаж :) Только тогда странно, что видео с яндекс.видео так медленно загружается, что иногда застревает :(
главное не вернуться к тому от чего избавился.А вам спасибо.