Блог Яндекса для вебмастеров

По поводу недавних выпадений Яндекса

26 сентября 2008, 19:46
Задачка для кандидата в NOC:

Дано
Порядка тысячи подсетей с десятками тысяч узлов, динамически взаимодействующих между собой (т.е. все выпадения, разрывы и прочие повреждения и изменения системы отрабатываются автоматически) и разложенных в несколько разнесенных в пространстве дата-центров. Собственная магистраль, обеспечивающая интенсивный обмен данными между элементами. Развитая избыточная внешняя коннективность, обеспечивающая независимость от функционирования любых внешних структур.

Задача
Сгенерировать одну или несколько моделей сети для описанного случая.

Требования к решению
Необходимо обеспечить приемлемую устойчивость (система не должна умирать полностью) динамического взаимодействия, например, к повреждению данных в базе протокола этого взаимодействия, к человеческим ошибкам конфигурации и к флапам.
Если моделей несколько, хорошо бы отметить их больные места.

Отвечайте руководителю NOC, прямо на wawa@yandex-team.ru.
37 комментариев
Подписаться на комментарии к посту
А по русски нельзя написать??? Это глюк или что?? Верните мои сайты в индекс!!!!!!
Иванов Роман
27 сентября 2008, 01:44
Какие?
Более чем сумбурное и расплывчатое ТЗ. Так и хочется порекомендовать классическую литературу по построению сетей. :)
Начните с учебника математики за 1-й класс, если так сильно хочется
Ничего не понимаю в построении сетей, но от удержаться от комментария не могу: значит ли появление этого задание, что кого-то из NOC в связи с недавными выпадениями выгнали и теперь нужно закрыть освободившуюся вакансию?
я думаю, что специалист лишним не бывает :)
Либо нарвались на форс-мажор, либо кто-то получил по шапке. Другого не бывает.
Полагаете, обиженные сеошнеги консолидированным ментальным штурмом дистанционно пожгли "шесть тыщ юнитов"? :))
Главное - что востановили) Вы в панели вебмастера ввели нововведения (позиции и кол-во кликов) с целью компенсации морального ущерба недовольным горе-сеошникам?)))
Grey Я конечно погорячился на серче, но и в ваших словах как не пытаюсь не могу найти правды, Вы уж извините Не для кого не секрет что на серче пишут многие работники компании Яндекса, и не секрет что все их знают. Почему никто не дал внятного ответа, никто... Я так понимаю что проблема, по вашим словам в связях между серверами, но почему браслась выдача и тиц не как попало а именно позапрошлая, у любого нормального человека который следит за своим сайтом "все ходы записаны" и данные точ в точ совпали? И почему вот скажем у моего сайта с индекса вылетело +- 500 страниц и +- 1000 беков, Моему сайту без малого пять лет, и никогда не было такого, да признаюсь на САПЕ у меня купленно 50 жирных морд но это же не 500, я даже боюсь и думать как мне насчитают тиц и на каком месте я окажусь.
Блин ну вот опять панель Вебмастер в Яндексе не открывается, вот что там опять у вас
Я конечно не спец, но! Посудите сами. Простой пример. Вы наверно PR Гугля проверяете. Что видите ? Ответы разных ДЦ. Далее по ним, видите значения. Вот если представить тут тоже самое. То по ответам ДЦ 0, 0, 0, 3. Среднее арифм. сами можете посчитать. XML сервис при этом может просто выводить даные. При отсутствии данных с 3-4 ДЦ значение не может не быть, скорее оно просто может приравняться к 0. Тем самым можно было наблюдать разницу тИЦ. Сам каталог можем иметь статичное значение. После последнего пересчета.
вертайте в зад!!! хочу старые позиции и ТИЦу!!!!
если акцент делается на "интенсивном", то задача схожая с расмотрением трубопробода, то есть есть несколько узлов где втекает или вытекает. узлы где втекает формируют пакеты со счетчиками расстояния - биконы, соответственно каждый узел при получении каждого следующего пакета со счетчиком должен убеждаться, что поток через него максимален, иначе надо как-то запрограммировать перестройку и т.д...... Вас математика интересует или название продукта? Или решение от Микрософта/IBM Вам не подойдет?
Вообще-то Вы описали структуру интернета, в взаимодействие запросов в нём обеспечивают ДНС серверы. Как я понял в Вашем случае идёт решение проблемы: взаимодействие кластерных серверных физически располженных в разных местах, Гугл под эту задачу привлёк лучших умов Стэефорда, у нас есть много талантливых ребят привлекайте, это задача для коллективного труда.
ДНС серверы обеспечивают не "взаимодействие запросов" (абсолютно бессмысленное словосочетание, между прочим), а всего лишь преобразование доменных имен в IP-адреса (и некоторые другие похожие вещи).
А нельзя "случайно" выкинуть аленин сайт из выдачи? Типа вся информация о нем лежала на сгоревших юнитах ;) Утомила уже эта Алена Владимировна.
Утомил Интернет ? Отключите сеть. ...Разнополярные мнения нужны. Благо, сотрудники Яндекса тоже люди и иногда говорят не то, что знают...и тем более, не то что думают.
Спасибо за информацию
А что значит "сгорели"? Возьмём любой крупный вуз. Компы, стойки, локалки, сервера в сумме исчисляются тысячами. Плюс все остальные электроприборы и оргтехника. И ничего - работает всё. И если и "горит", то поодиночке. Сейчас как раз начинаются разговоры, что во всей системе электропотребления России вузы начинают тянут слишком много, - потому что одно компьютерное место - один полноценный комп, причём много именно телевизоров, и ЖК-дисплеи не слишком поспевают... А должно быть много workstations. Ладно, это к слову... В Яндексе, наверное, что-то с питанием перемудрено... Уж если на целый час или более система умирает, то это сбой программный, что ли? Нет, конечно. В общем, странно... И тогда причём тут принципы построения сетей? Как с "Титаником" - никто не предполагал, что может случиться такое - льдина пропорет половину правого брюха, а не сделает всего лишь одну пробоину в одном-единственном отсеке... Вот тут интересные вещи написаны: http://www.berdaflex.com/ru/databases/articles/migration/default.html Не совсем по теме, но есть ещё одна повсеместная проблема - документирование всех изменений в программных кодах. Искал свой давнишний-давнишний пост на Сёрче, но так и не нашёл... Как раз об этом и написано было... Что когда-нибудь всё это аукнеццо... Заплатки, приблуды, примочки...
Кто сказал про "сгорели"? Что сгорело? Где сгорело? Конечно же, ничего не "сгорело"...
Хорошо, что все быстро встало на свои места
поздняк метаться
да ладно не сцы, тебе должно быть вообще пофег ;)
ну, честно говоря, я даже ничего и не заметил — так, то постам из блогов узнал а, вообще, я пользуюсь гуглей )
пральна, гугля рулит :)
Как надо, я думаю никто не знает, система такая, каждому надо свое...)) Я знаю одно, вебмастера тоже люди, и на них не только зарабатывать надо, но иногда и жалеть. Не все мы дорвейщики, спамеры, оптимизаторы, хакеры и дебилы. Есть и простые смертные, которые имеют несколько своих сайтов и хотят просто существовать и немного зарабатывать в инете, на оплаты ваших же дорогих сервисов... (Ничего личного, все общественное))))
По части устойчивости: а какой процент мертвых сегментов допустим?
сложноватая задачко :)))
Извините, что не в тему, но я уже не знаю к кому обратиться. В последнее время с сервисом Яндекс.Словари невозможно работать. И дело не в новых доп. функциях (например, тетрадки). Проблема в том, что постоянно переключается язык. Допустим, ищу слово на английском, а результат - "Переводов во французском языке по вашему запросу не найдено." И так через слово. Кто-нибудь ещё сталкивался с этим?
Удалённый пользователь
26 октября 2008, 11:58
Вчерашним Апом все 50 сайтов выпали из индекса на одном хостинге(( На других хостингах +
Удалённый пользователь
26 октября 2008, 12:40
Вчерашним Апом все 50 сайтов выпали из индекса на одном хостинге(( На других хостингах +
Меня убивает одно, что уже 6 месяцев 80 тыс. страниц старого сайта клиента, переадрисованных на главную страницу из поиска не вылетают, а 40 тыс. уникальных страниц другого вылитело по непонятным причинам.
А чего там генерировать. У нас в институте зав. кафедрой Хорошевский. Читал лекции 3 года, про отказоустойчивые вычислительные системы. Если хотите, могу с вами лекциями поделится. И диплом я писал про "Систему мониторинга пространнственно распределенной кластерной вычислительной сети". А так скажу. Все довольно просто. Чтобы посторить сеть необходимо провести некоторый анализ. 1. Расписать по количеству и по назначению все узлы сети. Например 100 на вычисления 200 на связи и т.д. 2. Определить степень отказоустойчивости. т. е. при каком минимальном количестве узлов сеть должна оставаться работоспособной. 3. Определить структуру связи. Если есть разделение функциональности, то разделить по группам. Связи внутри отедльно, связи между группами тоже отдельно. 4. Для обеспечения отказоустойчивости. Необходимо определится с процентом ресурсов для "резервирования" информации и связей. После этого уже можно построить сеть. Причем, чтобы не изобретать велосипед, можно использовать типовые структуры. Самый гемор это настройка авто реконфигурации сети. А ошибки будь то человеческие или нет. Решаются довольно просто... Нужно лишь определить критерий "нерабочего узла". Если что обращайтесь ....
Блин, вылетело 2 белых сайта.. ничего не понимаю..  причем не было ни купленных беков, ни каталогов, ни хрумера.. вообще нулевые были..