Сбой на Яндексе

19 августа 2011, 22:04

Сегодня в течение нескольких часов сервисы Яндекса были недоступны. Это произошло из-за проблемы с маршрутизацией в сети Яндекса. С работой дата-центров, DDoS-атаками, пожарами, а также любыми другими внешними факторами это никак не связано. Сейчас основные последствия проблемы устранены. Никакие пользовательские данные не потеряны.

Мы приносим извинения всем нашим пользователям.

Для тех, кому интересно, более подробное описание:

Проблема вызвана ошибкой программного обеспечения на маршрутизаторе, расположенном в нашем новом дата-центре в Амстердаме. В Яндексе используются протоколы маршрутизации – внутренний протокол OSPF и внешний протокол BGP. Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации. Это примерно на три порядка больше маршрутов, чем обычно. Протокол OSPF не рассчитан на такое количество. В результате у всех маршрутизаторов кончилась память, и они перестали работать. Нарушилась работа сети, и через несколько минут Яндекс стал полностью недоступен.

Внутренняя сеть тоже не работала. Поэтому нашим специалистам потребовалось потратить много времени для того, чтобы по цепочке добраться до источника проблемы.

Администраторы исправили ошибку на маршрутизаторе. После этого, чтобы снять лишнюю нагрузку с остальных маршрутизаторов, которых у нас больше сотни, нашим специалистам пришлось разделить сеть на несколько частей. Количество трафика снизилось, у маршрутизаторов появилось больше свободной памяти, и они смогли самостоятельно восстановить связность сети.

Сеть начала постепенно подниматься. Через некоторое время сервисы Яндекса стали доступны большей части пользователей.

Владимир Иванов,
делаю sh ip bgp summary

258 комментариев
Комментарий удалён
около часа назад подключили.

А почему ж так не скоро, если поиск заработал где-то в половине восьмого?

P.s. Мне вот стало интересно, неужели могучий Яндекс можно выключить в одном локальком городе. Всегда считал, что подобные системы должны иметь альтернативные варианты, хотя бы глобально упрощённой жизни, на время серьёзных неполадок.

привет! Во-во. Вот наверное в этом и проблема у них, это походу слабая сторона Яндекса.

и выставить иск яндексу

дневной бюджет сайта пол ляма рублей на директе, а в год где-то 6 лямов баксов ...

здрасти ))) проанализируйте профиль BiviJet, посмотрите какие интернет магазины на "w" c примерной посещаемостью 200 000 способны тратить такие деньги на рекламу и вот он сайт на всеобщем обозрении ))

Отличные иллюстрации, спасибо!

Так вот он и был, альтернативный вариант в Амстердаме. Беда в том, что альтернативные варианты должны как-то синхронизировать свою работу с основными. Здесь накрылся именно механизм такой синхронизации.

Если бы в Москву попала ядрёная бомба, Яндекс продолжил бы работу. Но ошибка в ПО, контролирующем работу сети, гораздо хуже, поскольку этому ПО, как правило, плюс-минус безоговорочно доверяют. До сегодняшнего дня, по крайней мере.

Пастухов Василий Романович
27 августа 2011, 02:21

И как часто это у Вас? B-)

Что именно? ;-)
Пастухов Василий Романович
22 октября 2011, 12:53

Сбои :-)

А почему утром метрика падала то?

да она по пять раз на дню падает :)

Печально.... Google Analystic в помощь? Или как там его называют)

Оно очень тяжелое и медлеенное..

а если метрика лежит 24/7? как и джаббер яндекса?

Это уже не ко мне вопросы. Я пользуюсь и метрикой и аналитикой. Когда где и что удобнее.

Тоже думаю оставив метрику подключить гуглятинку

Если честно, то мне гугл аналитик, непонравился, все загруженно. Или потому что, я привык к яндексу. Я за отечественный поисковик)

А если у него метрика лежит 24/7? Как и джаббер

Иванов Роман
19 августа 2011, 22:59
Здравствуйте.

Подскажите, пожалуйста, сайт, на котором вы испытывали проблемы с Метрикой в течение 24 часов.

Конечно не 24/7, но только сегодня 8 часов счётчика не было.

http://mine-blog.com

Я считаю, что этого не должно происходить с такой точной вещью, как статистика

Иванов Роман
19 августа 2011, 23:14
8 часов — это со скольки до скольки?

Утром часа 2, днём падал два раза по несколько часов, и вот вечером вместе со всем яндексом, и лежал ещё после того как яндекс стал восстанавливаться. 

Половина статистика в нём за сегодня упущено

Иванов Роман
19 августа 2011, 23:44
Спасибо, будем выяснять, что такое.
Яндекс зависает недели 2 на всех сервисах...и в Ореra и в Explorer. Скорость интернета вполне достаточная. За державу обидно (((((

если чесна, то с разными сервисами такое твоиртся уже почти неделю.

к примеру вчера я-музыка "лежала" до получаса в районе 23х по киеву.

так что отмаз про амстердам, если и правда, – звоночек Я-сервисам: не стоит ложить все яйца в одну крозину!

Расскажете, как класть Интернет-яйца в разные корзины, не используя протоколов маршрутизации для совместной работы корзин?

Не вижу оснований не доверять предоставленным сведениям ("отмаз", "если и правда").

http://inparfum.ru метрика лежит НЕ с момента потери маршрутизации, а гораздо раньше, с самого утра, не восстанавливаясь. Очень неудобно при ведении рк.

Иванов Роман
19 августа 2011, 23:44
Спасибо, будем выяснять, что такое.

ЧТО виноват и КТО делать?! :)

У меня так же, только пару раз таки восстала днём

У меня до сих пор информер метрики показывает нули (хотя в интерфейсе цифры есть), и РСЯ не показывает рекламу на моем сайте :-(

Дорогие администраторы Яндекса! Сделайте, пожалуйста, чтобы реклама совсем не работала!

Енррппоо

Что за глупости? Чушь! Я сижу за компьютером 24/7, :-) и Джаббер с Метрикой работает отлично! Не падает! Я этим каждый день пользуюсь.

Сегодня утром вообще сайт пропадал, джаббер переподключается регулярно, пару раз днём отключался сам счётчик у меня, ну и вечернее падение

Утром? Просто я 12 часов дня начинаю сидеть. :-) Днём не заметил. Ну а вечернее незаметить было невозможно, да. :-)

В 9:00 по Москве проснулся, метрика лежит

не кто не отменял логирование на сервере, и последующий анализ логов любым анализатором (netpromoter, webalaizer, etc)

А еще вчера (и не только вчера, но и неделю назад) wordstat.yandex.ru то работал, то не работал. Ужасный стал...

У меня сегодня как-то не падала, даже удивительно.

Лично у меня таки весь день стоит, всё высчитал, рад цифоркам :)

Да уж.. не веселло когда такие проблеммы. Сайт потерял достаточно много трафика  

 

ОЙ, ДА ЛАДНО, ТРАФФИК ПОТЕРЯЛИ.

Многим это очень важно

Именно. 

LOL!!! если вы не умеете анализировать логи сервера, или не подключили альтернативную статистику наравне с я.метрикой, это не значит что ТРАФИК ПОТЕРЯН :)))

+ для всех статистика это бесплатный бонус к сервисам яндекса. так что если статистика лежала, то вы ничего не вправе требовать с яндекса. точка

Причем там метрика вообще? Вы не знали что поиск Яндекса не работал и люди не могли искать сайты? Я по метрике статистику не смотрю. Головой немного нужно думать и вникать в то что пишут 

метрика последнин дни не точна но пофиг вопрос в другом

А что, кто-то ещё ищет сайты Яндексом?

А чем же ещё?

Угу. 64% всех интернет-пользователей России и стран СНГ ;)

Вячеслав Бачинский
29 августа 2011, 15:42

на Ладах ведь тоже кто-то ездит)) :-D

Александр Ожгибесов
19 августа 2011, 22:13

за последнее несколько часов эта тема стала самой популярной в рунете и навярняка, что эта история войдет в историю. рад, что сервис функционирует.

Хотел бы попросить прокоменнтировать информацию о введении нового алгоритма отсеивания контента

"...эта история войдет в историю."

угу!
еще как войдет! под названием "Амстер-дамский курьоз или Интернет –
тупой!" (в описании этого прецендета будет лежать рассказ о том, как
отважные рабочие боролись с тупым интернетом! ).

советую всем просмотреть видео: "Интернет – тупой!" 

А вы молодцы! Учитывая масштабы сети Яндекса, пробежаться по цепочке роутеров - дело весьма не простое!

А подробнее о священном джихаде против зомбака не напишите?

Профессионально, однажды, может пригодиться.

 

Респект комманде Яндекса, как всегда, все сделали по высшему разряду. )))

Ура) наконец заработал)

Да ладно!

Болел за вас, парни! Круто, что все разрешилось :-) 

 

Отдохните как следует на выходных!

 

Отдохните как следует на выходных!
вероятнее всего кто-то и так в пятницу хороще отдохнул... Амстердам посмотрел... ; )

для yandex это недопустимо, уж лучше ddos атака... сугубо моё мнение

С возвращением! 

Письма нигде не пропали?

У меня всё на месте

Нет, потерь пользовательских данных не было, к счастью. Но какие-то письма могут не дойти до получателей в Яндексе и вернуться с сообщением, что адресат был недоступен - зависит от настроек почтовых серверов отправителей. В норме они должны пытаться перепослать.

Мне всё пришло, например

В подавляющем большинстве случаев так и должно быть. Просто зная, какие бывают кривые настройки, допускаю очень редкие проблемы. Но реально редкие

А деньги во время сбоя не пропали в я-кошльках? (при совпадении передачи данег и сбое)

советую проверить. (жалобы на потерю я-директ трафика уже налицо)

Отлично, яшу подняли, следом опустили почту на mail.ru

root@gw:~# traceroute e.mail.ru
traceroute to e.mail.ru (94.100.184.17), 30 hops max, 60 byte packets
 1  195.5.5.186 (195.5.5.186)  27.828 ms  30.258 ms  31.367 ms
 2  10.80.19.34 (10.80.19.34)  32.910 ms  32.964 ms 10.80.19.26 (10.80.19.26)  33.587 ms
 3  dialup-212.162.26.157.frankfurt1.mik.net (212.162.26.157)  58.551 ms  58.467 ms  60.194 ms
 4  ae-10-10.ebr1.Berlin1.Level3.net (4.69.141.254)  86.111 ms  87.739 ms  86.724 ms
 5  ae-1-100.ebr2.Berlin1.Level3.net (4.69.148.206)  92.615 ms  94.360 ms  93.277 ms
 6  ae-3-3.ebr2.Dusseldorf1.Level3.net (4.69.133.146)  113.116 ms  99.134 ms  93.738 ms
 7  ae-48-48.ebr1.Amsterdam1.Level3.net (4.69.143.209)  94.909 ms ae-46-46.ebr1.Amsterdam1.Level3.net (4.69.143.201)  98.744 ms  100.000 ms
 8  * * *
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * *

Классные тут пацаны

Только не говорите, что у вас Один Главный Дата-центр, и из-за криворукости чего-то или кого-то рухнули все службы разом. Это как же должно было всё быть настроено, чтобы подобное в принципе могло случиться?

Надеюсь, хоть какие-то выводы ваши специалисты из этого извлекут. Выглядело всё это как Epic fail.

Да, и создайте уже на НЕ-Яндекс-ресурсах статус-блог какой-нибудь, чтобы не по слухам узнавать, что там у кого отключили, а из первых рук.

 

Да, и создайте уже на НЕ-Яндекс-ресурсах статус-блог какой-нибудь, чтобы
не по слухам узнавать, что там у кого отключили, а из первых рук.

http://twitter.com/yandex

Ну, тогда уж и учётку на Google+. Логично, как бы.

> Это как же должно было всё быть настроено, чтобы подобное в принципе могло случиться?

Рекомендую ознакомиться с азами BGP. Хоть 100 датацентров, хоть 1000...

С чего вы взяли, что я с азами-то не знаком? Или так, пальцы загнуть изящно заотелось?

Вывод прост - кривой софт , ну и не слишком прямые руки тех, кто такое настраивал. Sapienti sat.

"На кроликах надо внчале проверять".

Сначала добейся (с)

Владимир Иванов
20 августа 2011, 10:40

Нет, никакая информация не пропала. Все данные находятся на своих серверах. Проблема была в том, что из-за неработоспособности сети к ним нельзя было получить доступ какое-то время. Но, повторюсь, сами данные, в том числе и информация о денежных счетах, находятся в целости и сохранности.

Я все равно не понял, почему Яндекс упал

Все очень просто. У Яндекса, как и у любой другой крупной организации, есть внутресеть. В эту самую внутресеть, в таблицы с маршрутами OSPF просочились таблицы BGP. BGP значительно больше, чем размер таблицы и памяти под OSPF - как следствие, мега-таблица расползлась по остальным роутерам и завесила их и снезошел ФАКАП.

Понял? :) Я понял так. :)

Скорей всего он не понял))

Да понял-понял. А такое продолжительное падение в истории компании уже было или нет?

Пользуюсь Яндексом с 1997 года. Не припомню таких падений.

20 августа, 01:37 

говорит:

Пользуюсь Яндексом с 1997 года. Не припомню таких падений.

ответ знатоков:

http://lenta.ru/internet/2004/11/12/yandex/

очко телезрителей!

В 2008 было подобное, но другой продолжительности, по другой причине и с другими причинами.

вот это лол, я скорее поверю что ошибка была в головном мозге сетевого
администратора, который написал redistribute bgp, чем в програмном
обеспечении рутера :)

Ну вот и я думаю, что админ ошибся при составлении конфигурации маршрутизатора. :))

Читай внимательнее

А я давно забросил Яндекс ибо они по своей веской причине сайты в стоп-лист запихали. Гугл рулит. Никаких стоп-листов.

А у меня вообще конструктор сайтов показывает ошибку 404! Сайт находиться на народе, а изменить содержимое без конструктора на нём нельзя! Что это? Держите ответ.

Сейчас не работает "Народ", a так через FTP - http://help.yandex.ru/narod/?id=1112763 ?

к сожалению гуг не рулит, а тормозит, но великий Я доказал что не торможение (разгон) может привести к скольжению (не вписались в поворот) :(

Это двухгодичной давности, и ниодного моего сайта с такой бякой нету ибо чист от всего. А Яндекс запихал пару тройку в стоп-лист мотивируя тем что контент не предотсавляет интереса для пользователей. Они что там решают сами кому что интересно?

И мне не понятен ажиотажный подъём трафика с Рамблера... У них же так же яшина выдача...

А чего тут понимать? Мобильные Я.Карты тоже упали. Надо было как-то оценить траффик, вот и пошли смотреть на РамблерКартах. И я пошел. Но толку от этого было ноль. Кусок пробок, нужный мне, Рамблер так и не загрузил. ИМХО

Ну про пробки мы тоже на работе подумали и даже попытались посмотреть ))) Так что разъехались без оценки ситуации на дорогах...

во-во. :) и у меня так же было.

а еще пока все висело я раз пять открывала яндекс по привычке, хотя сразу было понятно, что не отвиснет отно быстро...

а еще на мейл. товары заходила.

всем перепало.

Ага :) Из этого делаем вывод - обрушение Яндекса спланированно и проведено при подержке Майл.Ру и Ремблера :) чтобы траффик себе поднять

Почему рамблер а не гугль? Вполне себе неплохо ситуацию по пробкам дает. Тындекс вот в послднее время сдал с точностью...

Гугл я смотрел. Просто у Яндекса инфа идет от пользователей водителей, а у остальных как? ИМХО Яндекс способ самый надежный для информирования. Это же миллионы информационных терминалов, передвигающихся по дорогам.

На Андроидах Google Maps даже в фоне сообщают своё местоположение. 

Не все знают о том что Рамблер берёт выдачу Яши.

Я зафиксировал проблемы с рерурсными записями DNS в 15-24-19  19-08-2011,  была бы возможность оперативно  вас оповестить обязательно это сделал, но такая возможность к сожалению не предусмотрена.

Кстати, очень полезная тема - дать вашим коллегам [по цеху] возможность оперативно сообщать о каких-либо проблемах, связанных с Яндексом.

обо всех сетевых проблемах можно традиционно писать на специально предназначенный для этого ролевой адрес noc@yandex.net

а до сегодняшнего дня этот адрес был где вывешен? или же про него знали только сотрудники Яндекса... и то не думаю что все

Владимир Иванов
20 августа 2011, 13:26

В whois.

% whois yandex.ru
% By submitting a query to RIPN's Whois Service
% you agree to abide by the following terms of use:
% http://www.ripn.net/about/servpol.html#3.2 (in Russian)
% http://www.ripn.net/about/en/servpol.html#3.2 (in English).

domain:     YANDEX.RU
nserver:    ns1.yandex.ru. 213.180.193.1
nserver:    ns2.yandex.ru. 213.180.199.34
nserver:    ns4.yandex.ru. 77.88.19.60
nserver:    ns5.yandex.ru. 213.180.204.1
state:      REGISTERED, DELEGATED, VERIFIED
org:        YANDEX, LLC.
phone:      +7 495 7397000
fax-no:     +7 495 7397070
e-mail:     noc@yandex.net
registrar:  RU-CENTER-REG-RIPN
created:    1997.09.23
paid-till:  2011.10.01
source:     TCI

Last updated on 2011.08.20 13:23:42 MSK/MSD

 

неочевидно :) мало ли кто этот ящик смотрит и как частно

этот ящик смотрят много раз на дню

и не один человек

Если не очевидно, то вы не коллега по цеху, однозначно.

У меня так из Питера вообще спокойно удалось позвонить и узнать о проблемах по первому же номеру.

лично у меня вся информация скрыта, а почтовый ящик не является гарантированным мгновенным средством оповещения - для этого есть телефон

 

Но я рад, что в Яндексе это не так


Интересно, каким образом у вас вся информация скрыта, если поля email и phone в RIPE DB являются обязательными для всех обьектов AS.

 

Total Private Person

Услуга позволяет скрыть ФИО (только для физических лиц), контактный e-mail и телефон администратора.

 

А что у вас все DNS серверы находятся в одном и том же датацентре?

У гугла - они в 3 разных и есть DNS RR

А у вас нет?

 

Владимир Иванов
20 августа 2011, 23:03

Наши DNS серверы находятся в разных датацентрах.

Тогда каждый дата-центр должен быть по идее полностью автономен и функционировать даже если все остальные дата-центры оказались отрезанными или выключенными.

При правильно спроектированной сети, проблема в одном дата-центре, не должна никак повлиять на другие - в это весь смысл дата-центров.

Получается что в яндексе сеть не сегментирована раз такое получилось?

 

Владимир Иванов
21 августа 2011, 16:01

Каждый датацентр полностью автономен и отключение любого из них не влияет на доступность сервисов Яндекса.

Что касается причин потери связанности, то они подробно описаны в посте.

Господа, вы бы сделали, в самом деле, статусный ресурс (не на ваших хостинговых площадках и не в виде ленты в Твиттерах), где публиковали бы текущую ситуацию и контактные данные.

WHOIS данные придут в голову не то чтобы в последнюю очередь, но не в первую.

Спасибо, мы про это думаем.

А можно поподробнее про дата-центр в Амстердаме? :)

Очень интересно посмотреть на фотки оттуда, где он там находится, принимает ли русских гостей-туристов, проводит ли экскурсии? :)

whois и 2ip тоже упали? нет? ну так действуй

если там все работает как яндекс поиск, то вы только лифта там часа 3 ждать будете, а потом приедет не лифт, а, например, шифоньер )))

:))))

А вообще, для Амстердама вполне нормально уехать и в шифоньере :)

А мы думали вас майкрософт купил!

СкаЕп пока не поломали. лол

а зачем вам сервер в Европе?

А у нас обмен российским трафиком разве не через Амстердам происходит?

http://ru.wikipedia.org/wiki/%D0%9F%D0%B8%D1%80%D0%B8%D0%BD%D0%B3%D0%BE%D0%B2%D1%8B%D0%B5_%D0%B2%D0%BE%D0%B9%D0%BD%D1%8B

Владимир Иванов
20 августа 2011, 01:23

Для улучшения взяимодействия с мировым интернетом.

Кстати, думаю вам стоит написать отдельным постом подробные мануалы как подключать все ваши виджеты (в том числе блок кнопок Поделиться и прочее) так чтобы сайты без них не переставали грузиться. Это будет честно по отношению к владельцам сайтов.

ЗЫ. У вас ведь это уже не первое падение из-за проблем с маршрутизацией? Странно, что выводы не делаются.

+1

 

двачую и реквестирую топик в корпоративном блоге

Спасибо за объяснение. Будет чем перед начальством оправдываться куче админов и веб-мастеров, у которых на сайтах были (в т.ч. неграмотно) установлены яндекс-продукты :)

Держитесь, вы молодцы, и Яндекс мне лично импонирует гораздо более серого Гугла.

Народу с разных сторонних ресурсов: не злорадствуйте над проблемами... У всех бывают неприятности, главное - все решилось.

 

Яндекс мне лично импонирует гораздо более серого Гугла.
Народу с разных сторонних ресурсов: не злорадствуйте над проблемами... У всех бывают неприятности, главное - все решилось.

Блаженны ..., ибо ваше Царство Божие.

источник цитаты ищите сами:)

да никто и не злорадствует. всяко бывает: и секретарша иногда ДОГОВОР ГОДА помадой обмалюет и собака домашнее задание вместе с дневником съест! ;)

Просто откуда такая ненависть к НАШЕЙ компании (и пусть сервера в Амстердаме, и IPO всякие там международные - она все равно наша) за, пусть даже, серьезную, и пусть даже закономерную ошибку. Вот скажите, а?

Надеюсь больше такого не будет

А зачем редистрибутить из BGP в OSPF ;)?

Видимо, так случайно получилось. Попробуй найти концы...

Ну да. "Мы его не проковыривали, он сам прохудилься!" (С) Айболит-66

 

Ну да. "Мы его не проковыривали, он сам прохудилься!" (С) Айболит-66

ГА-ГА-ГА

реально! именно так надо было Януксу ответсвтовать перед публикой!

Владимир Иванов
20 августа 2011, 01:26

Что бы наружу отдавать сервисы оптимальным маршрутом.

 

Что бы наружу отдавать сервисы оптимальным маршрутом.
по словянски? через ... амстердам? ;)

Есть такая штука как пиринговые войны и тогда трафик начинает бегать через AMS-IX и прочие заграницы. Плюс минимизация расходов, проще стать поближе к разнообразным IX и практически ничего не платить аплинку за приведенный трафик. Яндекс включен в MSK-IX, недавно, весной этого года появился и на белорусской точке обмена трафиком.

  4    15 ms    15 ms    14 ms  c7604-bgw.telecom.by [213.184.225.17]
  5    17 ms    16 ms    17 ms  195.137.180.67
  6    29 ms    28 ms    28 ms  sepia-vlan817.yandex.net [213.180.208.190]
  7    29 ms    31 ms    29 ms  carmine-red-vlan602.yandex.net [87.250.242.206]

  8    30 ms    29 ms    28 ms  l3-s600-s2190.yandex.net [213.180.213.37]
  9    34 ms    30 ms    29 ms  l3-s3600-s600.yandex.net [213.180.213.53]
 10   268 ms    70 ms    29 ms  mail.yandex.ru [87.250.251.25]

Вы меня улыбаете :). Для обеспечения внутренней связанности (анонсы лупбэков) достаточно OSPF, далее если хочется оптимального распределения трафика то можно уже и iBGP запустить ;) с небольшими нюансами.

Ах, амстердамские админы)

А я уж было на провайдера грешил.

ну и хорошо, что всё заработало! :-)

Поздравляю с окончанием шухера.

P.S. http://www.cisco.com/en/US/docs/ios/12_0s/feature/guide/fsoredis.html ;)

 

P.P.S. Возьмите уже и меня на работу, а. :)

Владимир Иванов
20 августа 2011, 01:27

Мы всегда рады хорошим специалистам. Пожалуйста, заполните анкету на http://company.yandex.ru/job/vacancies/network_engineer.xml.


Заполнил, отправил, получил ответ. Ваш "Ведущий специалист по подбору персонала" Анна Маркова уже во второй раз почему-то считает, что моего шестилетнего опыта сетевого и системного администрирования в ISP недостаточно для любых вакансий Яндекса.

Я был бы признателен за контакты кого-то несколько более вменяемого и уделить мне хотя бы 10 минут разговора с техническим составом по телефону/скайпу/аське/любым другим удобным для вас способом.

 

Юсупов Денис, yusdyr@gmail.com

 

без яндекса и его сервисов как без рук..

Привет! Это точно. Я себе места не мог найте когда он потерялся.

нуууу..... и ногами тоже иногда тожде нужно ходить. не все же руками делать ;)

Ребят в новостях раструбили что все Ok, восстановили, а вот бы как бы не так :(

Во-входящих лежит письмо "со скрепкой"  (c вложением) от партнера по бизнесу, посланное в этот самый период.

Письмо то дошло, и скрепка на нем что вложение есть стоит, а вложения то самого в письме нет (или не кажет просто)...

 

Так что походу потерь пользовательских  данных  избежать не удалось...

Да и размер письма показывает 23kb, там файлик должен быть быть с одной страничкой Excel... Только не показывает его, не могу прочитать, а нужно ка обычно срочно...

А Ты осмотрел всё??? Внизу письма нету вложения???

Да ниже уж некуда, уже и под монитором проверял, ща еще под стол залезу :-)

Не точно нету, т.е. по всем параметрам оно там значится, но его не показывает, я так подозреваю что вложения вероятно отдельно от текста писем сохраняются в другую БД и видимо что то там не срослось...

 

 

хахахахаха Напиши другу пусть отправить повторно, или в Яндекс напиши пусть покопают. Может приедут и в системнику найдут.:-)

Да бесполезно это.. У меня полгода в ящике поиск по письмам не работал... Так тех. поддержка тупо разводила руками, говорила что проблема известная и когда-нибудь она разрешится... С тех пор почти всю почту на gmail перевел, но один вот ящик тут остался, слишком много на него народу было завязано,половину которого я боюсь не вспомню, а могут написать :)

Мега компаниям к сожалению наплевать на проблемы конкретного пользователя :(  Если конечно он не в Кремле или Белом доме сидит :)

ХАХАХААХ Это точно. они сразу очкуют.

 

Мега компаниям к сожалению наплевать на проблемы конкретного пользователя

угу. это точно :( причем мегаЯ не одинок. тому же гугу тоже не особо до юзверей.

мой совет: купите у ближайшего провайдера услуги по нэту и на его шаровый ящик перенаправьте свою почту со всех мега-шаровиков. вдруг подобный сбой произойдет у провайдера, – хоть ест кого за манишку подержать! :) ну, на крайняк приехать к ним в офес и свинтить хард с данными на котрых есть ваши данные :)

Да жалко, вот так говняшка получилась:-( А на гогле нет случайно тип синхронизации почт??? Если есть синхронизируй пусть с Яндекса гогл высмокчит(так сказать) письма и людей кто писал. Или им напиши может помогут как то перенести данные на ту посту. Хотя врядли это им человека терять. А хотя что там им один человек им наверное и 100 человек потерять это не чего 5коп всего. Если они Это цитата с 5-го канала(сайта)

Прибуток компанії-власника "Яндекса" торік перевищив сто тридцять мільйонів доларів.

На гугле есть синхронизация почты с мобильными устройствами. Как с десктопами дела обстоят, я ХЗ. Меня на десктопе устраивает веб-интерфейс Гьэйла. Хотя, если что случится с Гмэйлом, то почта будет, как в ситуации с Яндексом, недоступна...

Сделай автоматический форвард в Гугль.

Уверяю вас, что кусок письма не мог потеряться или модифицироваться - так устроена система. Посмотрите исходное письма (в меню дополнительно), посмотрите на размер письма (в списке писем). Уверен, просто вам не то прислали.

 

Уверяю вас, что кусок письма не мог потеряться или модифицироваться - так устроена система

спросите у програмистов. или у людей, которые по почте пытались пересылать большие файлы в формате *.eps (это тоже в своей сути как и письма – текстовый, хотя и большой, файл).

в общем, спросите: "можно ли потерять часть данных при пересылке електронного письма, или другого онлайн запроса?" и вам ответят: " вы наверное забыли времена дайлапа! когда терялось много гигабайтов инфы по всему миру, но при этом письма или их заголовки доходили адресату!" ;)

Интересно откуда Вам знать КАК устроена система ? Я руководитель отдела администраторов с 20 летним стажем в IT и то слабо себе представляю как устроена внутри Яндекс.Почта.

 

А проблема с письмами как была так и осталась. И сегодня приходящие письма с вложениями все их не показывают.

Размеры писем большие, система показывает что письма с вложениями, но внутри их нет...

Интересно откуда Вам знать КАК устроена система ?

http://aaz.moikrug.ru/

Гы, недогадался посмотреть профиль. Ну тогда Антону и флаг в руки, вместо того чтобы писать тут на форуме что и чего быть не может, потому что "так устроена система", посмотрели бы конкретно в моем ящике, что с сообщениями не так, глядишь одной багой в системе стало бы меньше...

 

Кстати при пересылке этого сообщения размеров в 10-ки килобайт помеченного как с вложением во внешний мир , оно пересылается уже как без вложения и размер обычного текстового письма...

 

Временно попросил партнеров слать письма c вложениями на другой сервер - там проблем нет :)

 

 

 

я так подозреваю что вложения вероятно отдельно от текста писем сохраняются
в амстердаме!

 

а вложения то самого в письме нет (или не кажет просто)...

А деньги во время сбоя не пропали в я-кошльках? (при совпадении передачи данег и сбое)

Одного извинения мало.
Просто недопустимая ситуация для компании, которая вообще на что-то смеет претендовать.
Метрика, как писали выше, глючит постоянно. А Google Analytics, как и остальные сервисы Google, работают ВСЕГДА.
Стабильность(!!!) - признак класса.

 

А Google Analytics, как и остальные сервисы Google, работают ВСЕГДА.

 

 

это неправда.

Угу... Это мне напомнило видео на Ютьюбе "62 автобус ходит всегда Bus 62 runs always" ))) http://www.youtube.com/watch?v=xPyUSpKvc80

Когда это гугль лежал? Чета не припомню...

gmail падал в сентябре 2009 на прилично долгий срок для большого числа пользователей. Ну и были более мелкие проблемы.

Для большинства пользователей и один сервис.

Когда гугль падал целиком и для всех? ;)

Вы, собственно, с чем спорите? Прочитайте внимательно, какое утверждение креведко выше назвал неправдой. Это действительно неправда, и я привел пример, почему.

 

как и остальные сервисы Google, работают ВСЕГДА.

у гуга есть куча дата центров, не только в амстердаме.

я не поклоник гуга. особенно не поклонник их идеи "облаков". как только я услышал о идее "облаков" с разными отзывами. что типа это круто иметь на шаровом сервисе все данные, я сразу же описал вариант проблемы, которую гуг, пока, как-то миновал, но вот "Я" (о котором я и не мог такое подумать) вступил в ситуацию, которая очеь напомнила то, что я пропрочил гугу :(

я не нострадамус, просто иногда задумываюсь.

кто отредистрибутил? :) это руками надо сделать :) 

 

 

кто отредистрибутил? это руками надо сделать
Яндекс так не думет! или хотит, чтобы мы так думали :)

"Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации."

Как всегда человеческий фактор? )))

Чернобыль в свое время тоже из-за ошибки просто не выдержал нагрузки.

 

Чернобыль в свое время тоже из-за ошибки просто не выдержал нагрузки.

Драсьте! почитайте отчеты о произошедшем! какой человеческий фактор, кода меньшие чины говорили: "не стоит! еще не оттестировано!", а высшие чины сказали:  "Надо к очередной дате!"

подобное – не человеческий фактор!

Чисто теоретически "ошибка программного обеспечения" могла быть вызвана внешними факторами? 

Как маршрутизатор работал-работал и поломался? Не бывает такого.

 

Чисто теоретически "ошибка программного обеспечения" могла быть вызвана внешними факторами? 

Как маршрутизатор работал-работал и поломался? Не бывает такого.

скажем больше: ошибка одного дата центра не имеет права влиять на работу всей системы! это прекрассно зают буржуины. мы, совки, часто об этом забываем и надеемся на словянский  авось ((((

Ваши администраторы — большие молодцы! Умеют очень быстро думать и решать сложные задачи в короткое время.

 

Ваши администраторы — большие молодцы! Умеют очень быстро думать и решать сложные задачи в короткое время.
для подобных мега организаций сбой в 15 минут – это потеря милионов долларов (аудитория, реклама, соц-сети...)

"исправление" ошибки за несколько часов... ну.. мож и молодцы что хоть разобрались. что достаточно в амстердаме пропасть электричеству (не говоря уже об ошибках в маршрутизаторах) и все сервисы яндекса могут ваще исчезнуть из истории :(

Если пропадет электричество в парочке ДЦ - ничего не случится. 

Из-за ошибки, указанной выше, пострадали все ДЦ разом. 

это конечно фэйл для яндекса.

просто восстановить всю маршрутизацию внутрия яндекса за 4 часа — это круто, я думаю.

Вы совершенно не умеете читать!

Если отключится электричестов в ДЦ Амстердама - никакие сервисы не исчезнут!

ПС: и не нужно считать чужие деньги! считайте свои!

В кругах специалистов хотят слухи, что Яндекс действительно умер. Аркадий Волож и Илья Сегалович не решаются сообщить о трагедии интернет-сообществу. Сейчас вместо Яндекса работает, по всей видимости, наскоро сделанная фальшивка. От наc, как обычно, скрывают правду.

Ага, а может вообще всё фальшивка, и мы в матрице )))). Люблю такие коменты ).

Да Яшка сосёт по полной. Сервиса никакого, естественно что их акции все глубже и глубже в задницу уходят. Для западных инвесторов качество сервиса - это главный показатель устойчивого бизнеса, а Яша всех людей за говно считает. Смерть Яшке!! - все дружно на Гошу переходите. Пусть эти хренососы московско-галандские сами себя индексируют.

Когда что-то перестает работать, культурные люди ставят табличку "Извините, учет", "Ушел на обед", "Объезд: ведуться ремонтные работы".

Неужели нельзя было поставить сервак с такой заглушкой и переключить поток на него, пока восстанавливалась остальная сеть?

Вы что??? Этож о людях думать нужно!!! Нее яндексоска на такое не способен))

Зачем ставить сервак какой-то? Редирект на Гугл и всего делов.

)))))) это точно 301-й

ППЦ,  в мемориз! Однозначно!

Вы что??? Этож о людях думать нужно!!! Нее яндексоска на такое не способен))

 

— Вы молодцы, — говорю я. — Это очень здорово, что Храм построен. Где вы его поставили?

— В размазанном пространстве.

— Что?

— Ты совсем не в курсе? — Дик вздыхает. Достаёт пачку сигарет, закуривает. Либо у него статус выше, чем у Маньяка, либо хозяева «Лабиринта» не такие идиоты, как владельцы «Virtual guns». — Это ведь планировалось совсем особым проектом, Леонид…

— И что с того?

— Храм должен был быть вечным. Как сама глубина. А значит, не зависеть ни от одного сервера. Создающие Храм программы свободно блуждают по сети, их фрагменты дублируются, рекомбинируются, самостоятельно организуются для работы. Чтобы Храм исчез, надо уничтожить все машины в сети. Точнее, более девяноста трёх процентов, на нынешний момент.

Сергей Лукьяненко, «Фальшивые зеркала»

Почувствуйте разницу между 93 проц всех компов и 1 центром в Амстердаме -  децентрализация - чтобы системы связи работали даже в случае ядерной войны - вот был смысл проектов DARPA и после Интернета.

Я бы на месте Яндекса свалил бы всё на злобных хацкеров, охотящихся за персональными данными. Но не говорил бы, что система настолько неустойчива, что достаточно на одну точку надавить и всё рухнет.

И только после этого Я бы делал выводы.

До августа сего года, небыло НЕ ЕДИНОГО РАЗРЫВА!!!

В Гугле добавилась новая подсказка "Яндекс упал". Раньше такой вроде не замечал :)



http://www.google.ru/#sclient=psy&hl=ru&newwindow=1&source=hp&q=яндекс+упал&aq=3z&aqi=g3g-z1g1&aql=&oq=&pbx=1&bav=on.2,or.r_gc.r_pw.&fp=c3c3ccf987800bda&biw=1195&bih=823

Ваше заявление с описанием ошибки для меня равноценно:

"Два мощных проявления солнечной активности произошли в одном и том же районе светила с интервалом в сутки. Оба коронарных выброса массы принадлежат к классам I, магнитные бури на Земле поалекли остановку поисковой системы Yandex. Капиталистическая поисковая система google, избежала данной

участи т.к. работала ночью."

мне интерессно, а сам сервис Яндекс в подобное оправдание верит?

Странно.. все пишут о том, что ВСЕ сервисы Я упали, а я на Я.Деньгах наблюдала таблицу с курсом... правда график не подгружался, но таблица-то бала..

 
а я на Я.Деньгах наблюдала таблицу с курсом... правда график не подгружался, но таблица-то бала..

ctrl+F5 и даже таблицы бы не увидели ))))

интересно, а к "месту сбоя" в Амстердаме устроят эксурсии?

типа панорамы "обороны севастополя 1854-1855 гг" )))) с детальным описанием местоположения всех "спасаелей" во время нахождения "заветной неработающей и перегруженной платы")))

в день падения яндекса:

 

http://www.artlebedev.ru/photo/2011/08/19/

мне кацца Тьома и Рома были в курсе про "амстердаму" :)

Вместе с этим стали недоступны оба DNS-сервера (dns1.yandex.ru и dns2.yandex.ru), которые обслуживают доменные имена клиентов pdd.yandex.ru. Из-за этого стало недоступно множество сайтов, которые доверили свои имена вам. Считаю, что вторичный DNS-сервер должен быть каким-то образом обособлен, ибо потенциальная возможность падения сразу обоих серверов (что и случилось) - это очень плохо

Игорь Белоусов
20 августа 2011, 14:53

во-во

у меня порядка 20 доменов на ПДД - хорошо хоть переписка не слишком интенсивная. а вообще это повод задуматься.

Представляю то сделали бы с Google (в финансовом плане) если бы его Apps for Domain (платный) так накрылся

Ребята, СПАСБО, что вы у нас есть и продолжаете работать не смотря на трудности. А преодоление трудностей - это путь к успеху и подтверждение тому все ваши новинки и улутшения!

Не знаю у кого что не работало, а вот если действительно нужно было чтото найти поисковая машина Яндекса работала,  через запрос  http://yandex.ru/yandsearch?text=СЛОВО , выдавало все отлично, ну может с 2-3 сек задержкой.  Может быть на работу всей сети также повлияли технические работы у транспортных операторов на усачтках Вена-Франкфурт и Амстердам - Стокгольм, по данным РЕТН.

Я не получил ответа, почему произошла диверсия против человечества! Из за какой ошибки и кто виноват?Почему мало памяти?

Сегодня че то тоже сервисы тормозят к примеру почта

"Внутренняя ошибка Паспорта. Попробуйте через некоторое время повторить свои действия еще раз, скорее всего, у вас все получится без проблем....":-)

Сегодня с утра сервисы то же тормозят , к примеру почта

"Внутренняя ошибка Паспорта.

Попробуйте через некоторое время повторить свои действия еще раз, скорее всего, у вас все получится без проблем..."
А почту так до сих пор и не починили, которая гораздо раньше перестала нормально функционировать. Например, не работает функция удаления в папках, если там много писем.

Судя по всему, приоритет номер один у вас на ближайшие две недели - out of band management :) По крайней мере, у нас было именно так :))

Когда такие ресурсы ложатся мысли апокалиптические в голову лезут, думаешь - ну все, началось.
Я конечно далек от постижения сущности протоколов OSPF и BGP, но тот факт, что все может вот так в одночасье перестать работать расстраивает.

Люди добрые! Почему так много уничижительных претензий? Что случилось? Вам перекрыли кислород? Выставили без одежды на мороз? Создали еще какую-то угрозу Вашей жизни?
Сбои и аварии были и будут, не ломается только то, что не работает.
Сидеть на спине и ворчать: что-то они там долго возятся - просто неприлично.

Я рад, что Вам понравилось ;). Но, увы, не мое :(. Цитата.

Не могу третий день загрузить фотки на ЯФ_горит красная полоса!Помогите!

Ну и бред. У Вас там реально память кончилась :))))))))))

Зато, я в действительности понял как, я от вас завишу и все мои абоненты..это ппц...(почта,деньги и много другое)

Привет, ivlad!

т.е. у вас в IGP загрузилось FULL-VIEW, а причем тут ошибка софта? 

а где произошла редистрибьюция из BGP в OSPF, в Астердаме? Какой софт  и какая железка там установлена?

Удалённый пользователь
20 августа 2011, 12:27
Я два года как зарегистрилована на яндексе, использую почту, карты с пробками, джаббер, фотки, я.ру, погоду, маркет. За все это время я ни разу не столкнулась с проблемами, связанными с неполадками в самом яндексе. Только вчера карты прогружались ооочень медленно. И все. Вы делаете замечательные сервисы, ребята, функциональные, милые по дизайну и с кучей приятных мелочей. Без вас интернет серфинг не был бы таким удобным и приятным, ведь интерфейсы гугла по сравнению с вашими - это просто некрасивая путанница. Спасибо :-)

интересно, а того, кто сказал "router ospf 1

redistribute bgp" уже уволили или еще нет? :)

вообще я через годика полтора обязательно пойду к вам сетевиком, я сейчас как раз в провайдере работаю :)

З.Ы. ivlad, ты jabber на malpaso потушил уже? :)

я был неправ касаемо оценки происходящей ситуации, поэтому хотел бы извиниться перед всеми, кого прямо или косвенно обидел.

так или иначе, но ошибки случаются у всех.

извините.

Владимир, а можно ID бага, если он заведен? При каких условиях он возникает, и на каких железках?

Владимир Иванов
20 августа 2011, 13:47

Как только мы полностью будем понимать причины и ход развития проблемы, мы постараемся опубликовать детальный отчет для всех заинтересованных специалистов.

Благодарю, жду с нетерпением, слегка побаиваюсь за свою инфраструктуру :)

До сих пор невозможно войти в полную версию Я.ру, только в мобильную, когда же все наладят???
Владимир Иванов
20 августа 2011, 13:37

Я сейчас пишу Вам ответ из полной версии Я.ру. Возможно, сложности существуюь только для Вашего провайдера? Пожалуйста, опишите детально проблему в форме службы поддержки Яндекса.

Спасибо, вроде все наладилось, тьфу, тьфу, тьфу...))

Так 'redistribute maximum-prefix X withdraw' же ! 

В интернете уже столько уток про яндекс запустили!
И пожар и потоп, и чего только нет)

Здравствуйте всем! Делайте выводы. Надо иметь эл.почты как на Яндексе, так и у его конкурентов

 И ещк. Во всём есть положительное.

 Вам дали возможность отдознуть от компа.

Ильин Артём
21 августа 2011, 11:26
Вот что мне в Яндексе нравится, так это то, что они не оставят в неведении пользователей и расскажут, что и как. Другие бы промолчали, конечно. Открытая компания, что тут сказать. :)

А я-то думал модем накрылся:) Пришлось зайти на Гугл и Майл.ру

1) Исправляя ошибку в "дата-центре в Амстердаме", ошбика на других маршрутизаторах сама исправилась, или тут стоит одному ошибиться и она будет разрасатьаться пока не исправишь все сразу, и по этому вы разбили сети на сектора....

2) Как оперативно вы планируете принять решения что бы больше такое не повторялось и что конкретно вы думаете предпринять?!

Интересно, ПО на маршрутизаторе настолько интеллектуально, что само поменяло таблицы?)) Причём сделало это настолько красиво и просто, что просто диву даёшься).

Что за бред написали? Как BGP маршрут мог попасть в OSPF. Чего вы людей дурите? Так бы и написали, что ваш администратор допустил ошибку при настройке нового маршрутизатора...

Читать до полного просвещения про понятие redistribute.

Читать до полного просвящения про понятие Unable to Redistribute iBGP Learnt Routes into an IGP such as EIGRP, OSPF 

Да вы что, правда, чо ли? А мужики-то и не знают. Не говоря уж о том, что про iBGP вообще никто не говорил.

Спасибо, что рассказали о проблеме. :-)

 

 

Тут много предложений переходить с Яндекса на Google, и я за то, что бы попробовать все варианты и выбрать тот, что больше подходит.

У меня есть:  Gmail.com, Mail.ru, Hotmail.com, но Яндекс мне ближе и понятнее, так что все почты собираю на Яндексе. И ошибки это хорошо, и ещё лучше их исправление, чем дороже цена ошибки, тем больше в ней смысла, главное исправить )

 

А вообще предлагаю всем существующим сервисам создавать пробный акаун, чтоб каждый мог зайти понажимать на кнопочки, понять, нужно ли ему это.

 

Вот.

 

 

Сергей Погудин
26 августа 2011, 15:02

Неординарная ситуация. Обидно что и помимо яндекса перестали работать сайты у которых DNS захостины на pdd.yandex.ru

А виноватые-то наказаны? :)

alex.sergushkin
20 мая 2012, 15:58

что с Яндексом вообще происходит??? вчера и сегодня с яндекса муз-вид скачать не могу только 10 материалов скачал, из-за этой Х ((Внутренняя ошибка сервиса.)):-(

А где Блоги, уважаемые?..
не работает!!!
podsonnaya.ekaterina
20 февраля 2015, 09:46
сейчас не работает яндекс почта!!!!!