Как планы действий помогают нам работать с аварийными ситуациями в критических системах

У билайна есть разношерстный парк Unix-серверов: это AIX, Solaris, где-то есть даже HPUX на итаниуме. Они достаточно надежны, но так как они начали эксплуатироваться давно, вероятность их выхода из строя по мере расходования запаса надежности увеличивается. Часто на таких серверах работают критичные программные продукты, а данные с них хранятся на системах хранения данных (СХД), которые тоже не молодеют. Сервера питаются электричеством, которое, хотя и резервируется, иногда может дать нестандартный вольтаж, определив который системы защиты обесточат оборудование. Еще возможен внезапный глюк системного софта, например, дисковой подсистемы. В общем, мы знаем, что если что-то может пойти не так, оно обязательно когда-нибудь так сделает. Для таких случаев у нас есть планы действий в аварийных ситуациях, которые значительно отличаются от типичного плана из интернета. В этой статье расскажу, как мы их разработали и какие корректирующие действия предусмотрены в аварийно-восстановительных работах (АВР).

https://habr.com/ru/companies/beeline_tech/articles/891362/

#аварии #схд #аварийное_восстановление

Мы были такими зажравшимися, что 2019-й казался нам почти кризисным

Уже в 2020-м началась дичь, которая не кончается до сих пор. Казалось, надо чуть потерпеть, долго моргнуть — и всё пройдёт. Не прошло. Поскольку это продолжается уже 4 года, пора учиться жить в этом мире и строить в нём уютный домик из того, что есть. Мы выжили (по крайней мере, пока), хорошо расширились с 9 до 15 ЦОДов, запустили свой спутник (сразу сломанный) и сделали много других странных вещей, даже успели развернуть свой сервер на Северном полюсе (на 4 часа). Если трезво задуматься, это были в целом удачные годы. Ладно, нормальные. Ладно, странные. Мы узнали, что нельзя доверять крупным брендам, что вершина ИБ — чтобы про вас хотя бы не рассказывали в телевизоре, что наши же крупные аварии приводят клиентов. Узнали, что поддержка — лучшие разработчики, потому что они не любят повторяющиеся инциденты. И много другого нового, например, что SLA на бесперебойную работу просто конски сложно обеспечивать — это если считать честно. Как выяснилось, честно считают немногие и обычно в этот SLA не входит сеть. То есть если ЦОД включён, но без связи, это считается за нормальную работу. В общем, сейчас расскажу несколько недокументированных фич бизнеса в России за эти 4 странных года.

https://habr.com/ru/companies/ruvds/articles/814069/

#ruvds_статьи #ЦОД #управление #итоги #аварии #продукт

✈️Чаще, чем раз в день: за 12 декабрьских дней в России произошло 15 поломок самолетов, пишет (https://t.me/moscowtimes_ru/17652) The Moscow Times.

Аварийные посадки или сильные задержки вылетов чаще всего происходят из-за возгораний/неисправностей в двигателях, проблем с шасси и сбоев в электронике.

Например, 11 декабря рейс рейс Москва — Ханты-Мансийск с радиоактивными веществами и 104 пассажирами сел во Внуково из-за неисправности шасси.

На фото: пассажиры рейса Минеральные Воды — Петербург плачут и молятся из-за разгерметизации после взлета. Самолет благополучно вернулся в аэропорт вылета.

1. #Авиация
2. #Самолеты
3. #Аварии
4. #БезопасностьПолетов
5. #МосковТаймс
6. #Поломки
7. #Внуково
8. #Рейс
9. #ХантыМансийск
10. #Двигатель
11. #Шасси
12. #Электроника
13. #РадиоактивныеВещества
14. #МинеральныеВоды
15. #СанктПетербург
16. #Разгерметизация
17. #Безопасность
18. #Авиабезопасность
19. #Пассажиры
20. #ЭкстренныеПосадки
21. #Авиановости
22. #СбоиВТехнике
23. #СитуацияВАвиации

https://matrix.to/#/!SdDVVQOhxZPyWwEgOY:matrix.org/$vGmar1I5yEvIGSgZTL24Fiap77K5NdbBAtIm9uYzBeQ?via=matrix.org&via=t2bot.io

Вы будете смеяться, но ещё один 737 чуть было не пизданулся. eadaily.com

при Клинтоне такой хуйни не было.