Как я провел День Системного Администратора

Коллега

Тема поста отличается от того, что люди привыкли читать у меня в блоге, но уж очень хочется поделиться тем, как именно я "отпраздновал".


Каждый год в последнюю пятницу июля мы с друзьями ходим в баню отмечается День Системного Администратора. И хотя моя теперешняя должность называется несколько иначе (да и тип/объем работ тоже отличается), праздник имеет ко мне самое непосредственное отношение.

К сожалению, в Польше этот праздник не сильно популярен, но, обычно, я стараюсь популяризировать его среди своих коллег и знакомых. Обычно это удается... но в этом году праздник вышел особенный.

Дальнейший текст будет более близок к пониманию для людей, работающих с ИТ. Однако, остальные тоже могут прочувствовать всю "драму" :).



День не предвещал ничего плохого. Была теплая летняя погода, и я довольно резво прикатил на работу на велосипеде. Первое, что меня расстроило – в офисе не было электричества. Но расстроил меня не тот факт, что электричества нет уже час, а то, что я об это узнал только в офисе... Моя система оповещения почему-то не сработала. (GSM шлюз подключен непосредственно к станции мониторинга).

К сожалению, в 21-м веке, в нашем городке до сих пор нередки случаи перебоев с электроснабжением. Наш случай усугублен тем, что офис находится за окружной, как раз там, куда город активно разрастается. Разгильдяйство при составлении планов коммуникаций никто не отменял, поэтому жизнь офиса примерно раз в пол-года приостанавливается ковшом экскаватора.


Через пол-часа электричество появилось и началась обычная процедура восстановления. Менеджмент в очередной раз заводит разговор о генераторе, который опять закончится сразу после получения сметы от поставщика.

Неприятность вторая: отказ модуля WS-X6708-10GE (8 портов по 10ГБит) в центральном коммутаторе.
Подобные вещи ломаются нечасто, поэтому прошло время, пока мы проверяли и исключали остальные (более вероятные) потенциальные причины проблем с сетью. Добрались до центрального свича. Модуль показывал exception при старте и перегружался (вернее, коммутатор его перегружал). После нескольких попыток свич отключил модуль. Танцы с бубнами не помогли – бобик модуль сдох. На нем висели подключения к core-свичам этажей и наш основной кластер ESXi (т.е. более 100 серверов).

NB: Многие технические специалисты справедливо заметят, что подключения должны были быть продублированы. И будут правы. Здесь и далее по тексту не было ни одного отказа, риск которого не был бы нами предвиден и расписан, и решение не было бы предложено. К сожалению, не на всех уровнях всегда работают мудрые менеджеры, которые умеют считать потенциальный ущерб ДО аварии. Единственный относительный "плюс" – наш анализ и все предложения всегда документируются, поэтому от претензий типа "почему это отказало, а вы это не продумали" мы защищены.

Все inter-floor соединения были L3 с динамической маршрутизацией и все core-свичи были подключены в кольцо, т.е. между этажами связь была... Но работа офиса всё равно оставалась парализована без серверов, выхода в Интернет и подключения к другим офисам.

Было принято решение подключить к центральному коммутатору обычной медью один любой core на этаже (остальные сразу построят маршруты через него) и коммутатор кластеров. И уже все было готово, подключено и настроено, кроме...

Неприятность третья: пароль :)
Самая банальная, казалось бы проблемка. Но все настолько привыкли входить со своим личным логином, что общие пароли не использовались уже очень давно, а без доступа к серверам не было доступа и к RADIUS :).

Ладно, достаем специальный зашифрованный файлик, расшифровываем... Пароль на центральный свич – неактуальный :). В этом месте, конечно, – наш прокол (а вернее – человека, который отвечает за сеть и как раз был в отпуске).

Решил проблему через з@дницу :). Т.к. остальные свичи в серверной были подключены к другому (работающему) модулю, и на некоторые тоже подбрасывался vlan, в котором находились сервера, то подключив свич кластеров и какой-то другой свич и пробросив соответствующий vlan, я позволил центральному коммутатору достучаться до сервера RADIUS.... Bingo!

Неприятность пятая: повторное отключение электричества... :(
Да-да. Через час-полтора электричество снова пропало... Как ни странно, наш UPS успел зарядится на 95%. Но я успел облиться холодным потом, вспомнив, что ни на одном свиче я не сохранял конфиг. Хотя изменения и состояли только в добавлении портов в соответствующие port-channel, делать эту работу снова никак не хотелось...

Через полтора часа свет вернули, но бесперебойника хватает только на 40 минут, а сервера тушатся уже через 30... Наша песня хороша, начинай сначала.

Неприятность шестая: потеря двух хостов ESX.
Если из обслуживаемых нами умер только один нод в одном из кластеров, то у департамента, которому мы предоставляли колокейшн, умер "очень-важный-критический-сервер-сегодня-нужно-починить-обязательно". Если в нашем случае проблема была только с флешкой, на которой был инсталлирован гипервизор, то у них сервер зависал на загрузке uEFI... Если у нас достаточно было только поставить гипервизор но новую флешку, настроить сеть и включить в кластер, то у них все виртуальные машины располагались локально.... без бэкапов...

Сказка быстро сказывается, да не быстро дело делается... Танец с бубном (день админа всё-таки) и uEFI был перепрошит.


Неприятность седьмая: vCenter is down.

Элементарная проблема, которая отняла массу времени и нервов. Этим куском занимался не я. Но там была проблема с местом на VMFS, на котором крутилась виртуальная машина с vCenter server.

Неприятность восьмая: Конфигурация виртуальных машин.

Хотя этого и не должно было произойти, но хосты ESXi в кластере запутались, когда поднимались без доступа к vCenter. Часть виртуальных не запустилась, потому что хосты посчитали, что машины были скопированы и застопорились на вопросе "was moved/was copied?". А часть конфигов просто "покоцалась", и пришлось добавлять машины заново в Inventory. Естественно, одна потерялась :).


На этом я, пожалуй, закончу. Была еще тонна мелких проблем. Также сказалось отсутствие тренировок по отключению электричества и отсутствие актуальных планов... Очень много раз хотелось сказать "а я же говорил/писал/предупреждал!". Но смысла в этом не было...

Вот так вот я отметил свой профессиональный праздник :).