Сервис

Я рад всех видеть и хочу поделиться своими наблюдениями и опытом в области ИБП.

Что такое ИБП, мы все знаем. Для чего они нужны, вроде бы тоже понятно (во всяком случае хочется в это верить).

И так настал тот час, когда нам надо купить ИБП, вот тут и начинается головная боль.

Какой выбрать?
На что смотреть?

• Именитость бренда?
• Производитель со столетней историей?
• Количество инсталляций?
• Стоимость?
• У коллеги есть такой же?

Давайте разбираться.

Именитость бренда

При слове ИБП моментально вспоминаем компанию APC эта аббревиатура прочно ассоциируется с ИБП, особенно в России. И действительно, кто не знает это?



Или компанию Legrand, между прочим основанную в 1860 году. А компания APC была основана в 1981 году. Первый свой ИБП компания APC выпустила в 1984 году, который она разработала после прекращения финансирования государством разработок в области солнечной энергетики. Компания же Legrand выпустила свой ИБП после 2010 года и то, потому что в 2010 году купила компанию MetaSystem.

Компания APC молодцы безусловно, только до 2007 года компания APC не выпускала 3х-фазные мощные ИБП. Более того APC никогда не выпускала 3х-фазные ИБП. В 2006 году компанию APC поглотила Schneider Electric, не менее уважаемая компания, основанная аж в 1836 году во Франции. В начале своего пути компания называлась Schneider и занималась исключительно выпуском вооружения для армии Франции и на экспорт, в плоть до окончания второй мировой войны. Лишь в послевоенное время переорентировалась в сторону электротехнического рынка, добавив в название Electric. (интересный факт: Многие артилерийские орудия Российской империи были закуплены именно у компании Schneider)

Так вот компания Schneider Electric в 2006 году приобретает компанию APC, с твердым намерением скрестить усилия с MGE, так же удачно приобретенной в 2007 году тем самым прочно занять нишу на рынке. Но Европейский антимонопольный комитет не одобрил сделку (хоть что-то европейцы не одобрили в тему) и разделил компанию MGE между двумя покупателями. 3х-фазное направление отошло в Schneider Electric и было интегрировано в продуктовую линейку APC by Schneider Electric, а однофазное направление забрала EATON (основанная в 1911 году в США и изначально специализировавшейся на производстве автомобильных мостов для грузовиков), который так же подсуетился и выкупил Powerware, объединившийся незадолго до этого с Best Power, с их мощными 3х-фазными системами.

Мне очень нравится история компаний, говорить я могу о ней долго и самозабвенно, перебирая яркие страницы истории брендов PowerCom, CE+T, Riello, Socomec, Newave продавшийся в ABB, немного в стороне стоят Delta и Huawei их историю надо рассказывать отдельно, не забыв при этом Kehua.



Чуточку задержусь на GE (основана в 1878 году США и это единственная компания, которая начинала именно с электро-энергетики, наверное потому что они ее и сделали электро-энергетику) эти перцы были на передовой все время, собственно Эдиссону и Тесла, а точнее их противостоянию мы обязаны всем тем что нас сейчас окружает: генерацией и транспортом электроэнергии. Но сейчас не об этом. GE весьма успешна, потому что всегда умела сосредоточиться на главном, а не нужное продать. Например продажа всего сегмента разработки и производства электронно-вычислительных машин компании Honeywell в 1971 году как убыточного направления. Или продажа всего сегмента ИБП компании ABB в 2017 году.

Давайте закончим с историей и подведем итог.

Стоит отметить 2 наших возможных фактора выбора:

• Именитость бренда
• Производитель со 100-летней историей

Потому что это абсолютно не важно! Сами ИБП, в том виде как мы привыкли их видеть появились совсем не давно конец 90х начало 2000х и за этот маленький период времени. И за этот маленький период времени почти все на рынке успели по перепродавать и по пере покупать друг друга. Коренным образом не разрабатывая технологию, а только лишь встраивая ее в свою продуктовую линейку.

Били ли ИБП до 80-х годов? Да были, только они так не назывались. Они были механическими так же известны как, 3х-машинные преобразователи и они скорее прародители современных Дизель Динамических ИБП. Во всяком случае принципы одинаковые. Поэтому заявления производителей ДДИБП про уникальность и инновационность своих разработок не до конца является правдой.

Переходим к следующему.

Количество инсталляций

Количество инсталляций хороший фактор он показывает доверие к оборудованию (как нам объясняют производители) Скажу вам честно НИЧЕРТА ОН НЕ ПОКАЗВАЕТ, кроме успешной работы отдела продаж, но можно всегда посмотреть на то что покупаешь в естественной среде обитания, может даже послушать местную службу эксплуатации про то как эта машина беспроблемно работает на их объекте любопытно, но не более. Потому что Вас затягивают в субъективную сторону оценки и субъективный способ выбора.

Стоимость

Скажу лаконично один из самых важных факторов, но он ничего не имеет общего с ценой приобретаемого оборудования, которую вам озвучивает продавец.

Так на что же опираться?

Куда смотреть?



В свое время, я оказывался в такой ситуации не раз. И каждое решение было как действия сапера на минном поле. А в ЦОДах так не принято делать. Принцип Слабоумие и отвага не приносит результата в долгосрочной перспективе.

Размышляя об этом я пришел к очень простому выводу идеального ИБП не существует и хорошего ИБП тоже не существует. Они все одинаковые! (это не буквальное определение, все таки отделы разработок не зря кушают свой хлеб с красной икрой у вендоров) Нужно лишь выбрать тот ИБП, который тебя устроит именно здесь и сейчас.

А тогда чем руководствоваться, спросите Вы?

Сейчас я постараюсь Вас к этому подвести.

Недавно я проходил обучение в Uptime Institute и в прологе к курсу была одна фраза:



Начиная путь, ты должен четко представлять где ты хочешь оказаться

Я был поражен точностью и ёмкостью этой фразы, дающую методику решения всех возможных проблем.

Возвращаясь к ИБП, что для нас, как для будущих владельцев сего прекрасного поделья важно? Как можно меньше испытывать проблем с нашим ИБП.

И первое на что надо смотреть это сервис. Доступен ли в вашем регионе сервис конкретного ибп, сколько компаний могут его делать, сколько он стоит. Много ли специалистов по конкретному оборудованию в той местности, где будет наш ИБП. Достаточно ли у того Сервисного партнера квалифицированных инженеров, с кем вы планируете заключить контракт.

Пример:

Один известный итальянский бренд, точнее русский OEM известного итальянского бренда. Хорошая цена ИБП, много кто продает, очень много инсталляций, в том числе и в СПБ, но нет инженеров, которые могут его чинить, реально разобрать до болтика, найти неисправность и устранить. А потом настроить правильно и оптимально под конкретные условия и место работы после спецов по ПНР.

Я очень страдал, перебирая сервисные компании, злился и всячески негативно отзывался об этом русском OEM итальянского бренда, о самом итальянском бренде и о всех причастных к нему. Но я нашел сервис-партнера, который обладал всеми необходимыми компетенциями и достаточным количеством инженеров, что позволило полностью закрыть проблемы с этим ИБП. Сейчас я считаю эти ИБП вполне надежными, но мое мнение не важно. Я мог бы и не найти этого сервис-партнера и продолжал бы негодовать. Но обо всем по порядку.

Второе, на что надо обратить внимание это запчасти и расходники. А именно стоимость, наличие, условие продажи доставки. Это очень важно!

Пример:

Один известный китайский бренд. Поставлял мне свой ИБП. Новая модель ИБП. Первый экземпляр, ввезенный в Россию. Завершается ПНР, машина сдается и оставляется на холостом ходу на выходные. В понедельник наладчики приходят к выключившейся с ошибкой машине и брошенным выходом. После пары телефонных звонков и 14 часов ожидания приезжает объем запчастей, достаточный для сбора еще 2х ИБП. Приезжает сразу на объект.

Вы скажете что это не честный пример, типа гарантия вендора в процессе ПНР или перевозчика (это мы выяснили позже, когда считали кто сколько и кому должен) но я с вами не соглашусь. В качестве иллюстрации другой случай при ПНР известного финского бренда (на тот момент финского) запчасти, а именно материнские платы для одного ИБП ждали около месяца.

Срочная закупка компонентных плат, не входящих в список расходников уважаемого швейцарского подразделения американского бренда может не уложиться и в 2 месяца. Проверено на личном примере.

Отсюда плавно переходим к следующему это наличие представительства бренда в стране, доступность представительства, понятная и прозрачная гарантийная политика. Ведь именно представительство бренда или вендора (как кому нравиться)будет вашим третейским судьей, вашей базой знаний, вашим учебным центром, вашей технической поддержкой и вашим проводником в мир бренда.

Пример:

Первый описанный пример с итальянским брендом. Так сложилось, что этот бренд не имеет представительства в России, именно по этому приходиться решать кучу вопросов с их оборудованием весьма странным образом. Которые могли и не возникнуть будь оно в России. В том числе и с сервисом. Потому что одна из важнейших функций представительства разруливание технической политики компании, в том числе по сервисным программам.



Подводя итог, хочу обратить пристальное ваше внимание, что ответив на эти простые вопросы об ИБП. И убедившись, в том что все эти вопросы получили ответы, которые вас устроили. Вы можете точно сказать, что проблем с конкретным оборудованием у вас не будет. Точнее они будут и очень много, но вы всегда сможете их решить быстро и качественно!

Обращайте на это внимание, выбирайте оборудование с умом!

Склад запасных частей.

Примерно всё. Мы работаем практически со всеми поставщиками серверного железа, которые только встречаются в России: от редких суперкомпьютеров до привезите нам ещё один Pentium II на завод, а то прошлый рассыпался от старости. Конечно, гораздо-гораздо чаще речь идёт про новое привычное железо, но и там обычно выбор из пяти-шести вендоров. И часто надо решить, с кем связать своё будущее узами законного брака поддержки и сервиса.

Разница в том, будет ли расти прайс на постгарантийную поддержку, нужно ли будет платить за день просрочки оплаты (часто половину годовой цены штрафом), что будет при скачке курса доллара, евро или юаня, с каким именно специалистом вы будете иметь дело и так далее. Многие вещи можно обсудить и внести в договор на берегу, если их предвидеть. Другие влияют на окончательную стоимость владения, поскольку означают незапланированные расходы. А многим это важно, потому что проект рассчитывается на несколько лет, и на него выделяется в бюджете фиксированная сумма.

Пройдусь по пунктам того, что неприятного может встретиться. Умер у заказчика как-то сервер, произведенный далеко в забугорье. Клиента попросили выслать этот процессор в центр обслуживания вендора. Месяц они его разглядывали, потом сказали: да, и правда, это процессор, и он сломался. Мы перечислим вам деньги, чтобы вы могли купить себе новый такой же сами.

С кем конкретно вы будете иметь дело?

Всем хочется русскоговорящую поддержку. Но она есть не всегда, и тогда начинается интересное:

• С американскими вендорами часто бывает, что у вас не будет хоть какого-то контакта инженера, чтобы позвонить ему лично или написать куда-то помимо формы заявки. То есть если вы поставили тикет, а на него никто не отвечает далеко за пределами SLA, то может оказаться так, что жаловаться некому вообще. Только в ту же форму заявки. Сразу проговаривайте путь эскалации для таких ситуаций, иначе софтверная поддержка (в т. ч. по драйверам и прошивкам) будет тормозить месяцами в худшем случае.
• У крупных вендоров российских заказчиков часто обслуживает колл-центр из Азии. То есть вас ждёт двойное непонимание из-за индусского акцента английского и русского акцента английского, и фикса сарвар может занять больше времени, чем вам хотелось бы. Не знаю, злонамеренно или нет, но очень часто на таком стыке акцентов сотруднику поддержки проще списать что-то на непонимание и закрыть тикет, чем разбираться, чего же вы хотели. Если вы с таким сталкивались расскажите, пожалуйста.
• Бывает карусель: если есть система передачи тикета другому инженеру, то вас может ждать катание на ней почти сутки. Вы ставите срочный тикет, он падает тому, у кого через час заканчивается рабочий день. Он начинает его решать, но тикет сложный. Рабочий день заканчивается, он уходит со своего места. Тикет перенаправляется в следующую часовую зону, где есть ещё час рабочего дня. Да, там сохранена история, но всё равно это новый человек. Примерно 40 минут он вникает в вопрос, а потом передаёт тикет в следующий часовой пояс. И так далее.

В общем, напоите админа, который работал непосредственно с поддержкой нужного вам вендора, и узнайте, как у них все устроено, заранее. Особенно если вы покупаете железо для бизнес-критикал-задач. Как правило, можно получить и персональных менеджеров, и контакты для эскалации, и много чего ещё. Но нужно понимать, что это либо другой пакет поддержки (дороже), либо два-три года работы, либо особо крупный заказ или имиджевая история для вендора. То есть всё это управляется, но до сделки.

Включены ли выезды на площадку?

Часто бывает так, что выездов нет, но вашим админам обещают давать подробные нудные инструкции по монтажу, настройке и так далее. Был у нас один показательный случай: инженеры сертифицировались у немаленького вендора и получили все сертификаты по самому верхнему уровню. Затем нужно было смонтировать библиотеку с роботом. Приехала она, естественно, в разобранном виде. Инструкция по сборке представляла собой заламинированный листок А4 с двумя картинками составом коробки и собранной библиотекой со стрелочкой для идиотов: возьмите вот это и соберите вот так. Отдельно было указано, что одну из крупных запчастей нужно втыкать вот так. Остальное само собой разумелось.

Инженеры (сертифицированные этим вендором, напомню) решили, что они же не безрукие и как-нибудь соберут. Спустя несколько часов оказалось, что инструкция всё же нужна. В итоге мы через свои каналы раздобыли вендорские инструкции не для внешнего персонала. Там всё было очень подробно и с описанием недокументированных косяков.

Ещё из выездов на площадки есть две важные особенности:

• Иногда приезжают иностранцы, которых просто впустить на территорию объекта уже сложно начиная от допусков по ТБ и электрике. Часто ещё им нужен переводчик, если они не говорят по-английски (это касается Китая во многом).
• У нас есть заказчики, которые работают только с персоналом с третьей группой секретности. Разумеется, надо заранее продумать, кто будет менять запчасть в вышедшем из строя сервере на таком объекте, как он к этому объекту будет ехать и как доказывать, что ему можно пройти.

А точно будет фиксированное время на предоставление запчастей?

Нет. Даже если в договоре прописано иное, может оказаться, что производитель железа может либо односторонне пересмотреть условия, либо поменять геозону для обслуживания. К нам как-то пришёл заказчик на обслуживание из-за того, что условный Урюпинск, куда он собирался перевозить сервера, не вошёл в зону обслуживания. То есть на момент начала закупки он был в этой зоне, а потом состав зоны поменяли. Просто количество городов по поддержке с фикс-таймом сократилось. То есть расширенная поддержка была куплена попросту зря.

Грамотный юрист от многого спасёт вас при составлении такого договора (особенно если вы покупаете в Москве и везёте в Ноябрьск, например). Но тут нужно понимать, что вендоры в таких ситуациях не злонамеренные, а просто соблюдают свои бизнес-интересы. И весь договор построен так, чтобы защититься от злоупотреблений покупателя и прийти к какому-то компромиссу по цене. Если бы это были разовые заказы на каждый случай, то было бы проще, но в сфере так не принято, и этому есть понятные экономические обоснования. Так вот, если вы составите правильный договор, то может оказаться, что такой сервис сильно дороже. И лучше просто рассмотреть другого вендора, у которого ваш город в стандартной зоне покрытия.

Что с продлением поддержки на четвёртый год и дальше?

Если запчасть найти обычно не проблема, то вот с софтверной проблемой обычно сложнее.

Вот решили вы сэкономить и использовать такой же сервер, как донор, и дёргать из него запчасти, если потребуется. А потом происходит проблемка, для решения которой нужно обновить микрокод И тут начинается самое весёлое. Отдельно его купить нельзя! И даже писать некуда. И даже разово его купить не выйдет. И если он вам нужен, то придётся купить поддержку железа и ПО. Так, чтобы у вас остались запчасти от аналогичного сервера и при этом можно было купить только поддержку ПО, не бывает ни у кого из вендоров.

Ещё часто бывает так, что перерывы в поддержке тоже нужно оплачивать. То есть два года вы были на поддержке, потом полгода не брали, а потом решили продлить (это типовая ситуация для госкомпаний из-за особенностей бюджетирования). Так вот, это продление будет стоить вам как минимум всего пропущенного периода, а иногда ещё и с повышающим коэффициентом за год. Вендора тоже можно понять: если так не делать, то получится, что можно копить отказы оборудования, потом взять поддержку на месяц, всё починить и снова сойти с поддержки. Но незнание этих особенностей может сыграть очень неприятную шутку: когда речь идёт про госбюджетирование, возможны задержки, а за день такой задержки может прилететь тот самый повышающий коэффициент 1,5 на весь год.

Ещё один заказчик забюджетировал себе стоимость владения железом на четыре и пять лет на основе ценника на сертификаты, купленные вместе с оборудованием. А сертификат-то был на расширенную поддержку в период гарантии, а как гарантия заканчивается, он начинает стоить на 70 % дороже.

Что ещё может случиться?

На одной из ситуаций наш заказчик (по сервисному контракту на железо) собрал просто целое поле граблей. Большая федеральная компания с госучастием. Нужно было опубликовать конкурсы на продление техподдержки инфраструктурного решения. Теперь следите за руками:

1. Фиксированного прайс-листа у вендора на продление поддержки нет (цена зависит от суммы закупки, поддержка на абсолютно одинаковые сервера, купленные в 2018 и 2019 годах, может стоить по-разному). Дополнительных скидок на сервис нет. Точную цену никто назвать заранее не может, так как всё будет зависеть от конкретной даты начала поддержки. А в политиках компании заказчик такой формат фиксации даты не принят (потому что кто знает, сколько конкурсную документацию будут внутри согласовывать).
2. Обязательны оплата пропущенного периода + плата за восстановление техподдержки в случае просрочки продления, что не позволяет вписаться в зафиксированную на этапе бюджетирования цену.
3. Заказчик в виде прайс-листа получает такие же цены, как и партнёр на вход (а нам ещё 1,2 линию поддержки, между прочим, оказывать, что тоже чего-то стоит): в результате НМЦ на конкурс формируется некорректно, к заказчику никто не приходит, и торги приходится переигрывать по нескольку раз.
4. Плата за восстановление ТП при этом растёт каждый день, вендор в соответствии со своими внутренними политиками с этим ничего сделать не может...
5. Нельзя зафиксироваться в рублях: бюджет для заказчика всегда плавающий.

В итоге около половины филиалов решило в этом году вообще отказаться от продления сотрудничества с этим вендором и заменить оборудование полностью.

Ещё на одном контракте была линейка хранилищ, которая отлично отработала под базовой гарантией. Потом базовая закончилась, и вендор сообщил, что пролонгации не будет, потому что данное оборудование больше не поддерживается на территории РФ. Предложил дистрибьюторов, но они тоже не смогли помочь железом. В итоге помогали заказчику ещё год продержаться на старом железе: сформировали под них ЗИП и команду инженеров, которые во всех тонкостях этих хранилищ разбирались.

Другой производитель хранилищ выставлял разные условия поддержки на контроллеры и дисковые полки. На контроллерные полки можно было продлять гарантию ещё на два года и спокойно сопровождать. А на дисковые никак. Таким образом, они мотивируют постоянно апгрейдить оборудование. Полмассива оставлять без поддержки на четвёртый год не лучший план. Да, они предупредили заказчика про это изменение за год, но он купил на пять лет и бюджет согласовал на пять лет. А вендор на эти пять лет не может гарантировать поддержку, как оказалось. Не знаю, помог ли бы ему юрист при составлении договора заранее, но как минимум про такие особенности вендора надо знать.

Один из вендоров резко задрал цену на разовый ремонт для стимулирования своевременной покупки поддержки. И в сумму разового ремонта теперь входит 25 % от суммы пропущенного периода. Ну и вообще прайс-листы на запчасти всегда очень высокие, особенно для СХД (были кейсы, когда контроллер стоил в два раза больше, чем годовая поддержка, купленная вовремя).

Часто заказчиков удивляет, что вендоры не дают качать новые драйвера-прошивки-патчи после окончания поддержки. Просто учитывайте это.

Что со всем этим делаем мы

Мы считаем окончательную стоимость владения и оказываем железный сервис. То есть ещё задолго до закупки мы можем помочь с юридической и организационной обвязкой конкурса с точки зрения условий гарантийной поддержки, застраховать от возможных проблем на поддержке и помочь с методикой оценки вендоров. На стадии, когда железо уже прямо нужно купить сегодня, с правильным бюджетированием и SLA по нему. Позже можем оказать сервис и достать почти любые запчасти в РФ.

Обычно я сталкиваюсь со сценарием, когда железо нужно купить прямо сейчас. Тут CTO должен один раз обжечься, чтобы потом понимать, как важно сначала три раза подумать: совсем не покупать поддержку, выбрать уровень критичности пониже или придумать что-то ещё. У меня так было дома с холодильником: он сломался, и я пару недель жила без него, ожидая, что не сегодня завтра всё решится. До этого случая уровень поддержки холодильника был для меня вообще чем-то настолько мелким, что даже не заслуживал упоминания. Теперь я внимательно читаю отзывы и смотрю, как решались или не решались проблемы, если они случались. С вендорами под business-critical/mission-critical-решения так надо делать с первого раза. В идеальном мире. На чёрную пятницу опять у кого-то развалился кластер, и вскрылись проблемы с вендором, который отработал по стандартной схеме, как во все остальные 365 дней в году А у компании час простоя стоит дороже, чем весь год расширенной поддержки. А ведь можно было заранее подумать или хотя бы узнать, что и как происходит.

Поэтому я очень хорошо понимаю CTO, которые покупают поддержку, но при этом держат свой собственный ЗИП или имеют контакты кого-то, кто может приехать и быстро починить. Дополнительная перестраховка, которая стоит денег, но не дороже простоя. И всегда советую спрашивать в неформальной обстановке других работавших с вендором, как оно.

Привет, Хабр!

Про такие ошибки обычно говорить не принято, потому что во всех интеграторах работают только безгрешные небесноликие люди. У нас, как известно, на уровне ДНК отсутствует возможность ошибаться или быть неправыми.

Но я рискну. Надеюсь, мой опыт кому-то будет полезен. Есть у нас один крупный заказчик, онлайн-розница, которому мы полностью поддерживаем фабрику Cisco ACI. Своего админа, компетентного по этой системе, у компании нет. Сетевая фабрика это группа коммутаторов, которая имеет единый центр управления. Плюс ещё куча полезных фич, которыми очень гордится производитель, но в итоге, чтобы всё уронить, нужен один админ, а не десятки. И один центр управления, а не десятки консолей.

Начинается история так: заказчик хочет перенести на эту группу коммутаторов ядро всей сети. Такое решение обусловлено тем, что архитектура ACI, в которую собрана эта группа коммутаторов очень отказоустойчивая. Хотя это не типично и в целом фабрика в любом ЦОД не используется как транзитная сеть для других сетей и служит только для подключения конечной нагрузки (stub network). Но такой подход вполне имеет место быть, поэтому заказчик хочет мы делаем.

Дальше произошло банальное я перепутал две кнопки: удаления политики и удаления конфига фрагмента сети:



Ну а дальше по классике нужно было собрать заново часть развалившейся сети.

По порядку

Запрос заказчика звучал так: нужно было построить отдельные порт-группы под перенос оборудования непосредственно на эту фабрику.

Коллеги, просьба перенести настройки портов Leaf 1-1 101 и leaf 1-2 102, порты 43 и 44, на Leaf 1-3 103 и leaf 1-4 104, порты 43 и 44. К портам 43 и 44 на Leaf 1-1 и 1-2 подключён стек 3650, он пока не введён в эксплуатацию, переносить настройки портов можно в любое время.

То есть они хотели перевести кластер серверов. Нужно было настроить новую виртуальную порт-группу под серверное окружение. По сути дела, это рутинная задача, простоя сервиса на такой задаче обычно нет. По сути своей порт-группа в терминологии APIC это VPC, который собирается из портов находящихся физически на разных коммутаторах.

Проблема в том, что на фабрике настройки этих порт-групп привязаны к отдельной сущности (которая возникает вследствие того, что фабрика управляется с контроллера). Этот объект называется port policy. То есть к группе портов, которые мы добавляем, нужно ещё сверху применить общую политику как сущность, которая будет управлять этими портами.
То есть нужно было сделать анализ, какие EPG используются на портах 43 и 44 на нодах 101 и 102 для того, чтобы собрать аналогичную конфигурацию на нодах 103-104. После анализа необходимых изменений я начал настраивать ноды 103-104. Для настройки нового VPC в существующей политике интерфейсов для нод 103 и 104 нужно было создать политику, в которую будут заведены интерфейсы 43 и 44.

И там есть в GUI один нюанс. Я создал эту политику и понял, что в процессе конфигурирования допустил незначительную ошибку, назвал её не так, как принято у заказчика. Это не критично потому что политика новая и ни на что не влияет. И мне эту политику нужно было удалить, поскольку изменения в неё уже внести нельзя (название не меняется) можно только удалить и заново политику создать.

Проблема в том, что в GUI есть иконки удаления, которые относятся к политикам интерфейса, а есть иконки, которые относятся к политикам коммутатора. Визуально они почти идентичны. И я вместо того, чтобы удалить политику, которую я создал, удалил всю конфигурацию для интерфейсов на коммутаторах 103-104:



Вместо удаления одной группы фактически удалил все VPC из настроек ноды, использовал delete вместо trashbin.

В этих каналах были VLAN, чувствительные для бизнеса. По сути дела, после удаления конфига я отключил часть сетки. Причём это было не сразу заметно, потому что фабрика управляется не через ядро, а у неё отдельный менеджмент-интерфейс. Меня не выкинуло сразу, не произошло какой-то ошибки на фабрике, поскольку действие было предпринято администратором. И интерфейс считает ну если вы сказали удалить, значит так надо. Никакой индикации ошибок не было. ПО решило, что идёт какая-то реконфигурация. Если админ удаляет профиль leaf, то для фабрики он перестаёт существовать и она не пишет ошибки о том, что он не работает. Он не работает потому что его целенаправленно удалили. Для ПО он и не должен работать.

В общем, ПО решило, что я Чак Норрис и точно знаю, что делаю. Всё под контролем. Админ не может ошибаться, и даже когда он стреляет себе в ногу это часть хитрого плана.

Но примерно через десять минут меня выкинуло из VPN, что я поначалу не связал с конфигурацией APIC. Но это как минимум подозрительно, и я связался с заказчиком, уточнить, что происходит. Причём следующие несколько минут я думал, что проблема в технических работах, внезапном экскаваторе или сбое питания, но никак не конфиге фабрики.

У заказчика сеть построена сложно. Мы по своим доступам видим только часть окружения. Восстанавливая события, всё похоже на то, что началась ребалансировка трафика, после чего через несколько секунд динамическая маршрутизация оставшихся систем просто не вывезла.
Тот VPN, на котором я сидел, это был админский VPN. Обычные сотрудники сидели с другого, у них всё продолжало работать.

В общем, ещё пара минут переговоров ушла на то, чтобы понять, что проблема всё же в моём конфиге. Первое действие в бою в такой ситуации сделать роллбек на прошлые конфиги, а только потом уже читать логи, потому что это прод.

Восстановление фабрики

На восстановление фабрики с учётом всех звонков и сбора всех причастных ушло 30 минут.

Нашли другой VPN, через который можно зайти (это потребовало согласования с безопасниками), и я откатил конфигурацию фабрики в Cisco ACI это делается в два клика. Ничего сложного нет. Просто выбирается точка восстановления. Занимает это 1015 секунд. То есть на само восстановление ушло 15 секунд. Всё остальное время было потрачено на то, чтобы понять, как получить удалённое управление.

После инцидента

Ещё день мы разбирали логи и восстанавливали цепочку событий. Потом собрали звонок с заказчиком, спокойно изложили суть и причины инцидента, предложили ряд мер, чтобы свести к минимуму риски подобных ситуаций и человеческого фактора.
Договорились, что конфиги фабрики мы трогаем только в нерабочие часы: ночное и вечернее время. Проводим работы обязательно с дублирующим удалённым подключением (есть рабочие VPN-каналы, есть резервные). Заказчик получает от нас предупреждение и в это время наблюдает за сервисами.

Инженер (то есть я) на проекте остался тот же. Могу сказать, что по ощущениям доверия ко мне стало даже больше, чем до инцидента думаю, как раз потому что мы быстро сработали в ситуации и не дали волне паники накрыть заказчика. Главное не пытались спрятать косяк. По практике я знаю, что в этой ситуации легче всего попытаться перевалить на вендора.
Похожие политики работы с сетью мы применили и к другим заказчикам на аутсорсе: это тяжелее для заказчиков (дополнительные VPN-каналы, дополнительные смены админов в нерабочие часы), но многие поняли, зачем это нужно.

Так же мы покопались глубже в ПО Cisco Network Assurance Engine (NAE), где нашли возможность сделать на фабрике ACI две простые, но очень важные вещи:

• первое NAE позволяет сделать анализ планируемого изменения, еще до того, как мы его выкатили на фабрику и отстрелили себе все, спрогнозировав как позитивно или негативно изменение скажется на существующей конфигурации;
• второе NAE уже после изменения позволяет измерить общую температуру фабрики и увидеть как это изменение в конечном счете повлияло на состояние ее здоровья.

Если интересно больше деталей у нас завтра вебинар про внутреннюю кухню техподдержки, будем рассказывать, как всё устроено у нас и у вендоров. Ошибки тоже будем разбирать)

Компания Apple объявила о расширении программы Independent Repair Provider Program (IRPP) по предоставлению оригинальных запчастей и обучению сотрудников независимых ремонтных мастерских. С прошлой осени эта программа распространялась на iPhone, а теперь расширена и для всех прочих устройств компании. Насколько можно понять, предоставление доступа к инструментам и запчастям для сторонних мастерских уступка сторонникам права на ремонт.

Так, в прошлом году Apple предоставила американским мастерским доступ к средствам диагностики и ремонта iPhone. Небольшие сервисные центры США получили те же самые инструкции, детали и инструменты, что и сертифицированные сервис-центры и фирменные магазины Apple Store. В июле 2020 года компания заявила, что расширяет Independent Repair Provider Program для Канады и ряда европейских стран. К слову, в Европе право на ремонт поддержала Еврокомиссия. Сейчас в Independent Repair Provider Program участвуют 140 предприятий с 700 сервисными центрами.

Что касается Apple, то компания оставила за собой право проверки работы мастерских. При выявлении нарушений компаниям запрещают участвовать в программе. Два смертных греха некорректные технологические процессы или использование неоригинальных запчастей.


В прошлом месяце Apple отчиталась о росте продаж устройств линейки Mac на 21,6% и увеличении рыночной доли на 1 процентный пункт по сравнению с прошлым годом. Во втором квартале 2020 года на компьютеры и ноутбуки приходилось 7,3% рыночной доли. Рост спровоцирован массовым переводом сотрудников на удаленную работу из-за пандемии коронавируса. Чем больше пользователей, тем больше гаджетов, соответственно, больше поломок. Такой наплыв устройств, которым нужен ремонт, обнажил проблемы с сертифицированным ремонтом в удаленных регионах США, Европы, а также в бедных странах.

Изначально Apple продвигала сервисы AppleCare+ и Genius Bar, как стандарты качественного ремонта. Но сертифицированные мастерские были доступны только в больших городах, да и ждать ремонта пользователям приходилось подолгу. Небольшие сервисные центры критиковали компанию из-за того, что она сотрудничала только с крупными сервисными центрами известных компаний, например, с Best Buy Inc.

Теперь ситуация изменилась, корпорация изменила свое отношение к небольшим сервисным центрам. Когда устройствам требуется ремонт, мы хотим, чтобы люди имели доступ к безопасным и надежным решениям. В последний год к программе ремонта мы добавили тысячи сервисных центров, рассказал главный операционный директор Apple Inc. Джефф Уильямс. Скорее всего, расширение программы ответ на критику со стороны политиков и общественников, обвиняющих Apple в нечестной конкуренции. Кроме запчастей, корпорация предложила новые обучающие материалы и стандарты ремонта для независимых мастерских.


Но не все так радужно, как хотелось бы. Корпорация до сих пор запрещает проводить комплексные сервисные работы. Так, существующая программа запрещает любой ремонт, сложнее, чем замена основных компонентов (дисплей, аккумулятор, материнская плата). Кроме того, условия программы не позволяют магазинам хранить детали на складе, поэтому поставок запчастей приходится ждать неделями. Ну и вишенка на торте оригинальные запчасти и инструменты Apple стоят немалых денег, что увеличивает стоимость ремонта для клиентов сторонних сервисных центров, а гарантийное обслуживание пока останется прерогативой компании и сертифицированных сервисных центров.