Апгрейд

Практика по поддержке и развитию облака в ЦОДе Linxdatacenter преподнесла нам интересный кейс. Достаточно рутинная операция по обновлению всего одного элемента облачной платформы привела к масштабному глубокому апгрейду.

Рассказываем, с чего все началось и как нам помогает цифровой двойник облака.

Нельзя просто взять и обновить vCloud Director

Основные компоненты облака Linxdatacenter стэк технологий VMware, на котором реализована панель управления виртуальной инфраструктурой vCloud Director. Он развернут на базе компонентов Cisco и служебной инфраструктуре типа Windows ActiveDirectory.

В какой-то момент в конце 2020 года мы столкнулись с проблемой: версия vCloud Director 9.5 начала понемногу отставать от специфики текущих задач, а руки до ее апгрейда до версии10.1 или 10.2 не доходили.

Страшного в этом ничего не было, но в начале 2021 года прекратилась поддержка Flashв браузере.

Честно говоря, мы не ожидали, что Flash и разработчики браузеров поступят таким жестоким образом. То есть о прекращении поддержкислышали все и уже давно, но новость о том, что его физически будут удалять из операционных систем и полностью блокировать в браузерах с 12 января, стала очень неприятным сюрпризом.

Дело в том, что в vCloud Director реализован доступ через два портала. Первый на Flash, он жеявлялся основным и, скажем так, изначальным, с очень широкой функциональностью и большим количеством возможностей.

HTML-портал начали развивать с версии 8.20 как раз в перспективе отказа от Flash, потихоньку добавляя в него новую функциональность. Версия vCloud Director 9.5, которая сейчас представлена на трех наших площадках, удовлетворяет большинству запросов клиентов по функциям, но с точки зрения администрирования стали появляться довольно существенные проблемы.

В качестве промежуточного решения удалось найти конфигурацию браузера, в которой доступы к Flash пока остаются. И с точки зрения управления мы продолжаем контролировать ситуацию, никаких проблем нет.

Однако для пользователей функциональность версии 9.5 не идеальна. Пользователи уже привыкли работать во Flash, и его отсутствие вызывает неудобства, они задают вопросы, а вот раньше это было так, а как нам это сделать теперь?. В 10-х версиях функциональность ощутимо лучше и максимально приближена к Flash. Отсюда было принято решение о том, что обновление vCloud Director это задача 1.

Тяжелое наследие

Осложнялась ситуация тем, что облачная платформа в нашем ЦОДе в Санкт-Петербурге и на партнерской площадке в Варшаве это наше наследие от системного интегратора, который разворачивал ее еще в 2013 году. До 2017 года эта же компания полностью производила обслуживание и апгрейды, а далее мы нарастили достаточный объем собственной экспертизы, чтобы взять управление полностью в свои руки.

Уже предварительный анализ ситуации показал, что нельзя просто взять и обновиться с версии 9.5 до 10.2. Составление пошагового плана обновлений всех версий софта для разных элементов облака с матрицами совместимости заняло у ответственного за задачу архитектора более 2 недель.

Это вызвано сложной структурой зависимости версий ПО, логика которой требует постепенного и строго последовательного перехода к новым версиям с тем, чтобы сохранить бесперебойную работу облака в целом.

Необходимость невинного, казалось бы, апгрейда vCloud Director заставила нас запустить полное обновление платформы, начиная от Windows-серверов с Active Directory и заканчивая всеми дополнительными компонентами. Чтобы выполнить планируемое обновление до целевой версии в vCloud Director, потребуется обновить всю систему четыре раза: обновление платформы облака будет выполнено в три полноценных раунда или очереди.

Начнем мы со своего облака в Варшаве, затем последуют площадки в Петербурге и Москве. Плановый срок окончания этих работ май 2021 года.

Но для начала потренируемся на цифровом двойнике облака.

Digital twin для облака

План работ только по одной из площадок просто колоссальный с учетом ресурса проектной команды из трех специалистов.

Это ограничение, а также сроки, количество промежуточных шагов и сложность инфраструктуры потребовали от нас проведения тщательного тестирования практической реализации проекта на виртуальном макете цифровом двойнике (digital twin) облака в виртуальной лаборатории.

Цифровой двойник облака обеспечивает нам уверенность в качестве запускаемых изменений системы и достижении ожидаемых результатов. К тому же на таком двойнике очень удобно отрабатывать различные сценарии эксплуатации платформы, и в случаеошибки или сбоя у нас всегда будет возможность выполнить откат к снэпшоту виртуальной машины с исправлением допущенных ошибок. Это ускоряет процесс обновления и позволяет проводить его без потери в качестве работы системы в целом.

Все обновления предварительно будут выполнены на цифровом двойнике, и далее, при успешном протекании процессов постепенного перехода к новым версиям всех элементов платформы, будет скорректирован детальный план работы по реальной целевой инфраструктуре.

Цифровой двойник полностью повторяет инфраструктуру платформы вплоть до самых последних компонентоввсех систем. Все изменения реальной инфраструктуры настройки, конфигурации, обновления ПО сначала отрабатываются на нем.

Мы смотрим, как все элементы складываются в единую картину, определяем риски, рассчитываем время, которое занимает тот или иной этап обновления, на основе чего создается детальный план работ.

Двойник выполнен за счет технологии вложенной виртуализации Nested Virtualization. VMware позволяет поднимать гипервизорывнутри себя, и на этих гипервизорах также можно запускать виртуальные машины.

В рамках нашего варшавского облака выделены ресурсы под создание двойника и на них развернуты гипервизоры, виртуальные машины, сеть мы пересобрали облако с нуля с соблюдением всех версий ОС, пакетов, ПО и архитектуры, которая соединяет их в единое решение.

Это не Ctrl+C/Ctrl+V, то есть мы не просто скопировали существующую систему: воспроизведены только основные компоненты системы и логика их взаимодействия, вплоть до пропускной способности каналов связи,NGINX какreverse proxy иконфиги для регистрации трафика.

Двойник ест ресурсы площадки в объеме на $650 в месяц например, мы платим VMware как поставщику услуг за потребленную двойником оперативную память, а всего на нем развернуто более 20 виртуальных машин.

Это существенные затраты, но зато безопасная обкатка сценария обновления шаг за шагом гарантирует нам 100%-ную защиту от сбоев и непредвиденных моментов при обновлении на реальной инфраструктуре. Возможные потери из-за сбоя в работе системы на порядки превышают траты на содержание двойника.

Наши ожидания

По предварительным расчетам, ресурса системы после обновления хватит на то, чтобы платформа проработала на должном уровне без необходимости каких-либо изменений, не говоря уже о глобальной перестройке, как минимум, до конца 2021 года.

В рамках текущей подготовки к обновлению по большинству основных версий ПО ключевых систем показатель End-of-support датируется концом 2023 года. Также, по существенному количеству систем сроки прекращения поддержки версий ПО остаются пока что незаявленными.

То есть, общего запаса прочности должно хватить на 1-2 года, а если мы говорим про глобальное обновление, сравнимое с текущим, то мы закладываем сегодня фундамент на еще более длительный срок.

Жизненный цикл платформы облака предполагает необходимость всегда иметь актуальные версии ПО ключевых элементов системы.

Говоря в целом об этом направлении работы, можно отметить, что общая сложность и болезненность такой перестройки всегда будет зависеть от того, как сильно его запустить, перестав отслеживать совместимость версий, а также от того, насколько разнообразен зоопарк различных элементов, технологий, протоколов и ПО, на которых построено облако.

К чему здесь следует стремиться? К унификации: начатое глобальное обновление в итоге очень сильно упростит нам жизнь и улучшит надежность работы облака в целом.

Мы сможем полностью уйти от наследия интегратора, который всю эту инфраструктуру разворачивал. У нас не останется никаких белых пятен и потенциально слабых звеньев в цепочке создания ценности облака в виде его доступности, гибкости настроек, безотказности и других параметров, влияющих на SLA.

Как только на всех площадках все компоненты облака будут работать на единых версиях ПО, любые последующие апгрейды, расширения и интеграции станут вопросом грамотного управления технической составляющей, рутиной, а не глобальным административно-техническим проектом.

Цифровой двойник облака мы планируем использовать и дальше. Это удобный инструмент, который помогает сделать процесс обновления инфраструктуры более безопасным и быстрым.

^{Статья написана на Sony Vaio SVE15 2013 года}
Эта статья не то чтобы ответ на пост Как и почему я перестал покупать новые ноутбуки, а скорее размышления на эту тему. С подробной аргументацией, почему Sony Vaio SVE15 или SVE17 отличный вариант не только для своего времени, 2013-2014 гг., но и для современного пользователя.

Сразу скажу, что за несколько лет я перепробовал большое количество моделей ноутбуков от самых разных производителей. Мое хобби ремонт электроники, так что отремонтированные ноутбуки (много десятков, если не больше) я оценивал с точки зрения замены своего старого. Среди этих устройств были весьма современные. И все же альтернативы я не нашел, более того, искать перестал и в ближайшие несколько лет менять ничего не буду. И вот почему.

Как и почему я приобрел Sony Vaio SVE17 в первый раз

Устройство от Sony, насколько я помню, мой второй или третий ноутбук. До этого были десктопы. Потом, когда начались поездки по своей стране и миру (не сказать, чтобы прямо колесил по всем городам и весям, но время от времени приходилось), пришло понимание, что нужен ноутбук.

К сожалению, я не помню свои первые ноутбуки. Что это были за модели, каких производителей? Один, вроде бы, базовый ASUS года 2011-го. Подробностей не помню. Возможно, потому, что воспринимал его лишь как рабочий инструмент, а не как НОУТБУК. Помню только, что первый проработал достаточно долго, потом я его отдал матери. Второй пару лет, и потом у него начались проблемы с пластиковым корпусом, который стал трескаться в самых неожиданных местах. И не по моей вине я к технике отношусь бережно. Да и вообще он не был особенно быстрым, поскольку я экономил при покупке, мне нужна была почти что печатная машинка, плюс возможность серфинга, и только.

Со временем количество задач, которые нужно было решать при помощи ноутбука, росло, прожорливость приложений увеличивалась. И я решил: Хватит это терпеть! И в один прекрасный день я осознал, что мне нужен новый ноутбук. Я отправился в близлежащий магазин, где и приобрел его свой Sony Vaio SVE17. Купил потому, что, во-первых, соотношение цена/качество были отличными, во-вторых, он выглядел просто шикарно.


Характеристики:

• Диагональ экрана 17 дюймов.
• Процессор Intel Pentium (взял бюджетный вариант, да).
• ОЗУ 8 ГБ DDR 3.
• 1 порт USB 3.0, 3 USB 2.0.
• HDMI, VGA.
• Ethernet, WiFi, Bluetooth.
• DVD-привод.
• Батарея около 2-3 часов.

Купил его примерно за $350. Были в том магазине старшие братья с Intel Core i3, i5, i7, клавиатурой с подсветкой и т.п. Но мне нужен был не очень дорогой и в то же время надежный ноутбук, который бы просто работал. Спектр задач, которые нужно было закрывать с его помощью в основном, редактирование документов, простейшая работа с графикой, просмотр видяшек с YouTube, работа с FTP и Wordpress.

О покупке ни разу не пожалел. Работал как часы, причем много лет.

Плюсы перечислил выше, но коротко перечислю еще раз:

• Не глючит, проблем не было вообще никаких.
• Выдержал множество поездок, была пара падений (правда, с небольшой высоты).
• Выдерживает и жару в 45 градусов и холод.
• Рабочая лошадка, которая делает то, что должна.
• Шикарно выглядит, вызывая даже во время работы положительные эмоции. Может, это только у меня так, но вряд ли.

Но есть еще пара дополнительных плюсов:

• Ноутбук очень просто разбирается. Пластик немного хрупкий, но ничего критичного.
• Процессор съемный, а не распаянный на плате. Так что можно апгрейдить при необходимости.
• Два слота ОЗУ, оперативная память тоже не распаяна на плате.
• Относительно просто менять графический чип, если выходит из строя (об этом поговорим дальше, хотя и немного).

Недостатки:

• Тяжелый и большой. Мне тогда хотелось приобрести 17-дюймовый ноутбук и я его купил. Каждый его лишний грамм потом прочувствовал во время поездок, но не жаловался. Потом уже решил, что нужно было купить 15-дюймовый аналог, но на тот момент ничего не менял.
• Греется, если регулярно не чистить. Собственно, ноутбук нужно регулярно чистить и менять термопасту, это знаем все мы. Sony Vaio очень требователен к отсутствию пыли в кулере начинает греться. В моделях с dedicated графикой (а у меня был со встроенной) это часто приводит к проблемам в пайке шаров, после чего графика умирает, так что нужен реболлинг или замена (прогрев в Sony Vaio этого семейства не помогает).

Дальнейшая история ноутбука

С течением времени я немного модернизировал девайс:

• Через пару лет убрал DVD, поставив адаптер для SSD. Накопитель поставил небольшой, 128 ГБ, исключительно для ОС. Это сразу же дало огромный прирост в производительности.
• Добавил 8 ГБ ОЗУ (на материнской плате 2 слота, добавил 8 ГБ одной планкой). Производительность выросла еще больше, открывал вкладки в браузере, не считая.
• Подключил два 27-дюймовых монитора от LG при помощи HDMI и VGA. У одного из мониторов, купленных с рук, был поврежден HDMI-вход, поэтому решение было именно таким.

В середине 2019 года я решил заменить Intel Pentium на Intel Core i5. Здесь чуть подробнее, так что отдельным пунктом. Это был неудачный опыт. Как оказалось, если заменить Intel Pentium на Intel Core i3, i5, i7, то работать все это будет, но всего 30 минут. Ровно через полчаса ноутбук выключается. Возможно, кто-то в курсе этой проблемы, но на момент, когда я заменил процессор, информации относительно этого апгрейда в сети было немного, так что пару дней я провозился, пока не понял, что речь в аппаратной несовместимости. Устанавливать можно лишь Pentium 2020M и 2030M. Кстати, я читал статью, автор которой решил проблему с несовместимостью, запуская при помощи планировщика гибернацию каждые 29 минут с мгновенным выходом из нее. Для пользователя все проходит незаметно, а ноутбук работает, не выключаясь каждые полчаса. Этот пользователь установил себе i7 и радовался жизни.

Но меня такой вариант не устраивал, поэтому я решил продать свой Sony Vaio.

Прощай, старый друг

Просмотрев цены на эту модель на eBay, я с удивлением увидел, что они не изменились с момента покупки. Более того, стоимость, фактически, повысилась: бывшие в употреблении Sony Vaio SVE17 продавались по той же цене, по которой я изначально этот ноутбук купил.

У топовых моделей цена так и вовсе поднялась раза в два.


^{Это пример текущей выдачи на eBay по запросу Sony Vaio SVE17. Обратите внимание на количество фолловеров (seguidores). На этот товар по такой цене есть спрос}

В общем, я выставил свой ноутбук сначала за 400 евро ни на что особенно не надеясь. Но, к моему удивлению, уже на второй день после размещения лота на eBay стали поступать предложения о покупке ноутбука по более низкой цене. Правда, покупатели были из других стран, а мне не хотелось отправлять такой тяжелый ноутбук куда-то очень далеко. Поэтому я подождал, и где-то через дней пять получил предложение от покупателя из своей страны. Мы чуть поторговались и в итоге ноутбук ушел новому владельцу за 350 евро.

Я его продал в той же конфигурации, в которой купил изначально с 8 ГБ ОЗУ и DVD-приводом. Забыл сказать, что состояние корпуса ноутбука было неплохим, но оставляло желать лучшего: мелкие царапинки, немного стертая в паре мест эмаль и небольшой скол на углу.

Что потом?

На полочке у меня было несколько отремонтированных ранее ноутбуков других производителей. Еще до того, как продать Sony Vaio, я решил использовать одну из моделей от ASUS, 2017 года. У него еще оставался VGA-порт, был и DVD-привод, так что я надеялся на то, что смогу использовать этот ноутбук вместо Sony Vaio.

С конфигурацией у него все было хорошо, включая выделенную графику от Geforce и Intel Core i5 (поколение не помню). Единственной его проблемой было отсутствие второго слота RAM, но я решил, что 8 ГБ мне хватит, так что установил его в качестве рабочего инструмента, подключив к своим двум мониторам.

Это было ошибкой, поскольку с момента, когда 8 ГБ мне хватало, сильно потяжелели офисные приложения и мессенджеры. У меня обычно открыт WhatsApp и Telegram на одном мониторе, на втором офисный пакет, браузер с горой вкладкой и еще пара приложений. В общем, даже с SSD этот ноутбук работал заметно медленнее Sony Vaio. Если открываешь ноутбук время от времени, с этим можно мириться. Но если это твой главный рабочий инструмент, за которым ты проводишь много часов в сутки то даже небольшие проблемы раздражают и напрягают.


^{Пример платы, где без BGA-станции ничего не проапгрейдишь. Да и с ней смысла немного}
Понятно, что можно было все оптимизировать. Как советовал автор статьи, упомянутой в самом начале, можно и приложения откатить до более старых версий, которые работают быстрее. Но тогда возникает проблема совместимости что-то начинает глючить, что-то отказывается работать вообще, какие-то программы начинают конфликтовать, отключаются плагины в браузерах и т.п. И это можно решить, но требуется время, которого и так катастрофически не хватает.

Вариант решения с экономий времени не мучиться, а купить современный ноутбук с DDR4, i7 и прочими нужными и полезными элементами. Но здесь уже возникает вопрос цены и актуальности такой покупки. Платить 500-600-1000 евро очень не хотелось. Я понимал, что купив ноутбук сейчас за 600 евро, я получу небольшой прирост производительности и скорости работы, но уже через полгода стоимость устройства составит 300-400 евро. Повторения истории с ценой, как в случае Sony Vaio я не ждал.

На полочке были и другие ноутбуки, как и говорилось выше. Но, поскольку большинство были новее, чем Sony Vaio, у многих не было VGA, у большинства отсутствовал DVD-привод, что не давало возможность добавить SSD. А у каких-то был только SSD формата М.2 без возможности добавления обычного SATA-диска. Поэтому ни один не подходил для замены моей рабочей лошадки.

И здравствуй, старый новый друг

Мучился я недолго стал искать Sony Vaio с дефектами на местной онлайн-барахолке в работе и через несколько дней нашел SVE15 с Intel Core i5, dedicated видео чипом и 8 ГБ ОЗУ. Проблема ноутбук перезагружался. Включается, мигает экраном и вырубается. Я решил, что это проблема с BIOS или мосфетами линии питания, и решил рискнуть, приобретя этот ноутбук. Обошелся он мне всего в 60 евро.

Починить его удалось в тот же день, перепрошив BIOS. Проблема оказалась именно в нем. Как я подозреваю, предыдущий владелец пытался обновить прошивку и по какой-то причине ноутбук выключился, после чего и начались проблемы.

После этого переставил жесткий диск, SSD, планку ОЗУ и получил отличную и производительную систему с Intel Core i5 (можно поменять на i7), собственным видеочипом и 16 ГБ ОЗУ. Напомню, стоимость системы 60 евро + время, которое я потратил на поиск, ремонт, перенос железа из одной машины в другую.


^{Это материнская плата Sony Vaio SVE15 ремонтопригодная, отлично подходит для апгрейдов}
Она свободно справляется со всегда открытыми мессенджерами, видеоколлами, браузером с открытыми 5-20 вкладками (включая Google Docs), YouTube с FullHD воспроизведением и несколькими побочными задачами. Это все, повторюсь, не поочередно, а все вместе.

Почему в ближайшие несколько лет я не буду обновлять ноутбук

Есть несколько важных факторов, которые влияют на решение не покупать новый ноутбук.

• Фактор целесообразности. Сейчас меня полностью все устраивает. Это не просто принцип работает не трогай, а именно полное удовлетворение возможностями, которые дает этот ноутбук. Конечно, производительность можно увеличить, то если сейчас нет видимых лагов, тормозов при воспроизведении видео в режиме HD (4K ноутбук тоже тянет, но мне настолько качественный видеопоток и не нужен, тем более, что мониторы мои не 4K).
• Текущая конфигурация ноутбука полностью соответствует моим потребностям. Речь уже не о характеристиках железа, а о портах, включая HDMI и VGA, слоте для DVD, количестве USB-портов.
• Вопрос цены. За 60-100 евро я не смогу приобрести нечто более мощное, что, в целом, мне не особо и нужно. Ноутбук более чем оправдывает свою цену. Более того, сейчас, когда он работает, его можно продать где-то за 250-300 евро, если вдруг все же решусь на замену. Но работает он отлично, так что покупать 2-3 запасных ноутбука, как в случае с автором статьи об устаревших морально и физических устройствах, нет необходимости. А вдруг чего запасные части у меня есть, ведь ремонтом электроники я занимаюсь не первый год.
• Современное ПО полностью совместимо с аппаратной платформой. Все поддерживается и работает без всяких проблем.
• Этот ноутбук относительно легко отремонтировать. Его слабое звено графический чип, который иногда умирает. Но случается это в большинстве случаев из-за постоянного перегрева, если не обслуживать ноут. Я вовремя меняю термопасту, чищу ноутбук от пыли, так что особых проблем быть не должно. А появись они можно и отреболить чип или заменить его, благо, у меня есть и BGA-станция.
• Современные ноутбуки значительно сложнее отремонтировать. Чаще всего у них не процессор и видеочип, а комбайн, распаянный на плате. И вот его заменить очень непросто и недешево. Графический же чип для моего ноутбука стоит на Aliexpress примерно 12 евро.

^{Так выглядит комбайн}

• В порядке теории заговора предположу, что современные ноутбуки выходят из строя чаще, чем те устройства, что выпускались совсем недавно. Производителю не очень выгодно, когда пользователь может купить гаджет и работать с ним много лет. Гораздо интереснее когда люди обращаются с просьбой отремонтировать или просто идут покупать новую модель после выхода из строя старой. На этом компания может заработать, и очень неплохо взять хотя бы Apple.