Русский
Русский
English
Статистика
Реклама

Dell emc

Как мы превратили статистическую аномалию в сервис новый уровень хранения в облаке

08.09.2020 10:16:23 | Автор: admin
imagestorage.cloud.croc.ru/c2-multimedia/habr_PR/ModifyIOPS_UI.gif

Практически любой бизнес сталкивается с плавающей нагрузкой: то тишина, то шквал. За примерами далеко ходить не надо:
  • посещаемость интернет-магазина может значительно колебаться в зависимости от времени суток или сезона;
  • внутренние сервисы компаний могут пустовать неделями, а накануне сдачи квартального отчета их посещаемость резко подскочит.

Под катом поговорим о том, как мы помогли клиентам решить эту проблему, внедрив новый уровень хранения с настраиваемыми показателями IOPS.

Пара слов о дисках


Все наши клиенты хотят плюс-минус одного получить надежную, соответствующую требованиям бизнес-процессов инфраструктуру по хорошей цене. Соответственно, перед нами как перед облачным провайдером стоит задача построить услуги и сервисы таким образом, чтобы для каждого клиента мы могли без труда подобрать оптимальное решение.
Ранее у нас было два уровня хранения данных: st2 и gp2. Цифра 2 в нашей внутренней терминологии означает более новую, улучшенную версию.

st2: Standard (HDD) неторопливые и недорогие носители на SAS HDD. Отлично подходят для сервисов, где IOPS не имеют решающего значения, но важна пропускная способность.
Параметры у них следующие: время отклика не более 10 мс, производительность дисков размером до 2000 ГБ 500 IOPS, от 2000 ГБ 1000 IOPS, а пропускная способность растет с каждым гигабайтом и доходит до 500 МБ/с на тех же 2000 ГБ.

gp2: Universal (SSD) более дорогие и быстрые накопители на SAS SSD. Подходят заказчикам, чьи приложения более требовательны к количеству операций ввода-вывода в секунду. Например базы данных интернет-магазинов.

Параметры gp2 указаны в SLA. Производительность в IOPS рассчитывается по объему на 1 ГБ приходится 10 IOPS. Верхняя планка 10000 IOPS. А время отклика таких дисков уже не более 2 мс. Это довольно высокая производительность, способная закрыть 97% бизнес-задач.

За годы работы мы накопили достаточно много статистики и экспертизы в отношении заказчиков и заметили, что некоторым из них не совсем комфортно выбирать из двух вариантов дисков. Например, кому-то требуется производительность повыше, чем 10 IOPS на гигабайт объема. Или плавающая нагрузка не дает возможность остановиться на одном из типов, а платить за готовые к часу пик, но периодически простаивающие мощности тоже не вариант.

Можно смоделировать простой злободневный кейс. В период пандемии одной компании потребовалось оформить пропуска для сотрудников. Чтобы они спокойно по Москве ездили. Штат большой, две тысячи человек. Вышел приказ срочно обновить личные данные в корпоративной CRM-системе. Сказано сделано. Больше тысячи человек одновременно бросились актуализировать информацию. Но CRM-кой занимались экономные люди. Мощностей выделили мало. Никто же не ожидал, что в нее больше десяти человек одновременно полезет! Все упало и еще сутки не могло подняться. Бизнес-процессы нарушились, люди сидят по домам и боятся штрафов. А если бы существовала возможность гибко подкрутить производительность дисков в облаке подняли бы IOPS ненадолго, а потом вернули, как было, исключив или значительно сократив время простоя CRM.

С одной стороны, ситуация гротескная, процент заказчиков с такими потребностями не очень велик. Маленький провайдер и вовсе принял бы их существование за статистическую аномалию и не предпринимал бы никаких действий. С другой организация нового уровня хранения позволит нам повысить гибкость услуг для всех клиентов. Значит, делать надо.

Если вы давно следите за нашим блогом, то наверняка помните статью, в которой мы рассказывали о череде экспериментов над Dell EMC ScaleIO (ныне PowerFlex OS) и его внедрении в Облако КРОК. Как бы то ни было, рекомендуем вам ознакомиться с ней для общего понимания.

В общих чертах скажем: ScaleIO (DellEMC переименовал ScaleIO сначала в VxFlex OS, а c 25 июня 2020 года в PowerFlex OS) супер универсальный и надежный Software-Defined Storage, SDS. У нас надежность это требование 0. Поэтому каждый узел, составляющий часть Storage Poolа установлен в отдельную стойку, что исключает возможность потери данных при частичной потере электропитания в ЦОД или локально в стойке.

Если из строя выйдет диск, сервер или целая стойка, у нас будет достаточно времени, чтобы отреплицировать данные на другие хосты и в последствии заменить сбойный элемент. Если умрут сразу две стойки, все равно ничего не потеряется. В этой ситуации кластер перейдет в аварийный режим, запись и чтение данных с дисков будет ограничено, но после восстановления связности с упавшей стойкой PowerFlex OS сам займется процессом Rebuildа данных и восстановления работы кластера. Такой процесс, кстати, чаще всего занимает не более пары минут.

Это, безусловно, аварийная ситуация приложения, которые не смогут писать и читать, тут же отвалятся, но потеря даже такой большой части инфраструктуры не уничтожит данные. Пусть вероятность отказа двух стоек в разных частях машинного зала крайне мала это не значит, что ее не нужно брать в расчет.

С точки зрения универсальности PowerFlex OS (бывш. ScaleIO) также идеально подходит под наши требования. Фактически это конструктор, готовый к приему любых нагрузок и способный принимать и медленные SATA/SAS HDD диски, и быстрые SSD, и ультра-скоростные NVME накопители. И это действительно правда проверено на многочисленных stage- и testing-стендах команд разработки и эксплуатации, собрать кластер можно практически из говна и палок любого старого железа.

Музыка с пяти до шести

Давайте рассмотрим один из сценариев, в которых заказчику может потребоваться гибкая производительность, на реальном примере. Среди наших клиентов есть сеть магазинов музыкальных инструментов. Технические специалисты компании отслеживают, сколько посетителей посещают их сайт в каждый день и час. Это отражено даже в нашем SLA: с 17:00 до 18:00 магазин получает максимальное количество покупателей, поэтому никаких технических работ или простоев быть не должно.

Стандартная практика расчетов когда 100% нагрузки делятся 24 часа. Выходит примерно 4% на каждый час. У сети музыкальных магазинов этот конкретный час весит не 4, а 10% это десятки тысяч посетителей и покупателей.

Соответственно, заказчику было бы очень удобно, если бы в этот золотой час их диски как по волшебству становились быстрее, клиент жирнее, а в остальное время стоили и работали, как обычно. Добиться такого эффекта в случае с двумя типами дисков очень сложно.

Теперь у нас появилась возможность в самые нагруженные часы выдавать клиентам хоть 30, хоть 50 тысяч IOPS, а в остальное время держать производительность на обычном уровне. Такой тип хранения мы назвали io2: Ultimate (SSD). Время отклика дисков на основе этого типа хранения уже не более 1 мс!

И снова о надежности: st2, gp2 и новый io2 это самостоятельные, независимые друг от друга Storage Poolы в кластере PowerFlex.

Если раньше клиент выбирал диск и получал фиксированную производительность, то теперь он может ее, производительность, выбирать и настраивать. Вне зависимости от объема. Философия здесь следующая: получить огромный и быстрый диск можно у большого количества провайдеров, но готовы ли вы платить за него 100% времени?

Как управлять


Управлять производительностью можно двумя способами: по старинке, через веб-интерфейс, и с помощью API. Это дает возможность написать простые скрипты, которые по расписанию будут ускорять или замедлять диски и, соответственно, экономить ваши ресурсы.

Если раньше мы могли принять любую нагрузку, требующуюся клиенту, теперь мы можем сделать это по оптимальной цене.

Вот, как это выглядит на практике

Повышение адаптивности облачной инфраструктуры это актуальный и очень правильный тренд. Нельзя говорить заказчику: бери, что дают, а то и этого не будет!. Он должен иметь возможность решать, какие ресурсы, когда и в каком объеме ему требуются. Именно за такими гибкими и надежными решениями будущее.

За свои сервисы мы ручаемся: все параметры прописаны в SLA, и вы можете рассчитывать на то, что бумажные цифры с реальными не разойдутся.
А как проверить своего облачного провайдера, мы уже писали в предыдущей статье.
Подробнее..

Функция AppsON в Dell EMC PowerStore запускаем приложения прямо на массиве

10.03.2021 10:18:02 | Автор: admin
Мы продолжаем цикл статей о нашей новой линейке систем хранения данных PowerStore. Этот материал посвящен уникальному функционалу, позволяющему запускать на борту системы пользовательские приложения AppsON.

Для начала вкратце напомним основные особенности PowerStore. Система имеет микроконтейнерную архитектуру. Разные компоненты ОС выделяются в отдельные, изолированные функциональные элементы (контейнеры). Это обеспечивает простую переносимость функций, стандартизацию и быстрое внедрение нового функционала, а также максимальную гибкость развёртывания.



Как вы наверняка помните из предыдущей статьи, платформа PowerStore представлена двумя типами систем:

  • PowerStore T традиционная внешняя СХД, которая подключается к серверам для обеспечения потребностей в хранении информации.
  • PowerStore X гиперконвергентное решение на базе гипервизора VMware ESXi, который стал признанным фундаментом для большинства HCI решений. Забегая вперед, отметим, что гипервизор ESXi загружается на каждый из двух контроллеров, работающих в режиме active-active, а PowerStore OS работает как виртуальная машина на каждом узле.



Важно понимать, что после выбора типа системы PowerStore T или X, пользователи не cмогут переключаться между ними в силу архитектурных особенностей, которые мы и рассмотрим ниже.

Размещение гипервизора на борту PowerStore X позволяет одновременно запускать приложения пользователя и функционально организовать внешнюю дисковую систему хранения данных со всем привычным нам функционалом. Этот подход получил название AppsON.

Независимо от того, какую модель PowerStore выберет заказчик, он получает в части СХД одни и те же возможности, службы по работе с данными и полную отказоустойчивость.

Виртуализация функционала СХД обеспечивает не только дополнительную изоляцию и абстракцию операционной системы, но и предполагает в недалёком будущем новые варианты развёртывания платформы, в которых ПО хранения данных может быть развёрнуто на серверах заказчиков либо в облаке, причём без привязки к специально разработанным для этого аппаратным устройствам. С таким подходом мы уже сталкивались на примере Unity VSA (Unity Virtual Storage Appliance), когда заказчик на своем сервере мог развернуть полнофункциональную систему хранения данных.



В PowerStore X, как было отмечено выше, ОС запускается внутри виртуальной машины. Каждый физический узел содержит один экземпляр виртуальной машины с PowerStore OS Controller VM. Этот вариант ничем не отличается от PowerStore OS, работающей непосредственно на физических узлах PowerStore T, но в данном случае 50% аппаратных ресурсов зарезервированы для этой виртуальной машины. Остальные ресурсы доступны для клиентских виртуальных машин.

Для минимизации влияния на производительность СХД совместно с компанией VMware была разработана специальная технология проброса ключевых аппаратных ресурсов PowerStore (диски, чип сжатия и т.д.) напрямую в виртуальную машину PowerStore OS Controller VM. На выходе подобный механизм позволил получить сопоставимое время отклика от дисковой подсистемы с моделью PowerStore T.



Идеальным вариантом использования подобного решения являются рабочие нагрузки с интенсивным вводом-выводом (в отличие от нагрузок с интенсивным вычислением): например, базы данных. Ещё одним вариантом является консолидация, когда надо развернуть инфраструктуру, где фактически нет ЦОД или очень мало места. Кроме того, одновременно с запуском виртуальных машин, PowerStore X может выступать в роли внешней СХД и предоставлять ресурсы хранения серверам через FC или ISCSi.

Таким образом, мы получаем новый уровень унификации решения, а термин Unified Storage играет новыми красками.

Тезисно резюмируем вышесказанное перед тем, как идти дальше:

  • ESXi устанавливается непосредственно на каждый из контроллеров PowerStore X.
  • PowerStoreOS работает внутри виртуальной машины на каждом из контроллеров. Эта виртуальная машина называется Controller VM (контроллером виртуальной машины).
  • PowerStore X может предоставлять традиционные ресурсы хранения (такие как SAN/NAS/vVOl) внешним серверам и вместе с тем выполнять приложения пользователя.
  • Независимо от модели X или T, PowerStore разработан с использованием архитектуры Active/Active, оба узла имеют доступ ко всем дискам и ресурсам хранения.
  • Как и многие наши продукты, PowerStoreOS основана на операционной системе Linux, которая обеспечивает весь необходимый программный стек: API функции и точки интеграции, размещает веб-браузер для управления системой.
  • PowerStoreOS реализована в виде контейнеров Docker. Контейнерная реализация упрощает обслуживание и развитие платформы, поскольку новые сервисы (контейнеры) можно легко и быстро добавить, а затем и перевести в оперативный режим. Если контейнер необходимо перезагрузить или изменить, то для этого не нужно останавливать весь стек. Это также обеспечивает больший потенциал для интеграции в портфель продуктов Dell Technologies, поскольку новые функции могут быть легко развёрнуты в среде докеров для PowerStore для использования.
  • В модели PowerStore T 100% системного ЦП и памяти используются PowerStoreOS.
  • В модели PowerStore X 50% ЦП и памяти зарезервированы для PowerStoreOS, что гарантирует наличие ресурсов для служб хранения данных, а остальные 50% доступны для запуска виртуальных машин пользователей.




На рисунке представлено наглядное сравнение двух подходов:

  • Отдельный физический сервер, на котором запущен ESXi, подключается через FC или iSCSI к внешнему массиву хранения (в данном примере Unity). На сервере работает приложение (внутри виртуальной машины), которое получает доступ к ресурсам хранения данных.
  • PowerStore X содержит одновременно вычислительные компоненты и компоненты хранения данных. Два отдельных хоста ESXi (оба контроллера) образуют единый вычислительный кластер. Виртуальная машина Controller VM запускает PowerStoreOS, которая предоставляет доступ к внутреннему хранилищу для любых встроенных приложений или (при необходимости) предоставляет ресурсы хранения для внешних хостов.
  • PowerStore X может предоставлять ресурсы хранения внешним потребителям так же, как это делает обычная СХД.
  • PowerStore X может выполнять приложения пользователей и обеспечивать их потребности в ресурсах хранения через внутренний интерконнект.
  • PowerStore X может быть легко интегрирована в вашу виртуальную ферму. Одно из преимуществ, которое вскоре станет доступно, vMotion для бесшовной миграции ВМ между вашими системами.




Сценарии использования


Консолидация рабочих нагрузок


Очевидным сценарием использования возможностей функционала AppsON является консолидация рабочих нагрузок в рамках одной PowerStore X. Практика внедрения и использования систем PowerStore показала востребованность такого подхода, что подтверждается статистикой продаж. Нашим заказчикам пришлась по вкусу возможность иметь одну систему взамен комплекса различных устройств сервер, SAN-коммутаторы, СХД. Для бизнеса малого и среднего размера, а также для задач не требовательных к большому объему оперативной памяти, такой подход оказался экономически и технически интересным.

Удалённые филиалы (ROBO)


Интересный сценарий применения PowerStore X размещение системы в удалённых филиалах, где не требуется мощная инфраструктура, используются типовые офисные приложения, а технический персонал состоит из одного или двух администраторов-многостаночников. В такой ситуации минимизация нагрузки на сотрудников и упрощение применяемых решений один из важнейших критериев при выборе решения.
При таком подходе компактный форм-фактор 2U, простота развёртывания, гибкая архитектура, способность поддерживать несколько типов данных, централизованное управление и расширенная репликация в основные центры обработки данных делают PowerStore идеальным решением для периферии. Филиалы компаний и магазины розничной торговли, распределительные центры и склады, поликлиники и больницы, где пространство и ресурсы ограничены и где нет узкоспециализированных специалистов, смогут воспользоваться преимуществами простой системы, способной заменить собой целый комплекс различного оборудования и программного обеспечения.

Гиперконвергенция


Безусловно PowerStore также можно развернуть и в основном центре обработки данных. Благодаря интеграции с VMware, IT-специалисты могут легко и эффективно балансировать рабочую нагрузку в наиболее эффективную для нее среду на основе потребностей приложений и доступности ресурсов.

Управление кластером PowerStore в сочетании с инструментами VMware, включая vMotion, обеспечивает беспрепятственную мобильность приложений между PowerStore и другими узлами VMware. Приложения можно развернуть, например, на серверах, гиперконвергентной инфраструктуре или на самом PowerStore, а затем прозрачно для приложения переносить его между этими системами.

Аналитика


Предприятия в различных отраслях активно внедряют широкий спектр сценариев использования интернета вещей. Им часто приходится анализировать большие объемы данных и информации в режиме реального времени. Широкое распространение также получают различные устройства вроде датчиков и видеокамер. Они создают непрерывный поток структурированных и неструктурированных данных: видео- и аудиоконтент, файлы с текстовыми записями или строчки в базах данных. Всё это необходимо анализировать в режиме реального времени с целью принятия оперативных решений или для передачи данных или команд в другие информационные системы. В подобных сценариях анализ данных непосредственно на источнике хранения данных является одним из самых эффективных подходов и, безусловно, для решения таких задач система PowerStore тоже подойдёт отлично.

Интеграция с vCenter


Многие наши заказчики используют VMware vSphere в качестве основной платформы виртуализации для всех своих IT-систем. Таким заказчикам важно понимать, что PowerStore X глубоко интегрирован с VMware vCenter, а следовательно создание виртуальных машин и управление ими ничем не отличается от управления простым внешним сервером ESXi.

Известно, что для взаимодействия VMware и систем хранения данных используется VSI провайдер (Virtual Storage Integrator), который обеспечивает возможности выделения ресурсов хранения, управления и мониторинга непосредственно из интерфейса клиента VMware vSphere.

Выполнение и контроль стандартных задач администрирования хранения можно выполнять прямо из vSphere, без необходимости запуска интерфейса управления PowerStore. Подключаемый модуль VSI обеспечивает менеджмент системы хранения, позволяя администраторам легко управлять базовым хранилищем, на котором размещаются их виртуальные машины.



PowerStore поддерживает простую настройку виртуальных машин с использованием vVol, а также отображает много полезной информации о них. Таким образом, заказчики, сделавшие выбор в пользу семейства PowerStore, получают систему с простым управлением и мониторингом, нативной интеграцией с продуктами VMware и возможностью размещения виртуальных машин на самом массиве. В статье мы привели несколько практических примеров использования данного функционала, основанных на реальном опыте эксплуатации AppsON у наших заказчиков. Уверены, что со временем их станет ещё больше, и нам будет о чём рассказать в следующих статьях, посвященных системам PowerStore.
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru