Что значит максимально возможный уровень, придумали что-то новенькое?
Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует система классификации Tier.Сертификация дата-центров на уровни Tier проходит по нескольким программам:
-
Сертификация проектной документации (Design Documents)
аудиторы проверяют пакет проектных документов по основным
инженерным системам: кондиционирование, энергоснабжение. Также
изучают документы по смежным системам, например,
топливоснабжению.
-
Сертификация построенного ЦОД (Constructed Facility)
здесь смотрят на соответствие построенного дата-центра
сертифицированному проекту и проверяют инженерные системы при
полной проектной нагрузке. Когда клиентского ИТ-оборудования еще
нет, нагрузку имитируем тепловыми пушками.
Этот уровень сдают только после Design.
-
Сертификация эксплуатационной устойчивости (Operational
Sustainability) тут идет комплексная оценка эксплуатационных
практик. Как именно это происходит, мы уже подробно
рассказывали.
Для сертификации по этой программе нужно сначала сдать Design и Facility.
Еще есть программа Management&Operations для проверки эксплуатации. Но это несертификация, а аудит дата-центра, так что подробно останавливаться не будем.
Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.
Почему мы так много говорим про стандарты Tier?
Система Tier содержит список требований к дата-центрам разных уровней. Но там нет конкретных объяснений, как это сделать, только требования к надежности инфраструктуры. Uptime Institute пишет:стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных непохожи друг на друга
А значит, есть несколько вариантов, как соблюсти требования.
Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах.
Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:
- 2014 год прошли аудит Management&Operations.
- 2015 год дата-центр NORD-4 получил сертификат Design.
- 2016 год сертифицировали NORD-4 на Facility.
- 2018 год у NORD-4 появился сертификат Operational Sustainability.
- 2020 год NORD-4 подтвердил сертификат Operational Sustainability.
Что дальше:
- 2020 год совместно с Ростелеком-ЦОД начали строительство дата-центра в Остаповском проезде и его подготовку к сертификации на Tier IV.
- 2020 год во втором полугодии планируем сдать в Uptime Institute проект NORD-5.
- 2021 год планируем сертифицировать NORD-5 на Tier III по программе Facility.
Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге.
В чем основное отличие уровней?
Я уже немного рассказывал про схемы резервирования, характерные для разных Tier.Посмотрим на сравнительную таблицу в стандарте:
Вот так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):
- Tier I используется N минимальное количество оборудования для работы ЦОД, то есть резерва нет.
- Tier II инженерное оборудование резервируется по схеме N+1.
- Tier III по схеме N+1 резервируется инженерное оборудование и пути дистрибуции: кабели питания, трассы, трубопроводы.
- Tier IV если случается единичный отказ любого оборудования, все равно остается N активных компонентов.
Но дело не только в энках, особенно в случае с Tier IV. Главное отличие Tier IV это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны секционирование (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.
Tier IV отличается от Tier III схемой резервирования оборудования 2(N+1)?
Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно.Что такое отказоустойчивость в Tier IV? Чем отличается от Tier III?
В дата-центре Tier III мы допускаем ситуации отказа, где сотрудники должны вмешаться и переключиться вручную между резервными элементами.В Tier IV такие переключения отсутствуют или происходят автоматически.
Что такое непрерывное охлаждение в Tier IV?
Tier III формально допускает несильное повышение температуры в машзале, когда происходит отказ оборудования и мы переключаемся между основным и резервным кондиционером или чиллером.В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче.
Что значит в Tier IV системы не только зарезервированы, но и защищены от физического воздействия? В чем отличие от Tier III?
На четвертом уровне должно быть обязательное секционирование, или компартментализация путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены.Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию.
А если случится пожар?
Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.А если упадет метеорит?
Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами.Tier IV это в 2 раза дороже?
Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества.Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее.
