Uptime institute

Неделю назад мы рассказали о планах строительства нового дата-центра Tier IV и сразу получили несколько вопросов про этот уровень в классификации Uptime Institute. Из обсуждений в чатах получился полноценный FAQ. Так что сегодня развею самые живучие слухи про Tier IV и немного расскажу, какие требования Uptime Institute мы учитываем в проекте нового дата-центра.

Что значит максимально возможный уровень, придумали что-то новенькое?

Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует система классификации Tier.

Сертификация дата-центров на уровни Tier проходит по нескольким программам:

• Сертификация проектной документации (Design Documents) аудиторы проверяют пакет проектных документов по основным инженерным системам: кондиционирование, энергоснабжение. Также изучают документы по смежным системам, например, топливоснабжению.
  
• Сертификация построенного ЦОД (Constructed Facility) здесь смотрят на соответствие построенного дата-центра сертифицированному проекту и проверяют инженерные системы при полной проектной нагрузке. Когда клиентского ИТ-оборудования еще нет, нагрузку имитируем тепловыми пушками.
  Этот уровень сдают только после Design.
  
• Сертификация эксплуатационной устойчивости (Operational Sustainability) тут идет комплексная оценка эксплуатационных практик. Как именно это происходит, мы уже подробно рассказывали.
  Для сертификации по этой программе нужно сначала сдать Design и Facility.
  

Еще есть программа Management&Operations для проверки эксплуатации. Но это несертификация, а аудит дата-центра, так что подробно останавливаться не будем.

Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.

Почему мы так много говорим про стандарты Tier?

Система Tier содержит список требований к дата-центрам разных уровней. Но там нет конкретных объяснений, как это сделать, только требования к надежности инфраструктуры. Uptime Institute пишет:

стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных непохожи друг на друга

А значит, есть несколько вариантов, как соблюсти требования.

Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах.

Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:

• 2014 год прошли аудит Management&Operations.
• 2015 год дата-центр NORD-4 получил сертификат Design.
• 2016 год сертифицировали NORD-4 на Facility.
• 2018 год у NORD-4 появился сертификат Operational Sustainability.
• 2020 год NORD-4 подтвердил сертификат Operational Sustainability.

Что дальше:

• 2020 год совместно с Ростелеком-ЦОД начали строительство дата-центра в Остаповском проезде и его подготовку к сертификации на Tier IV.
• 2020 год во втором полугодии планируем сдать в Uptime Institute проект NORD-5.
• 2021 год планируем сертифицировать NORD-5 на Tier III по программе Facility.

Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге.

В чем основное отличие уровней?

Я уже немного рассказывал про схемы резервирования, характерные для разных Tier.

Посмотрим на сравнительную таблицу в стандарте:


Вот так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):

• Tier I используется N минимальное количество оборудования для работы ЦОД, то есть резерва нет.
• Tier II инженерное оборудование резервируется по схеме N+1.
• Tier III по схеме N+1 резервируется инженерное оборудование и пути дистрибуции: кабели питания, трассы, трубопроводы.
• Tier IV если случается единичный отказ любого оборудования, все равно остается N активных компонентов.

Но дело не только в энках, особенно в случае с Tier IV. Главное отличие Tier IV это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны секционирование (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.

Tier IV отличается от Tier III схемой резервирования оборудования 2(N+1)?

Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно.

Что такое отказоустойчивость в Tier IV? Чем отличается от Tier III?

В дата-центре Tier III мы допускаем ситуации отказа, где сотрудники должны вмешаться и переключиться вручную между резервными элементами.
В Tier IV такие переключения отсутствуют или происходят автоматически.

Что такое непрерывное охлаждение в Tier IV?

Tier III формально допускает несильное повышение температуры в машзале, когда происходит отказ оборудования и мы переключаемся между основным и резервным кондиционером или чиллером.

В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче.

Что значит в Tier IV системы не только зарезервированы, но и защищены от физического воздействия? В чем отличие от Tier III?

На четвертом уровне должно быть обязательное секционирование, или компартментализация путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены.

Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию.

А если случится пожар?

Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.

А если упадет метеорит?

Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами.

Tier IV это в 2 раза дороже?

Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества.

Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее.