Цоды

Всем привет! Данная статья 2 по счету в блоге от команды ОЛЛИ ИТ на Хабре. Я искренне рада данной возможности, и надеюсь, что материалы нашего блога будут для вас полезны.

Для тех, кто никогда об этом не слышал

Задача любой ИТ-инфраструктуры сводится к обеспечению надежной платформы для бизнес-процессов компании. Традиционно считается, что качество информационно-технологической инфраструктуры оценивается по трем основным параметрам: доступность, безопасность, надёжность.

Самым очевидным шагом в будущее сталообъединение разрозненныхточек хранения данных и их обработки. Иными словами, почему бы не реализовать распределенную СХД не на отдельных серверах, а прямо на хостахвиртуализации, отказавшись тем самым отсети хранения и выделенного железа, и совместив таким образом функции.Речь идет огиперконвергенции.

Гиперконвергенцияберет свое начало в концепции конвергентной инфраструктуры.

Технологии в конвергентной инфраструктуре могут быть разделены и использоваться независимо друг от друга. Но при этом, эти же самые технологии вгиперконвергентнойинфраструктуре настолько тесно интегрированы, что не могут быть разбиты на отдельные компоненты.

На сегодняшний день наиболее распространенными системамигиперконвергенцииявляютсяNutanix,CiscoHyperflex,Vmware vSAN,Dell VxRAIL (комплекс сервера + ПО Vmware vSAN),HuaweiFusionCube,StarWindVirtual SAN и другое.Все они среди прочего доступны в России.

Но мало кто знает оPivot3!

Компания Pivot3 была основана несколькими ветеранами IT индустрии из компаний Compaq, VMware и Adaptec, движимыми идеей упрощения ЦОДов благодаря объединению ресурсов хранения, обработки и передачи данных в едином, мощном, легко встраиваемом решении, которое бы сокращало расходы, операционные риски, и упрощало управление в целом.Pivot3создаетгиперконвергентныерешения для критически важных инфраструктур в безопасных и интеллектуальных средах, таких как: университетские городки, города, аэропорты,call-центры, компании с большим штатом разработчиков,транспортные и федеральные объектыи т.д.

РешенияPivot3, разработанные специально для рабочих нагрузок на основе видео, таких как:видеонаблюдение, аналитика, визуализация и VDI, снижают совокупную стоимость владения, снижают риски иответственность, упрощаютуправление за счет автоматизации.Pivot3-этоединственная инфраструктураHCI,созданнаядля быстрой и удобной работы с большими объемами видеоданных.Ключевая и важная инновация-управление производительностью на основе политик, всестороннее использованиеNVMeи эффективное хранение.

ГиперконвергентныерешенияPivot3

Архитектура и функциигиперконвергентнойинфраструктурыPivot3обеспечивают значительные преимущества для инфраструктуры виртуальных рабочих столов (VDI). HCIPivot3оптимизирует развертывание виртуальных рабочих столов за счет минимизации объема инфраструктуры и совокупной стоимости владения, обеспечения оптимального взаимодействия с пользователем и упрощения перехода от пилотного к полномасштабному развертыванию.

Угиперконвергентнойинфраструктуры есть множество преимуществ. В первую очередь это инновационная технология, которая в ближайшие годы станетмейнстримоми сильно подвинет классические подходы к построению ЦОД. HCI помогает причесать разрозненную ИТ-среду, избавиться от необходимости управления несколькими системами, что несёт как организационный порядок, так и финансовую эффективность. Кроме того, сокращаются капитальные и операционные расходы. При классической инфраструктуре необходим штат специалистов, каждый из которых является экспертом в своей области,тогда как управлением HCI и всеми ее компонентами может заниматься одна группа администраторов.

Ниже представленыпримерыпреимуществгиперконвергентнойинфраструктуры* (HCI).

Гиперконвергентнаяинфраструктура (HCI)*

• Комбинация вычислительных ресурсов и ресурсов хранения;

• Стандартная платформаx86;

• Модульность;

• На базегипервизораотVMware;

• Большая гибкость;

• Лучшая эффективность использования;

• Подходит для VDI инфраструктуры;

• Высокие показатели компрессии идедупликацииданных.

Почемустоит обратить внимание наPivot3?

• Длязадачи, где обычно требуется 4узла,Pivot3необходимо всего3;

• Производительность базы данныхзначительно увеличилась(БД Микс пакеты 8k, комбинация запись/чтение, 100% случайное, глубина очереди 128, средние IOPS и задержка);

• Отклик приложений;

• Большее количество транзакций(больше 10);

• Большая плотность данных на один узел;

  

• Pivot3можетобеспечитьболеевыгоднуюэкономическуюценность, по сравнению сдругимипроизводителями, например-Nutanix.

  Pivot3: Направленность на производительность

  Прорыв в производительности дляHCI:

  HCIAcceleratorNodes

  

• NVMePCIeflashинтегрирован в многоуровневую архитектуру хранения;

• Постоянный уровень хранения,R&Wкэш;

• Управление расширенным QoS для повышения эффективности иприоритезации.

Многоуровневое хранение

Объемы хранимых данных ежегодно увеличиваются на 5080%, что заставляет разработчиков искать альтернативы сложным СХД с ограниченноймасштабируемостью, создавать решения, более эффективно использующие ресурсы ЦОД и сокращающие время простоя, а кроме того, упрощать администрирование за счет автоматизации операций, ведь расходы на управление также быстро растут. Эта задача повышения эффективности хранения данных решается с помощью консолидации и многоуровневого хранения. Многоуровневое, иерархическое хранение информации - один из подходов, которые приходят на смену экстенсивному наращиванию емкости хранения данных.

Сравним показатели!

В качестве примерасравним общие данные эффективности оборудования на примереPivot3.

1) Многоуровневое хранение

Одноуровневая архитектуруHCI

• Устаревшая архитектура SAS/SATA является ограничивающим фактором для производительности;

• Сложности с консолидацией разных типов задач.

  А теперь сравним ее смногоуровневойархитектуройPivot3:

• NVMeобеспечивает оперативный отклик;

• QoSавтоматически подбирает оптимальный уровень размещения данных для соответствияSLA;

• Результат эффективная консолидация разных типов задач.

Помимо многоуровневой архитектуры,Pivot3обладаетболее эффективнойутилизациейресурсов:

Часть ресурсов берётся уVMs:

• Более высокие накладные расходыHCIOS;

• Доступ к хранилищу черезгипервизор.

Более эффективно, большеVMs:

• Меньше накладных расходовHCI OS;

• Обходгипервизораозначает повышенную производительность хранилища.

Распределённая производительность

Традиционная архитектураHCI

• Объём хранения,IOPSи ширина канала ограничены;

• ВозможностиVMограничены производительностью конкретного узла.

Распределённая архитектураPivot3

• Объём хранения,IOPSи ширина канала агрегируются;

• VMдоступны все имеющиеся ресурсы.

  Pivot3 + Citrix

  Помимо всего перечисленного важно отметить, чтоCitrixиPivot3 объявили об укреплении сотрудничества для поддержки Citrix Virtual Desktops на платформе интеллектуальнойгиперконвергентнойинфраструктуры (HCI)Pivot3, что довольно актуально на сегодняшний день в связи с переходом сотрудников на удаленную работу.

Сеть технологических партнёров, с которыми сотрудничаетPIVOT3

Продуктовые линейкиотPivot3

• Оптимизация для работы вЦОДах;

• Консолидация множественных задач с разнообразными требованиями к ресурсам;

• Архитектура для полнофункционального использованияNVMe;

• Автоматизированное управление на основе политик;

• Широкий функционал по управлению данными корпоративного класса.

• Оптимизация для видеонаблюдения;

• Архитектура для сохранения целостности видеоконтента и предотвращения простоев системы и потерь данных;

• Масштабирование вычислительной мощности, ресурсов хранения или канала линейно и/или независимо;

• Доставка видеоконтента на любые устройства;

• Сертификация у основных производителей ПО для управлениявидеоконтентом.

  ***

  В заключениеможно сказать, что современные решения HCI от компанииPivot3сочетают в себе высокопроизводительныефлеш-каналыпередачи данных NVMe PCIe, механизмы обеспечения качества обслуживания на основе политик (QoS), распределенные ресурсы производительности и мобильность гибридных облачных систем для достижения максимальных рабочих показателей, гибкости имасштабируемости.

Мы регулярно проводим исследование рынка, составляем таблицы с ценами и кучей параметров по десяткам дата-центров. Вот подумалось, что не стоит пропадать добру. Кому-то может пригодятся сами данные, а другие могут взять за основу структуру. Втаблицахпредставлены данные с 2016 года. Но таблиц было мало и сделали ещё графики икалькулятор тарифов на размещение серверов, плюс дополнили открытыми данными из налоговой по оборотам налогам и сотрудникам, данными из RIPE (статус LIR, подсети и общее количество IPv4) и данным из рейтинга ping-admin (Uptime и аварии).

Кто попал в выборку

В таблицу за сентябрь 2020 года попали все кто находится в ТОП-20 в Яндекс и Google, присутствует там же на рекламных местах, и у кого есть цены на сайте. Если компании нет в эфире или цены по запросу, то она точно никому не конкурент на открытом рынке. Такая компания может даже иметь хорошие заказы, например, государственные, но это отдельная кормушка, там можно быть даже лидером, но это не имеет отношения к конкуренции на рынке.

Если часть цен закрыта, то данные не выводятся в этом диапазоне. Например, если сказано, что в тариф включено 350Вт или 100Мбит/c или 1 IP-адрес и ниже нет цен дополнительную мощность, расширение канала или дополнительные IPv4.

Проблемы ценообразования

В ценах на услуги colocation клиентов больше всего бесили скрытые платежи. Это было огромной проблемой в нулевых с трафиком. Никто же не знал заранее какой у него будет трафик и все боялись залететь. Но в тоже время чудес не бывает. Стоимость 100Мбит тогда была порядка 50 000р. Сейчас гигабит уже дешевле стоит. Время идёт, а ценообразование до сих пор у многих очень мутное, и на сайтах провайдеров нет исчерпывающего прайс-листа. Тарифы строятся по-разному, при определённых параметрах выгодно по цене у одного поставщика, при увеличении параметров, уже выгоднее у другого.

И, конечно, не надо забывать, цена далеко не единственный показатель. Смотреть нужно и другие параметры, хотя и сложнее сравнить. ihor почему-то попал в нашу таблицу. Не хотел его даже в базу добавлять. Но потом подумал, что как раз, будет отрицательный пример, компания одним сотрудником, 22 тысячами налогов и 43 тысячами взносов, вполне показательна. А ведь people хавает.

Общие тенденции и проблемы рынка

На графиках видно визуально общую тенденцию рынка.

Первый график показывает зависимость стоимости от мощности при прочих равных параметрах. Мощность больная тема как для клиентов, так и для дата-центров. Электричество одна из основных составляющих сейчас в ежемесячных расходах дата-центров, и тарифы на него правительство стабильно повышает. Хотя дешёвое электричество это в итоге производство, рабочие места и налоги. Мы вроде как энергетическая сверхдержава, но нельзя сказать, что у нас сильно конкурентоспособные цены по сравнению с Западными дата-центрами.

При этом с одной стороны, деньги берутся за воздух, так как считается по номинальной мощности, а не по потребляемой. По потребляемой мощности отдельный сервер посчитать сложно и дорого, нужно счётчик ставить на каждую розетку. Но с другой стороны, потенциально сервер же может работать почти на полную мощность блока питания. А ещё нужно учитывать, что к потребляемой мощности сервера нужно добавить 30% на охлаждение, 10% на промышленные ИБП, и ещё 10% на свет и офисные нужды. Но открою секрет, в среднем один сервер потребляет 100Вт, так как на стойку подводят 5кВт и этого хватает.

Основная масса хостеров берёт деньги за мощность. Но на рынке есть и те, кто не берут. Естественно, розетка всё равно имеет ограничение. Получить мегаватт по цене размещения одного юнита не получится.

У некоторых из тех, кто не берёт деньги за мощность на сайтах встречаются оговорки, что GPU-сервера, блейды и прочие печки размещают по отдельным тарифам.

Второй график показывает зависимость стоимости от скорости порта. Скорость каналов ещё более нетривиальная тема, чем электричество. У электричества нет понятия качества. Оно может мигать, но для этого есть ИБП+ДГУ. А вот два гигабитных канала могут быть очень и очень разного качества. Один может сливать всё в обменник, иметь плохую видимость, большие пинги, ограничения на заграничный трафик. И для каналов нет ни ИБП, ни ДГУ для подобных случаев. Поэтому цены на каналы сравнивать дело практически бесполезное.

Когда мы проводили исследования рынка по стоимости гигабита в Москве, то нам задавали вопросы: а что за трафик будет?, а какие пики?.

На межоператорском уровне тоже бардак с ценами. Каналы очень разные по деньгам и по качеству.

На что имеет смысл обращать внимание

Надо понимать, что тут, конечно, не может быть одного правильного мнения, всё зависит от задачи, и даже в подобных задачах каждый в конечно итоге решает сам, какие риски он принимает, а какие нет.

На наш взгляд сертификация по Tier III играет роль. И это не только на наш взгляд, так как реклама пестрит Tier III. Вы можете набрать в Яндексе: размещение сервера в дата-центре, нажать Ctrl+F и посчитать сколько раз встречается слово Tier.

Но с этой сертификацией и позиционированием себя как Tier III многие попали в ловушку. Нормальный дата-центре по Tier III это когда три сертификата: на проект, на возможности и на эксплуатацию, причем последний каждые два года подтверждать нужно. А у многих нет даже на проект сертификата.

Обороты показывают большие компании и маленькие. Средних почему-то нет. Плюсы и минусы больших и маленьких понятны. Ряд больших компаний, кстати, совсем не занимаются мелкой розницей. Они нацелены на крупных клиентов и продают услугу colocation только стойками. И это правильно. Когда мы были в БСТ, то у них вечно бомбило от нашего маркетинга. Ну не умели они и не могли давать хороший сервис в розницу. Это разный бизнес и разные услуги. Нельзя забивать сапожные гвозди кувалдой. От себя ещё скажу, что при прочих равных поддерживайте малый бизнес ради разнообразия и конкуренции.

Заключение

Не всех добавили в базу. Поэтому можете присылать данные кого стоит добавить. Но у желающих должны быть на сайте цены.

Если знаете ещё источники данных, которые бы следовало подгрузить, то сообщите, постараемся добавить.

Сегодня отправимся в Калининский район Санкт-Петербурга и со всех сторон посмотрим на дата-центр "Ростелеком-ЦОД", который запустился в декабре 2020 года. Новый ЦОД построили "с нуля" недалеко от корпусов завода ЛОМО по адресу: ул. Жукова, 43 (не путать с проспектом Маршала Жукова!).

Пять лет назад здесь было заброшенное строительство мазутохранилища (любим строить на территориях старых заводов). Сейчас на петербургской площадке заказчики уже арендовали первые стойки и заработали облачные сервисы DataLine.

Несколько фактов про ЦОД

• Общая площадь: 4 266 кв м.

• Общая емкость: 792 стойко-мест.

• 4 машинных зала, до 198 стоек каждый.

• Проектная мощность: 7 400 кВт.

• Соответствует стандарту Tier III.

Из истории

Перспективную территорию в Санкт-Петербурге заметили еще в 2016 году. Когда-то давно здесь хотели построить мазутохранилище для ТЭЦ, но в конце 1980-х строительство забросили, и площадка так и оставалась невостребованной.

Зато этим местом интересовались киношники. В огромных резервуарах стояла вода, в них проходили подводные съемки для петербургских фильмов.

В 2018 году здесь начался демонтаж.

Затем площадку дренировали и подготовили почву к строительству. Так как местность оказалась болотистой, фундамент дополнительно укрепили с помощью бетонной плиты на глубине 8 метров.

В 2019 основное строительство завершилось, а в 2020 началось самое интересное: монтаж инженерных систем. Мы немного следили за процессом и делились наблюдениями в соцсетях по хештегу #дневникстройки заглядывайте по ссылке, если тоже любите стройку.

Посмотрим, что появилось на месте стройплощадки.

Физическая безопасность

Добраться до дата-центра в Санкт-Петербурге удобнее всего по улице Чугунной. На общественном транспорте можно доехать до ст. м. "Выборгская" и сесть на маршрутку К-283 до остановки "Чугунная, 46". Вход и въезд через ворота со стороны ул. Чугунной.

На территории дата-центра действует пропускная система: заранее заказываем пропуск и на входе предъявляем охраннику паспорт. Водителям на своем авто также нужно указать номер машины.

Первый пункт охраны находится уже у въездных ворот и защищает от несанкционированного доступа всю территорию. Внутри достаточно места для парковки, спокойно выбираем.

Вся прилегающая территория хорошо просматривается благодаря видеокамерам.

Внутрь здания дата-центра проходим через турникет мимо еще одного поста охраны. Здесь оборудован "наблюдательный пункт": охранники видят трансляцию со всех внутренних и внешних камер наблюдения.

Машинные залы

На первом этаже симметрично расположены 2 независимых модуля. В каждом из них по 2 машинных зала с собственными энергоцентром и хладоцентром.

Нужный машзал легко найти по навигации на стенах. Залы назвали в честь островов Санкт-Петербурга:

Каждый модуль расположен в специальной гермозоне с защитой от воды, пыли и огня. Перед запуском дата-центра инженеры проверили герметичность каждого защитного короба. Для этого крышу гермозоны проливали водой, как во время серьезного потопа, и проверяли на протечки. В норме даже при стихийном бедствии вся вода стекает по желобам вокруг гермозоны в специальный трубопровод.

Внутри каждого машинного зала можно разместить до 198 стоек от 5 кВт. Например, этот зал пока пустой, но скоро стойки отправятся на свои места.

Как и во всех наших дата-центрах, можно арендовать стойко-место, кейдж или целый зал. Стойки устанавливаем под запросы заказчиков. Можно выбрать стойки с удобным форм-фактором, учесть требования по СКС и физической безопасности.

Стойки в залах расставлены по принципу горячих и холодных коридоров. Оборудование выбрасывает нагретый воздух в горячий коридор и забирает охлажденный воздух из холодного коридора через перфорированные плитки фальшпола. В каждом холодном коридоре поддерживается температура 232 градуса и влажность 3070 %.

Несущая способность фальшпола до 2 тонн на квадратный метр. Такая поверхность выдержит легковой автомобиль, например, Hyundai Solaris. Под фальшполом проходят все основные коммуникации инженерных подсистем. Например, эти желтые трубы отвечают за подачу огнетушащего газа в случае пожара:

Такие же желтые трубы расположены под потолком. При пожаре в зал через распылители поступит специальный огнетушащий газ.

Каждый коридор между стойками просматривается с двух сторон с помощью камер видеонаблюдения.

Энергоснабжение

Cистема энергоснабжения в дата-центре зарезервирована по схеме 2N. В ЦОДе 2 отдельных энергоцентра в каждом модуле.

В случае любой аварии один энергоцентр обеспечит питанием залы не только в своем модуле, но и в противоположном.

Каждый модуль оборудован источниками бесперебойного питания (ИБП) и дизельными генераторными установками (ДГУ). Все ИБП тоже зарезервированы по схеме 2N. То есть к каждой стойке подходят 2 независимых ввода бесперебойного электропитания.

Если питание от одного городского ввода пропадает, ИБП автоматически передадут его нагрузку на аккумуляторные батареи (АКБ).

Дата-центр может работать от АКБ до 10 минут. Этого времени хватает для запуска ДГУ. Именно ДГУ отвечают за гарантированное энергоснабжение: даже если весь город обесточен, ДГУ обеспечивают бесперебойную работу оборудования в ЦОДе.

Установки тоже зарезервированы по схеме 2N: трех ДГУ уже достаточно для питания четырех машзалов, а в дата-центре их 6. Система спроектирована таким образом, что зарезервированы не только ДГУ, но и трассы.

Во время работы ДГУ довольно сильно вибрируют. Чтобы вибрация не влияла на основной фундамент, все ДГУ установлены на отдельное бетонное основание.

Каждый дизельный двигатель потребляет примерно 300 литров в час. Топливохранилище ДГУ рассчитано на 25,2 куб. м. При максимальной проектной загрузке ЦОДа ДГУ могут работать в аварийном режиме 12 часов без дозаправки. В рабочем режиме и при нормальной загрузке гораздо больше.

Когда дизель работает и топливо начинает заканчиваться, срабатывают датчики, которые запускают систему насосов. Насосы начинают подавать топливо из топливохранилища. Как только топливо поднимется до нужного уровня, снова сработает датчик, который даст команду закрыть задвижки на трубах и отключить насосы.

Если же запасы начнут истощаться, топливо для дозаправки подвезут за 6 часов. Все сроки прописаны в контракте с поставщиком, предусмотрены премии за быстрое выполнение заказа. Заправка на работу дизеля не влияет.

Для топливозаправщика на территории ЦОДа оборудована специальная площадка. На месте заправки поставщик подключается к трубопроводу, открывает задвижки и насосы автоматически начинают работу.

Холодоснабжение

Охлаждение оборудования обеспечивает чиллерная схема холодоснабжения с этиленгликолем в качестве теплоносителя. На крыше работают чиллеры и охлаждают циркулирующий в трубах гликоль. В двух хладоцентрах на первом этаже находятся насосы, расширительные баки, разводка всех труб и оборудование для управления системой. А в машинных залах, помещениях АКБ, энергоцентре и телеком-аппаратных установлены внутренние блоки кондиционеров.

Все элементы зарезервированы по схеме N+1. Это значит, что выход из строя любого из элементов не повлияет на работу системы: нагрузка распределится между оставшимся оборудованием.

В каждом машинном зале установлено 8 прецизионных кондиционеров Vertiv PCW PH136EL. 4 из 8 кондиционеров в зале с функцией пароувлажнения.

Кондиционеры забирают теплый воздух из горячего коридора в машинном зале. Внутри кондиционера есть теплообменник, от которого нагретый этиленгликоль отправляется в обратную магистраль системы холодоснабжения.

К обратной магистрали подключены расширительные баки: они ограничивают колебания давления из-за разницы температур.

Из обратного контура насосы забирают нагретый этиленгликоль и отправляют его на крышу к чиллерам, чтобы охладить до 10 градусов.

Трубы на крышу идут через вентиляционные камеры на втором этаже.

На крыше установлены 6 чиллеров Vertiv FD4130-LN. Чиллеры окружены звукоизолирующими панелями. Дата-центр расположен в стороне от жилых кварталов, но так мы точно уверены, что шум не выйдет за пределы промзоны.

Здесь же на крыше находятся аккумулирующие баки. В них хранится охлажденный этиленгликоль на случай отказа электропитания чиллеров. Если городское электропитание пропадает, во время перехода на ДГУ часть чиллеров перезапускается. Для выхода на рабочую мощность чиллерам нужно до 5 минут, а баков хватит на 6 минут.

Пожарная безопасность

Дата-центр оборудован газовой станцией пожаротушения. Отсюда трубы расходятся по всему дата-центру: в нашей системе пожаротушения 16 направлений. Система зарезервирована по схеме 2N. Всего здесь стоит 24 баллона, на каждое направление тушения предусмотрен основной и резервный запас огнетушащего вещества. Внутри баллонов находится хладон-227еа, этот газ безопасен для ИТ-оборудования в ЦОДе.

Если в помещении возникает дым, система автоматической пожарной сигнализации отправляет сигнал от датчиков пожарообнаружения. Сигналы поступают в диспетчерскую, где сидят дежурные инженеры. Здесь расположен контрольно-индикационный блок, где сразу загорается табло "ТРЕВОГА" или "ПОЖАР". Если сработали оба датчика, в дата-центре запустится система оповещения.

Чтобы дежурные могли быстро понять, где и какой датчик сработал, на мониторы автоматизированного рабочего места выведена вся схема здания с расстановкой датчиков.

Инженер смены отправляется на место возможного возгорания и уже там принимает решение о пуске газа. Порядок действий четко прописан: сначала проверяем, что в месте срабатывания нет людей и никто не пострадает. Если это действительно пожар, дежурный заботится об эвакуации людей и только после этого вручную запускает систему пожаротушения. Пуск газа предусмотрен возле каждой двери:

Мониторинг

В систему мониторинга стекаются сигналы от всего инженерного оборудования. Инженеры круглосуточно отслеживают основные показатели работы: состояние систем энергоснабжения и кондиционирования, климат в каждом зале, физическую безопасность. Для наблюдения за многими параметрами в центре мониторинга оборудована видеостена. У дежурных в диспетчерской также стоит отдельный монитор для слежения за системой. Здесь можно "провалиться" внутрь и посмотреть состояние оборудования и его параметры.

Все показатели систем мониторинга со всех площадок сводятся в единый ситуационный центр в Москве.

Телеком

В дата-центр независимыми маршрутами заведены 2 телеком-ввода от магистралей "Ростелекома".

Также на площадке есть операторы со своей оптикой: Северен-Телеком, ОБИТ, Комфортел. Еще здесь работает Филанко и скоро появится Авантел. Дата-центр готов принять любого телеком-провайдера, удобного клиенту.

На площадке обеспечивается надежная сетевая связность с другими дата-центрами группы "Ростелеком-ЦОД".

Вспомогательная инфраструктура и быт

Для транспортировки оборудования предусмотрено несколько зон погрузки и разгрузки. Вот один из заездов с пандусом:

Так выглядит зона разгрузки внутри:

Не забыли и про бытовые удобства. На кухне почти все готово, скоро здесь появится еще и гарнитур с удобными ящиками для хранения посуды:

Команда дата-центра весь 2020 год готовила новую площадку для комфортной работы коллег и клиентов, несмотря на пандемию.Строительство и эксплуатация дата-центра организованы по нашим единым стандартам, за качество отвечала петербургская часть большой команды "Ростелеком-ЦОД".

Будем рады видеть вас в гостях! Приезжайте в Санкт-Петербург знакомиться и на экскурсию.

В новостях про запуск дата-центров вы обязательно встретите упоминание мощности в киловаттах на стойку. За последний год наша объединенная команда DataLine и Ростелеком-ЦОД запустила 4 дата-центра, и мы каждый раз сталкивались с комментариями в соцсетях и вопросами в чатах:

Сегодня по порядку ответим: как мы считаем мощность на стойку, почему эта цифра не ограничивает заказчика, а наоборот, экономит его ресурсы. Объясню с точки зрения статистики и возьму пару наглядных аналогий из популярной книги Статистика и котики (очень классного пособия для обновления забытых знаний).

Представим, что у нас 10 котиков (а мы знаем примеры, когда и 100 котиков бывает). Самый маленький котик ест 1 кг корма, средний 3, а самый крупный вообще 10. Мы не покупаем каждому по 10, а подсчитываем общий расход корма на всех и планируем покупки из среднего значения. Так же, ну или почти так же со стойками.

Как мы считаем киловатты на стойку и причем тут котики

Показатель средней мощности на стойку помогает провайдеру еще на этапе проектирования спланировать основные ресурсы: электричество, холод и место. В случае с котиками такие ресурсы тоже есть: корм, вода и туалет.

Этот вид планирования называют capacity management (можете так и передать своим пушистым). Мы уже рассказывали о нем раньше в другой статье. Напомню, что основной принцип такого планирования электричество, холод и место в дата-центре должны заканчиваться одновременно. Мы не можем допустить использование какого-то ресурса вхолостую и потому следим, чтобы все расходовалось равномерно. С закупками для котов бывает похожая ситуация: оптимальнее покупать корм и наполнитель сразу, еще и скидку от зоомагазина получить.

Когда мы проектируем новый ЦОД, то сначала планируем самый неэластичный ресурс, который нельзя добавить потом. Чаще всего это место: у нас есть площадка определенного размера, на которой мы не можем разместить бесконечное число стоек. Выясняем площадь, расставляем на ней оборудование, потом планируем мощность для него. Иногда бывает и наоборот, но в этом контексте не так важно. В самом конце расставляем холод, с ним проще всего.

Чтобы подвести достаточно электричества к каждой запланированной стойке, нужно знать ее потребление. Возникает вопрос, как предсказать мощность стоек. Тут есть 2 варианта дата-центров:

• Если это корпоративный ЦОД, то требования компании могут включать любое количество высоконагруженных стоек. Например, недавно мы спроектировали для заказчика зал со стойками более 15 кВт.

• Если это коммерческий ЦОД с множеством независимых заказчиков, нужно оценить реальные потребности рынка.

Во втором случае нам помогает наша статистика. Вот уже 13 лет мы ежеминутно собираем данные по потреблению наших 5000 стоек.

В статистику входят компании из разных отраслей. У кого-то уходит 7 кВт на стойку, у кого-то 3 кВт. Мы считаем среднее арифметическое по потреблению и смотрим динамику за последние годы. Сейчас в среднем получаем 4 кВт на стойку. Рост потребления с 2010 года составляет не больше 100 ватт на стойку в год. Так что для нового дата-центра мы закладываем небольшой запас и получаем те самые 5 кВт на стойку.

Знатоки статистики скажут, что среднее арифметическое не единственный способ узнать центральную тенденцию. И будут правы. Среднее арифметическое не сработает, если у нас есть высоконагруженные стойки, которые существенно сдвинут среднее в свою сторону. Обратимся к таким случаям.

Как статистика учитывает исключения из правила

Основной контраргумент в споре про 5 киловатт примерно такой: Если я поставлю в стойку 3 блейд-корзины, они будут потреблять существенно больше 5 кВт, и что тогда? Давайте разбираться с точки зрения статистики и реальной практики.

Начну с теоретической статистики. Прожорливые стойки намного больше среднестатистической называют выбросом. Для статистики это выглядит так:

Чтобы среднестатистическая стойка отражала реальную ситуацию в машзале, из совокупности рекомендуют убирать 510 % экстремально больших и экстремально маленьких значений и считать усеченное среднее. Так в статистике очищают выборку от исключительных случаев.

Значит, при проектировании мы всегда должны учитывать долю нестандартных стоек у заказчиков. Сейчас кажется, что мы все чаще видим в наших дата-центрах оборудование для high-performance computing с потреблением в районе 25 кВт. Но, по сухой статистике, это все еще пара десятков серверов на зал: как раз вписываются в те самые 10 % выброса.

Допустим, у нас в машинном зале стоит 198 стоек со средним потреблением 5 кВт. Добавим пару стоек в 25 кВт и посчитаем среднее:

(1985+225)/200 = 5,2

5,2 кВт, совсем небольшая разница. Но если таких мощных стоек будет уже 10 (около 5 %), то среднее значение отклонится на целый киловатт:

(1985+1025)/208 =5,96

При этом типичная стойка в этом зале по-прежнему будет потреблять 5 кВт.

На практике эти подсчеты не означают, что мы не учитываем потребности заказчиков с нестандартными стойками. В прошлый раз мы уже показывали, что спокойно размещаем стойки на 8, 11, 15 кВт с соблюдением нескольких правил. Стараемся ставить их в такие места, где с охлаждением точно не будет проблем. Если же у заказчика много высоконагруженных стоек, выделяем для них особые ряды и залы с дополнительным охлаждением. В некоторых новых дата-центрах мы сразу проектируем отдельные залы со стойками повышенной мощности под особые запросы.

Что будет, если планировать стойки с большим запасом

Теперь посмотрим внимательнее на проектирование 3 ресурсов в дата-центре. Что будет на каждом этапе планирования, если мы решим сделать запас больше одного кВт на стойку?

Итак, мы начали проектировать ЦОД от здания: берем общую площадь, вычитаем место под офисную часть и вспомогательные помещения. Понимаем размер машинных залов и прикидываем количество стоек: с учетом всей инфраструктуры исходим из 6 кв. м на стойку. Получившиеся стойки умножаем на планируемую среднюю мощность. Допустим, берем на стойку 6 кВт.

Если мы строим ЦОД в столице, его емкость составит не меньше 1 0002 000 стоек. Итого, 9 000 кВт вместо 7 500 для усредненных 1,5 тысяч стоек. Добавим к этому 30 % на тепло. Уже 11 700 кВт, а не 9 750. Смотрим, есть ли у нас столько подведенной мощности, или нужно докинуть электричества.

Дальше распределяем электричество по нескольким точкам отсечки на схеме электроснабжения:

Посмотрим на мощность самой стойки, которая определена PDU (справа). Дальше по схеме справа налево идет мощность зального щита ЩР. Затем следует мощность щита распределения от ИБП (ЩИБП). Дальше ИБП, и так доходим до ГРЩ. Каждое из этих устройств имеет свою мощность, необходимо распределять нашу нагрузку в этих пределах. Для стоек помощнее нам понадобятся дополнительные ИБП и вообще оборудование помощнее это снова дополнительные расходы.

Затем разбираемся с холодом, самым управляемым ресурсом. Раз наши стойки потребляют и выделяют больше энергии, нужно поставить больше кондиционеров или сделать их более мощными.

Итого, каждый лишний киловатт приведет к дополнительным затратам на электричество, оборудование для электроснабжения и холодоснабжения. Вся лишняя стоимость по нескольким статьям размажется по всем стойкам нового дата-центра. Но цена за киловатт для заказчика растет не линейно. На каких-то масштабах каждый новый киловатт в 2 раза дороже предыдущего из-за дополнительных затрат на инфраструктуру. Стоимость инфраструктуры растет пропорционально росту мощности, эффекта масштаба здесь уже нет. Зачастую дешевле взять две стойки по 5 кВт, чем одну на 10 кВт.

Именно поэтому мы не рекомендуем брать стойки с запасом на будущее экономически невыгодно не только проектировать на вырост, но и брать стойки на вырост.

Всегда ли заказчику нужно больше 5 кВт в стойке

Когда к нам приходит новый заказчик со стойками больше 5 кВт, наш дизайн-центр должен подготовить проект. Задача ответственного инженера согласовать проект с точки зрения соответствия запросам заказчика. В идеальном сценарии заказчик берет свои требования из реальной статистики: У меня на другой площадке работает точно такое же оборудование и оно потребляет те самые 7-8 заявленных киловатт. Но такое бывает нечасто. Чаще есть примерный список оборудования, которое будет установлено в дата-центре.

Нередко бывает, что в спецификации на серверное оборудование мощность считают по мощности блоков питания и затем закладывают запас 30 %. Получается, что нагрузку рассчитали на бумаге. Но в реальности инженеры никогда не грузят свою систему на 100 %. Реальный коэффициент спроса с сервера будет максимум 80 %, так что искусственный запас будет лишним. Такие расчеты мы корректируем, обсуждаем и согласовываем с заказчиком.

Для понимания общей картины наши инженеры копают еще глубже и анализируют нагрузку с точки зрения задач системы. В сервере несколько потребителей электричества: процессор, память, диски, кулеры. Больше всего ресурсов требует CPU. Например, у сервера со средним потреблением 11,2 кВт на процессор уходит 800900 Вт. При этом далеко не все нагрузки требуют максимальной утилизации процессора. Если мы говорим о среднестатистических задачах вроде файловых шар, почты, системы хранения данных, терминальных серверов или веб-серверов, то загрузка CPU составит 2030 %. Серьезную нагрузку на процессор стоит планировать в случае баз данных: там мы легко можем дойти до 8090 %.

Про 5 кВт с точки зрения ИТ мы говорили с моим коллегой Андреем Будреевым в нашем последнем выпуске подкаста Разговоры из-под фальшпола. Заодно обсудили будущее процессоров с точки зрения экологии заглядывайте на огонек и делитесь своими прогнозами.

Так что не бойтесь дополнительных вопросов от специалистов дата-центра. Мы помогаем заказчикам грамотно планировать нагрузку и за счет этого не только экономим деньги заказчиков, но и правильно распределяем свои ресурсы.

Привет, Хабр! Меня зовут Виктор, я главный инженер-энергетик в мегаЦОДе "Удомля". Мои коллеги уже показывали, как мы организуем гарантированное электропитание дата-центра с помощью ДГУ и регулярно проверяем их работоспособность. Но кроме ДГУ есть другое оборудование, которое может одновременно обеспечить гарантированное электроснабжение и бесперебойное питание. Речь о дизельных динамических ИБП (ДИБП). Такие установки стоят в нашем мегаЦОДе, и мы уже немного рассказывали про их устройство в экскурсии по дата-центру.

Сегодня покажу, как мы проводим тестирование дизельных двигателей ДИБП, чтобы быть уверенными в их надежности.

Немного про устройство ДИБП

ДИБП совмещает функции нескольких устройств в одном: один блок заменяет систему из ДГУ, статических ИБП и аккумуляторных батарей. Правда, и ревут они сильнее: уровень шума от классических ДИБП сравним с шумом от перфоратора.

Схема электроснабжения с ДИБП строится немного по-другому. Городское электропитание с понижающих трансформаторов идет двумя независимыми маршрутами в распределительное устройство низкого напряжения (РУНН). А оттуда через ДИБП электричество поступает сразу на ИТ- и инженерное оборудование. Если питание от города пропадет, ДИБП мгновенно примет всю нагрузку на себя.

У нас в Удомле стоят дизель-роторные источники бесперебойного питания Euro Diesel. В таких ДИБП дизельный двигатель с помощью электромагнитного сцепления соединяется со статогенератором переменного тока. Этот генератор состоит из аккумулятора кинетической энергии и синхронной обратимой электрической машины.

Электромашина может работать в режиме электродвигателя и генератора. Пока ДИБП работает на городском питании, электромашина работает как двигатель и запасает в аккумуляторе кинетическую энергию. Если городское питание пропадает, накопленная энергия высвобождается в обратном направлении и позволяет электромашине обеспечивать электроснабжение дата-центра. Эта же энергия запускает дизель и помогает ему выйти на рабочую частоту. Дизель запускается за одну минуту, и затем уже он обеспечивает питание дата-центра и накопление энергии в аккумуляторе.

Вот так вкратце выглядит схема переключения:

Годовое техническое обслуживание ДИБП на ЦОДе "Удомля" разделено на этапы и проводится несколько раз в течение года. Такой поэтапный график помогает нам сократить простой ДИБП на время обслуживания. Отдельно обслуживаем электрическую часть: проверяем электромагнитное сцепление, проводим обслуживание аккумулятора кинетической энергии и обратимой синхронной электрической машины. Отдельно проверяем и тестируем дизельный двигатель ДИБП. Такое годовое ТО дизеля мы провели в феврале, расскажу о нем подробнее.

План тестирования дизельного двигателя

В тестировании дизеля участвуют наши инженеры службы эксплуатации и инженеры вендора. Во время ТО мы контролируем несколько параметров:

• проверяем резиновые шланги и натяжение ремней генератора,

• проверяем температуру замерзания и уровень охлаждающей жидкости,

• контролируем исправность работы предпусковых подогревателей и состояние радиатора охлаждения двигателя,

• проверяем напряжение заряда батарей, уровень и плотность электролита,

• замеряем остаточную емкость и напряжение АКБ,

• меняем фильтры и масло в двигателе,

• проводим тест дизельного двигателя ДИБП при нагрузке мощностью 100 %.

Благодаря такой программе теста мы не только гарантируем, что ДИБП не подведет в критический момент, но и параллельно контролируем работу систем вентиляции и топливоснабжения.

Тестовый пуск двигателя ДИБП проводится при стопроцентной нагрузке. Когда мы в прошлый раз рассказывали про тестирование ДГУ, то показывали вариант тестирования с реальной нагрузкой. Двигатель ДИБП мы будем обслуживать и тестировать под эквивалентной нагрузкой. Создадим ее с помощью нагрузочных модулей: эти электромеханические устройства моделируют нагрузку нужной мощности.

Такой способ тестирования наиболее рационален для нашего случая. Во-первых, мы не зависим от сторонних нагрузок. ЦОД это живой организм, и количество ИТ-нагрузок может меняться. Во-вторых, проведение теста не влияет на клиентское оборудование и инженерные системы. Даже если во время теста что-то пойдет не так, электроснабжение клиентского оборудования и инженерных систем ЦОДа не пострадает.

Подготовка к тестированию

Оповещение. За 7 календарных дней до начала ТО служба технической поддержки предупреждает о работах клиентов ЦОДа и службу эксплуатации. Обязательно указываем время и последовательность тестирования. На 6 установленных ДИБП у нас отводится 6 дней.

Заказ нагрузочных модулей. До начала ТО в ЦОД поставляются расходные материалы и нагрузочные модули. Мы используем 2 модуля, по 1 мВт каждый.

Переключение ДИБП и подключение нагрузки. Мы начинаем ТО с остановки ДИБП и подключения модулей. Все переключения производятся на двух щитах ДИБП: управления и силовом.

Щит управления оборудован сенсорной панелью и позволяет управлять работой ДИБП с помощью автоматических переключателей, которые находятся внутри силового щита. Специальные ключи на панели управления позволяют менять режимы работы.

Подключение нагрузочных модулей происходит один раз, так как все силовые панели ДИБП связаны между собой токопроводом. Позже мы будем подавать нагрузку на каждый ДИБП с помощью автоматических переключателей на силовой панели ДИБП.

Регламентные работы перед тестовым пуском

Первые этапы по плану ТО нужно выполнить при выключенном генераторе. Поэтому сначала выведем установку в ремонт.

1. Перейдем к панели управления ДИБП. На дисплее слева мы видим, чтопитание ИТ-оборудования и инженерных систем ЦОДа идет по стандартной схеме. На схеме обозначены автоматические выключатели в цепи: QD1, QD2 включены, QD3 отключен.

   

   Справа видим ключ в положении "Нагрузка защищена". Это означает, что бесперебойная работа всего оборудования под защитой ИБП. Электромашина работает в режиме электродвигателя, аккумулятор накапливает кинетическую энергию, все хорошо:

   

2. Справа при помощи верхнего ключа переводим режим работы на механизм обходного пути, или байпас (о нем уже рассказывали в одной из статей). С его помощью запитанное от ДИБП оборудование сразу переводится на питание от города в обход установки, а генератор отключается от сети. Теперь на схеме мы видим, что выключатели QD1 и QD2 отключены, QD3 включен:

   

3. Чтобы никто случайно не включил установку и не поставил под угрозу выполнение регламентных работ, мы переводим выключатели QD1, QD2 в ремонтное положение на силовой панели ДИБП:

   

После остановки накопителя и генератора проводим регламентные работы по плану тестирования: проверяем ремни, жидкости, фильтры, все системы и агрегаты.

Тестовый пуск двигателя ДИБП под нагрузкой

После всех манипуляций по плану ТО переходим к заключительной стадии тесту дизельного двигателя под нагрузкой 100 %.

1. На силовом щите ставим выключатели QD1, QD2 обратно в рабочее положение. Ключ управления переводим в положение "УПРАВЛ. ЧЕРЕЗ HMI". Кнопки на сенсорной панели станут активны.

2. Включаем машину в режиме "БАЙПАС-RUN". Видим на схеме, что QD1 включен, QD2 выключен.

   

   Теперь генератор получает питание от городской сети и работает как электродвигатель, раскручивая аккумулятор кинетической энергии. ИТ-оборудование и инженерные системы ЦОДа получают питание по байпасу через QD3.

3. Переводим ДИБП в режим тестирования: открываем щит управления и устанавливаем переключатель "TEST KS" в положение 1.

   

   В режиме теста выключатель QD2 блокируется. На экране панели появляется надпись "РЕЖИМ ТЕСТА KS".

4. Следующий шаг подключение нагрузочных модулей к шинам генератора.

   В самом начале мы подключили нагрузочные модули к щиту. Теперь включаем нагрузку при помощи автоматов QDL в силовых панелях ДИБП. Проводим эту операцию в ручном режиме: закатываем выключатель QDL в рабочее положение, разблокируем его ключом, взводим пружину и включаем.

   

5. Чтобы запустить двигатель ДИБП, проводим тестовый отказ сети. Нажимаем кнопки "ОТКАЗ СЕТИ" и "FORCE" на панели управления.

   

6. Двигатель в работе, обратимая электрическая машина в режиме генератора питает нагрузочные модули, городская сеть отключена.

   ДИБП работает в режиме генератора.

7. Теперь поднимаем нагрузку до необходимых значений. Для этого используем переключатели на панелях нагрузочных модулей. На панели управления ДИБП видим, что этот параметр достиг 1764,1 кВт.

   Смотрим на работу ДИБП под нагрузкой.

Двигатель работает в этом режиме около 2 часов. Во время теста мы контролируем несколько параметров ДИБП:

• температуру подшипников,

• скорость вращения валов,

• давление масла,

• воздух в помещении и температуру жидкостей,

• заряд батареи.

Также контролируются электрические параметры: частота, мощность и напряжение.

Фиксация результатов и переключение обратно

После испытаний мы в обратной последовательности отключаем нагрузочные модули, выводим ДИБП из тестового режима и переводим ключ на панели управления в положение "НАГРУЗКА ЗАЩИЩЕНА". Сценарий переключения отработан, никакие перебои в электроснабжении помешать работе дата-центра не должны.

По результатам испытаний в протоколах указываем все полученные параметры. ДИБП переходит на следующий круг проведения ТО по годовому графику.