Фрикулинг

Привет, Хабр! Пару недель назад выдался жаркий денек, который мы обсуждали в курилке рабочего чата. Буквально через несколько минут разговор о погоде перерос в беседу о системах охлаждения дата-центров. Для технарей, тем более сотрудников Selectel, в этом нет ничего удивительного, мы постоянно говорим на подобные темы.

В процессе обсуждения мы решили опубликовать статью о системах охлаждения в дата-центрах Selectel. Сегодняшняя статья о фрикулинге, технологии, применяющейся в двух наших дата-центрах. Под катом подробный рассказ о наших решениях и их особенностях. Техническими деталями поделились руководитель отдела сервисного обслуживания систем кондиционирования и вентиляции Леонид Лупандин и старший технический писатель Николай Рубанов.

Системы охлаждения в Selectel

Здесь коротко о том, какие системы охлаждения используем во всех своих объектах. К фрикулингу перейдем в следующем разделе. У нас несколько дата-центров в Москве, Санкт-Петербурге и Ленинградской области. Погодные условия в этих регионах разные, поэтому мы используем различные системы охлаждения. Кстати, в московском дата-центре часто поводом для шуток было то, что ответственные за охлаждение специалисты с фамилиями Холодилин и Мороз. Так получилось случайно, но все же

Вот список ДЦ с используемой системой охлаждения:

• Берзарина фрикулинг.
• Цветочная 1 фреон, классические промышленные кондиционеры для ЦОД.
• Цветочная 2 чиллеры.
• Дубровка 1 чиллеры.
• Дубровка 2 фреон, классические промышленные кондиционеры для ЦОД.
• Дубровка 3 фрикулинг.

В своих дата-центрах мы стремимся поддерживать температуру воздуха у нижней границы рекомендованного по ASHRAE диапазона. Это 23C.

О фрикулинге

В двух дата-центрах, Дубровка 3 и Берзарина, мы установили системы фрикулинга, причем разные.

Система фрикулинга в ДЦ Берзарина

Основной принцип систем фрикулинга отказ от теплообменников, так что охлаждение вычислительного оборудования происходит за счет обдува при помощи уличного воздуха. Он очищается при помощи фильтров, после чего поступает в машинный зал. Осенью и зимой холодный воздух нужно разбавлять теплым, чтобы температура воздуха, которым обдувается оборудование, не менялась. Летом в Москве и Санкт-Петербурге требуется доохлаждение.

Регулируемые воздушные заслонки

Почему фрикулинг? Да потому что это эффективная технология охлаждения оборудования. Системы фрикулинга в большинстве своем дешевле в эксплуатации, чем классические системы охлаждения с кондиционерами. Еще один плюс фрикулинга в том, что системы охлаждения оказывают не такое сильное негативное влияние на окружающую среду, как кондиционеры с фреоном.

Схема прямого фрикулинга с доохлаждением без фальшпола

Важный момент: фрикулинг используется в наших дата-центрах вместе с системами доохлаждения. Зимой проблем с забором внешнего холодного воздуха нет за окном прохладно, иногда даже очень, поэтому дополнительные системы охлаждения не нужны. А вот летом температура воздуха повышается. Если бы мы использовали чистый фрикулинг, то температура внутри составляла бы около 27 C. Напомним, что температурный стандарт у Selectel составляет 23C.

В Ленинградской области многолетняя среднесуточная температура даже в июле находится у отметки 20C. И все бы ничего, но в некоторые дни очень жарко. В 2010 году в области был зафиксирован температурный рекорд в +37.8C. Учитывая это обстоятельство, полностью рассчитывать на фрикулинг нельзя одного жаркого дня в году с лихвой хватит для выхода температуры за границы стандарта.

Поскольку Санкт-Петербург и Москва мегаполисы с загрязненным воздухом, мы применяем тройную его очистку при заборе с улицы фильтры стандартов G4, G5 и G7. Каждый последующий отсеивает пыль все более мелких фракций, так что на выходе у нас чистый атмосферный воздух.

Воздушные фильтры

Дубровка 3 и Берзарина фрикулинг, но разный

По ряду причин мы используем разные системы фрикулинга в этих дата-центрах.

Дубровка 3

Первым ДЦ с фрикулингом была Дубровка 3. Здесь используется прямой фрикулинг, дополненный АБХМ, абсорбционной холодильной машиной, которая работает на природном газе. Машина применяется как доохлаждение на случай летней жары.

Охлаждение дата-центра по схеме фрикулинга с фальшполом

Такое гибридное решение позволило добиться PUE ~1.25.

Почему АБХМ? Это эффективная система, где вместо фреона используется вода. АБХМ оказывает минимальное воздействие на окружающую среду.

В качестве источника энергии АБХМ-машина использует природный газ, который подведен к ней трубопроводом. Зимой, когда машина не нужна, газ можно сжигать для подогрева переохлажденного наружного воздуха. Это намного дешевле, чем использовать электричество.

Вид на АБХМ

Идея использовать АБХМ в качестве системы доохлаждения принадлежит одному из наших сотрудников, инженеру, который увидел подобное решение и предложил применить в Selectel. Мы сделали модель, протестировали ее, получили отличный результат и решили его масштабировать.

Строилась машина около полутора лет, вместе с системой вентиляции и самим ЦОД. В 2013 году она была введена в эксплуатацию. Проблем с ней практически нет, но для работы нужно пройти дообучение. Одна из особенностей АБХМ в том, что машина поддерживает разность давлений внутри и снаружи помещения ДЦ. Это нужно для того, чтобы горячий воздух выходил через клапанную систему.

Из-за разности давлений пыли в воздухе практически нет, поскольку она просто вылетает наружу, даже если появляется. Избыточное давление выталкивает частицы.

Расходы на техническое обслуживание системы, возможно, чуть выше, чем в случае обычного охлаждения. Но АБХМ позволяет экономить за счет снижения расхода электричества на нагрев воздуха и его доохлаждение.

Берзарина

Схема движения воздушного потока внутри серверного помещения

Здесь используется фрикулинг с адиабатической системой доохлаждения. Она применяется летом, когда воздух становится слишком теплым, с температурой выше 23C. В Москве это случается нередко. Принцип работы адиабатической системы охлаждение воздуха при прохождении через фильтры с жидкостью. Представьте себе мокрую тряпку, с которой испаряется вода, охлаждая ткань и прилегающий слой воздуха. Примерно так и работает адиабатическая система охлаждения в дата-центре. На пути воздушного потока распыляются мельчайшие капли воды, что снижает температуру воздуха.

Принцип работы адиабатического охлаждения

Здесь фрикулинг решили использовать, потому что дата-центр расположен на последнем этаже здания. А значит, выбрасываемый наружу нагретый воздух сразу уходит вверх, а не подавляет другие системы, как это могло бы случиться, будь ДЦ размещен на нижних этажах. Благодаря этому показатель PUE ~1.20

Когда этот этаж освободился, мы обрадовались, поскольку получили возможность проектировать все, что хотим. Главной задачей было создание ДЦ с эффективной и недорогой системой охлаждения.

Плюс адиабатического охлаждения в простоте самой системы. Она проще, чем системы с кондиционерами и еще проще, чем АБХМ, и позволяет экономить энергию, затраты которой минимальны. Тем не менее, ее необходимо тщательно контролировать, чтобы не получилось, как у Facebook в 2012 году. Тогда из-за проблем с настройкой параметров работы в дата-центре образовалось самое настоящее облако и пошел дождь. Это не шутка.

Щиты управления

Система работает всего второй год, за это время мы выявили ряд небольших проблем, которые устраняем с проектировщиками. Но это не страшно, поскольку в наше время важно постоянно быть в поиске чего-то нового, не забывая проверять уже имеющиеся решения.

Мы постоянно ищем возможности применения новых технологий. Одно из них оборудование, которое нормально работает при температуре выше 23. Возможно, расскажем об этом в одной из будущих статей, когда проект выйдет на финальную стадию.

Если хотите узнать подробности о других системах охлаждения в наших ДЦ, то вот статья со всей информацией.

В комментариях задавайте вопросы, постараемся ответить на все, что сможем.

Дата-центры потребляют 3-5% всего электричества планеты, а в некоторых странах, например в Китае, этот показатель достигает 7%. Электричество нужно центрам обработки данных в режиме 24/7, чтобы обеспечивать бесперебойную работу оборудования. В результате работа ЦОД провоцирует выбросы парникового газа в атмосферу, а по уровню негативного воздействия на природу их можно сравнить с авиаперелетами. Собрали последние исследования, чтобы выяснить, как дата-центры влияют на окружающую среду, можно ли это изменить и существуют ли подобные инициативы в России.

Согласно последнему исследованию компании Supermicro, экосознательные дата-центры, внедряющие зеленые решения, могли бы снизить влияние на окружающую среду на 80%. А сохраненная электроэнергия поддерживать освещение всех казино Лас-Вегаса в течение 37 лет. Но на данный момент лишь 12% дата-центров мира можно назвать зелеными.

Отчет Supermicro основан на опросе 5000 представителей IT-индустрии. Выяснилось, что 86% опрошенных в целом не задумываются о воздействии дата-центров на окружающую среду. А социальная ответственность и оценка энергоэффективности предприятия волнует лишь 15% руководителей центров обработки данных. В основном отрасль концентрируется на целях, связанных с обеспечением отказоустойчивости работы, а не энергоэффективности. Хотя фокусироваться на последнем дата-центрам выгодно: среднестатистическое предприятие может сэкономить до $38 млн на энергоресурсах.

PUE

PUE (Power Utilization Efficiency) это показатель оценки энергоэффективности центра обработки данных. Мера была утверждена членами консорциума The Green Grid в 2007 году. PUE отражает отношение электрической энергии, потребляемой дата-центром, к энергии, которая расходуется непосредственно оборудованием ЦОД. Так, если дата-центр получает из сети 10 МВт мощности, а все оборудование держится на 5 МВт, показатель PUE будет составлять 2. Если разрыв в показаниях снизится, а до оборудования будет доходить большая часть электроэнергии, коэффициент будет стремиться к идеальному показателю единице.

В августовском докладе Global Data Center Survey от организации Uptime Institute (среди респондентов 900 операторов центров обработки данных) средний мировой коэффициент PUE оценили на уровне 1,59. В целом, показатель варьируется на этом уровне с 2013 года. Для сравнения, в 2013 году PUE составил 1,65, в 2018 1, 58, а в 2019 1, 67.


Несмотря на то, что показатель PUE не является достаточно честным для сопоставления различных дата-центров и географических регионов, такие сравнительные таблицы Uptime Institute составляет.


Несправедливость сравнения связана с тем, что некоторые центры обработки данных находятся в худших климатических условиях. Так, для охлаждения условного дата-центра в Африке нужно гораздо больше электроэнергии, чем ЦОД, расположенному на севере Европы.

Логично, что самыми энергетически неэффективными являются дата-центры в Латинской Америке, Африке, на Ближнем Востоке и части Азиатско-Тихоокеанского региона. Самыми образцовыми по PUE-показателю стали Европа и регион, объединяющий США и Канаду. К слову, и респондентов в этих странах больше 95 и 92 ЦОД-провайдеров, соответственно.

В исследовании также оценивались дата-центры России и стран СНГ. Правда, в опросе приняли участие лишь 9 респондентов. PUE отечественных и соседских ЦОД составил 1,6.

Как понизить PUE

Естественное охлаждение

Согласно исследованиям, около 40% всей энергии, которую потребляют дата-центры, идет на работу искусственных систем охлаждения. Существенно снизить затраты помогает реализация естественного охлаждения (фрикулинга). При такой системе наружный воздух фильтруется, подогревается или охлаждается, после чего подается в серверные помещения. Отработанный горячий воздух выбрасывается наружу или частично подмешивается при необходимости к входящему потоку.

В случае фрикулинга большое значение имеет климат. Чем больше температура воздуха на улице подходит для зала дата-центра, тем меньше нужно энергии, чтобы доводить его до нужной кондиции.

Кроме того, дата-центр может размещаться у водоема в таком случае воду из него может использовать для охлаждения ЦОД. К слову, по прогнозам Stratistics MRC, к 2023 году стоимость рынка технологий жидкостного охлаждения достигнет $4,55 млрд. Среди его видов выделяют иммерсионное охлаждение (погружение оборудования в иммерсионное масло), адиабатическое охлаждение (в основе технология испарения, используется в ЦОД Facebook), теплообменное (теплоноситель нужной температуры поступает непосредственно к стойке с оборудованием, удаляя избытки тепла).

Больше о фрикулинге и о том, как он работает в Selectel

Мониторинг и своевременная замена оборудования

Повысить энергоэффективность также поможет правильное использование мощностей, которыми располагает дата-центр. Уже приобретенные серверы должны либо работать на задачи клиентов, либо не потреблять энергию во время простоя. Один из способов контролировать ситуацию использовать ПО для управления инфраструктурой. Например, систему Data Center Infrastructure Management (DCIM). Такое ПО автоматически перераспределяет нагрузку на серверы, отключает незадействованные устройства и дает рекомендации по скорости работы вентиляторов холодильных установок (опять же, для экономии энергии на излишнем охлаждении).

Важная часть повышения энергоэффективности ЦОД своевременное обновление оборудования. Устаревший сервер чаще всего уступает по производительности и ресурсоемкости новому поколению. Поэтому для понижения PUE рекомендовано обновлять оборудование как можно чаще некоторые компании делают это каждый год. Из исследования Supermicro: оптимизированные циклы обновления оборудования позволят сократить объем электронных отходов более чем на 80% и повысить производительность ЦОД на 15%.


Существуют также способы оптимизации экосистемы дата-центров без существенных затрат. Так, можно закрыть щели в серверных шкафах, чтобы предотвратить утечки холодного воздуха, изолировать горячий или холодный коридоры, перенести высоконагруженный сервер в более холодную часть ЦОД и так далее.

Меньше физических серверов больше виртуальных машин

Компания VMware подсчитала, что переход на виртуальные серверы в ряде случаев снижает электропотребление на 80%. Это объясняется тем, что размещение большего количество виртуальных серверов на меньшем числе физических машин логично сокращает затраты на обслуживание железа, охлаждение и питание.

Эксперимент компаний NRDC и Anthesis показал, что замена 3 000 серверов на 150 виртуальных машин экономит $2 млн на электричестве.

Помимо прочего, виртуализация дает возможность перераспределять и наращивать виртуальные ресурсы (процессоры, память, объем хранилища) в процессе. Поэтому электроэнергия тратится только на обеспечение работы, исключая затраты на простаивающее оборудование.

Безусловно, для повышения энергоэффективности можно также выбирать альтернативные источники энергии. Для этого некоторые ЦОД используют солнечные батареи и ветряные генераторы. Это, однако, довольно дорогостоящие проекты, которые могут себе позволить только крупные компании.

Зеленые на практике

Количество дата-центров в мире выросло с 500 000 в 2012 году до более 8 млн. Цифры потребляемой ими электроэнергии удваиваются каждые четыре года. Выработка необходимого дата-центрам электричества напрямую связана с объемом выбросов углерода, который образуется в результате сгорания ископаемого топлива.

Ученые из Открытого Университета Великобритании подсчитали, что дата-центры производят 2% мировых выбросов CO2. Это примерно столько же, сколько выбрасывают крупнейшие авиакомпании мира. По данным исследования GreenPeace 2019 года, чтобы обеспечить электричеством 44 дата-центра в Китае, в 2018 году энергостанции выбросили в атмосферу 99 млн тонн CO.


Крупные мировые лидеры, такие как Apple, Google, Facebook, Akamai, Microsoft, берут на себя ответственность за негативное воздействие на природу и стараются уменьшать его, используя зеленые технологии. Так, генеральный директор Microsoft Сатья Наделла рассказал о намерении компании к 2030 году достигнуть отрицательного уровня эмиссии углерода, а к 2050 году полностью устранить последствия выбросов за все время с момента основания компании в 1975 году.

У этих бизнес-гигантов, однако, достаточно ресурсов для реализации планов. Мы же в тексте упомянем несколько менее известных озеленяющихся дата-центров.

Kolos

^{Источник}
Дата-центр, расположенный в коммуне Балленген (Норвегия), позиционирует себя как ЦОД, работающий на 100% возобновляемой энергии. Так, для обеспечения работы оборудования используются вода для охлаждения серверов, водяные и ветряные электрогенераторы. К 2027 году дата-центр планирует выйти за пределы 1000 МВт электрической мощности. Сейчас Kolos экономит 60% электроэнергии.

Next-Generation Data

^{Источник}
Британский дата-центр обслуживает такие компании, как телекоммуникационный холдинг BT Group, IBM, Logica и другие. В 2014 году NGD заявил, что достиг идеального показателя PUE единицу. К максимальной энергоэффективности ЦОД приблизили солнечные батареи, расположенные на крыше дата-центра. Впрочем, тогда эксперты подвергли сомнению несколько утопичный результат.

Swiss Fort Knox

^{Источник}
Этот дата-центр является своеобразным лофт-проектом. ЦОД вырос на месте старого бункера времен холодной войны, сконструированного швейцарскими военными на случай ядерного конфликта. Помимо того, что дата-центр, по сути, не занимает место на поверхности планеты, он еще использует в системах охлаждения ледниковую воду из подземного озера. Благодаря этому температура охлаждающей системы держится на уровне 8 градусов Цельсия.

Equinix AM3

^{Источник}
Дата-центр, расположенный в Амстердаме, использует в своей инфраструктуре охладительные башни Aquifer Thermal Energy Storage. Их прохладный воздух понижает температуру горячих коридоров. Кроме того, в ЦОД используются жидкостные системы охлаждения, а отработанная нагретая вода идет на отопление Амстердамского университета.

Что в России

Исследование Центры обработки данных 2020 компании CNews выявило рост количества стоек у крупнейших российских провайдеров услуг дата-центров. В 2019 году рост составил 10% (до 36,5 тыс), а в 2020 году число стоек может увеличиться еще на 20%. ЦОД-провайдеры обещают поставить рекорд и предоставить к услугам заказчиков в этом году еще 6961 стойку.

По оценке CNews, энергоэффективность применяемых решений и оборудования для обеспечения работоспособности ЦОД находятся на очень низком уровне на 1 Вт полезной мощности приходится до 50% непроизводственных затрат.

Тем не менее, у российских ЦОД есть мотивация снижать показатель PUE. Однако двигателем прогресса для многих провайдеров является не забота о природе и социальная ответственность, а экономическая выгода. Нерациональный подход к потреблению электроэнергии стоит денег.

На государственном уровне экологических стандартов в отношении работы ЦОД нет, как и каких-либо экономических поощрений тем, кто внедряет зеленые инициативы. Поэтому в России это пока личная ответственность дата-центров.

Самые распространенные способы проявления экосознательности отечественных ЦОД:

1. Переход на более энергоэффективные способы охлаждения оборудования (системы фрикулинга и жидкостного охлаждения);
2. Утилизация оборудования и косвенных отходов дата-центров;
3. Восполнение негативного воздействия дата-центров на природу через участие в экологических акциях и инвестирование в экопроекты.

Кирилл Малеванов, технический директор Selectel

На сегодняшний показатель PUE дата-центров Selectel составляет 1,25 (ДЦ Дубровка в Ленинградской области) и 1,151,20 (ДЦ Берзарина-2 в Москве). Мы следим за коэффициентом и стремимся использовать более энергоэффективные решения по охлаждению, освещению и другим аспектам работы. Современные серверы сейчас потребляют примерно одинаковое количество энергии, доходить до крайности и бороться за 10Вт смысла нет. Однако в плане оборудования, которое обеспечивает работу дата-центров, подход меняется мы смотрим и на показатели энергоэффективности.

Если говорить про утилизацию, здесь Selectel заключил договоры с несколькими компаниями, занимающимися утилизацией техники. В утиль отправляются не только серверы, но и многое другое: аккумуляторные батареи от источников бесперебойного питания, этиленгликоль из систем охлаждения. Собираем и сдаем в переработку даже макулатуру упаковочный материал от техники, которая поступает к нам в дата-центры.

Seleсtel пошел дальше и запустил программу Зеленый Selectel. Теперь компания будет ежегодно высаживать одно дерево за каждый работающий в дата-центрах компании сервер. Первую массовую высадку леса компания осуществила 19 сентября в Московской и Ленинградской областях. Всего было посажено 20 000 деревьев, которые в будущем смогут вырабатывать до 200 000 000 л кислорода в год. На этом акции не закончатся, в планах реализовывать зеленые инициативы на протяжении года. О новых акциях можно узнавать на сайте Зеленый Selectel и в Telegram-канале компании.

Дата-центры потребляют 3-5% всего электричества планеты, а в некоторых странах, например в Китае, этот показатель достигает 7%. Электричество нужно центрам обработки данных в режиме 24/7, чтобы обеспечивать бесперебойную работу оборудования. В результате работа ЦОД провоцирует выбросы парникового газа в атмосферу, а по уровню негативного воздействия на природу их можно сравнить с авиаперелетами.

Мы в Selectel собрали результаты новейших исследований, чтобы выяснить, как дата-центры влияют на окружающую среду, можно ли это изменить и существуют ли подобные инициативы в России.

Согласно последнему исследованию компании Supermicro, экосознательные дата-центры, внедряющие зеленые решения, могли бы снизить влияние на окружающую среду на 80%. А сохраненная электроэнергия поддерживать освещение всех казино Лас-Вегаса в течение 37 лет. Но на данный момент лишь 12% дата-центров мира можно назвать зелеными.

Отчет Supermicro основан на опросе 5000 представителей IT-индустрии. Выяснилось, что 86% опрошенных в целом не задумываются о воздействии дата-центров на окружающую среду. А социальная ответственность и оценка энергоэффективности предприятия волнует лишь 15% руководителей центров обработки данных. В основном отрасль концентрируется на целях, связанных с обеспечением отказоустойчивости работы, а не энергоэффективности. Хотя фокусироваться на последнем дата-центрам выгодно: среднестатистическое предприятие может сэкономить до $38 млн на энергоресурсах.

PUE

PUE (Power Utilization Efficiency) это показатель оценки энергоэффективности центра обработки данных. Мера была утверждена членами консорциума The Green Grid в 2007 году. PUE отражает отношение электрической энергии, потребляемой дата-центром, к энергии, которая расходуется непосредственно оборудованием ЦОД. Так, если дата-центр получает из сети 10 МВт мощности, а все оборудование держится на 5 МВт, показатель PUE будет составлять 2. Если разрыв в показаниях снизится, а до оборудования будет доходить большая часть электроэнергии, коэффициент будет стремиться к идеальному показателю единице.

В августовском докладе Global Data Center Survey от организации Uptime Institute (среди респондентов 900 операторов центров обработки данных) средний мировой коэффициент PUE оценили на уровне 1,59. В целом, показатель варьируется на этом уровне с 2013 года. Для сравнения, в 2013 году PUE составил 1,65, в 2018 1, 58, а в 2019 1, 67.


Несмотря на то, что показатель PUE не является достаточно честным для сопоставления различных дата-центров и географических регионов, такие сравнительные таблицы Uptime Institute составляет.


Несправедливость сравнения связана с тем, что некоторые центры обработки данных находятся в худших климатических условиях. Так, для охлаждения условного дата-центра в Африке нужно гораздо больше электроэнергии, чем ЦОД, расположенному на севере Европы.

Логично, что самыми энергетически неэффективными являются дата-центры в Латинской Америке, Африке, на Ближнем Востоке и части Азиатско-Тихоокеанского региона. Самыми образцовыми по PUE-показателю стали Европа и регион, объединяющий США и Канаду. К слову, и респондентов в этих странах больше 95 и 92 ЦОД-провайдеров, соответственно.

В исследовании также оценивались дата-центры России и стран СНГ. Правда, в опросе приняли участие лишь 9 респондентов. PUE отечественных и соседских ЦОД составил 1,6.

Как понизить PUE

Естественное охлаждение

Согласно исследованиям, около 40% всей энергии, которую потребляют дата-центры, идет на работу искусственных систем охлаждения. Существенно снизить затраты помогает реализация естественного охлаждения (фрикулинга). При такой системе наружный воздух фильтруется, подогревается или охлаждается, после чего подается в серверные помещения. Отработанный горячий воздух выбрасывается наружу или частично подмешивается при необходимости к входящему потоку.

В случае фрикулинга большое значение имеет климат. Чем больше температура воздуха на улице подходит для зала дата-центра, тем меньше нужно энергии, чтобы доводить его до нужной кондиции.

Кроме того, дата-центр может размещаться у водоема в таком случае воду из него может использовать для охлаждения ЦОД. К слову, по прогнозам Stratistics MRC, к 2023 году стоимость рынка технологий жидкостного охлаждения достигнет $4,55 млрд. Среди его видов выделяют иммерсионное охлаждение (погружение оборудования в иммерсионное масло), адиабатическое охлаждение (в основе технология испарения, используется в ЦОД Facebook), теплообменное (теплоноситель нужной температуры поступает непосредственно к стойке с оборудованием, удаляя избытки тепла).

Больше о фрикулинге и о том, как он работает в Selectel

Мониторинг и своевременная замена оборудования

Повысить энергоэффективность также поможет правильное использование мощностей, которыми располагает дата-центр. Уже приобретенные серверы должны либо работать на задачи клиентов, либо не потреблять энергию во время простоя. Один из способов контролировать ситуацию использовать ПО для управления инфраструктурой. Например, систему Data Center Infrastructure Management (DCIM). Такое ПО автоматически перераспределяет нагрузку на серверы, отключает незадействованные устройства и дает рекомендации по скорости работы вентиляторов холодильных установок (опять же, для экономии энергии на излишнем охлаждении).

Важная часть повышения энергоэффективности ЦОД своевременное обновление оборудования. Устаревший сервер чаще всего уступает по производительности и ресурсоемкости новому поколению. Поэтому для понижения PUE рекомендовано обновлять оборудование как можно чаще некоторые компании делают это каждый год. Из исследования Supermicro: оптимизированные циклы обновления оборудования позволят сократить объем электронных отходов более чем на 80% и повысить производительность ЦОД на 15%.


Существуют также способы оптимизации экосистемы дата-центров без существенных затрат. Так, можно закрыть щели в серверных шкафах, чтобы предотвратить утечки холодного воздуха, изолировать горячий или холодный коридоры, перенести высоконагруженный сервер в более холодную часть ЦОД и так далее.

Меньше физических серверов больше виртуальных машин

Компания VMware подсчитала, что переход на виртуальные серверы в ряде случаев снижает электропотребление на 80%. Это объясняется тем, что размещение большего количество виртуальных серверов на меньшем числе физических машин логично сокращает затраты на обслуживание железа, охлаждение и питание.

Эксперимент компаний NRDC и Anthesis показал, что замена 3 000 серверов на 150 виртуальных машин экономит $2 млн на электричестве.

Помимо прочего, виртуализация дает возможность перераспределять и наращивать виртуальные ресурсы (процессоры, память, объем хранилища) в процессе. Поэтому электроэнергия тратится только на обеспечение работы, исключая затраты на простаивающее оборудование.

Безусловно, для повышения энергоэффективности можно также выбирать альтернативные источники энергии. Для этого некоторые ЦОД используют солнечные батареи и ветряные генераторы. Это, однако, довольно дорогостоящие проекты, которые могут себе позволить только крупные компании.

Зеленые на практике

Количество дата-центров в мире выросло с 500 000 в 2012 году до более 8 млн. Цифры потребляемой ими электроэнергии удваиваются каждые четыре года. Выработка необходимого дата-центрам электричества напрямую связана с объемом выбросов углерода, который образуется в результате сгорания ископаемого топлива.

Ученые из Открытого Университета Великобритании подсчитали, что дата-центры производят 2% мировых выбросов CO2. Это примерно столько же, сколько выбрасывают крупнейшие авиакомпании мира. По данным исследования GreenPeace 2019 года, чтобы обеспечить электричеством 44 дата-центра в Китае, в 2018 году энергостанции выбросили в атмосферу 99 млн тонн CO.


Крупные мировые лидеры, такие как Apple, Google, Facebook, Akamai, Microsoft, берут на себя ответственность за негативное воздействие на природу и стараются уменьшать его, используя зеленые технологии. Так, генеральный директор Microsoft Сатья Наделла рассказал о намерении компании к 2030 году достигнуть отрицательного уровня эмиссии углерода, а к 2050 году полностью устранить последствия выбросов за все время с момента основания компании в 1975 году.

У этих бизнес-гигантов, однако, достаточно ресурсов для реализации планов. Мы же в тексте упомянем несколько менее известных озеленяющихся дата-центров.

Kolos

^{Источник}
Дата-центр, расположенный в коммуне Балленген (Норвегия), позиционирует себя как ЦОД, работающий на 100% возобновляемой энергии. Так, для обеспечения работы оборудования используются вода для охлаждения серверов, водяные и ветряные электрогенераторы. К 2027 году дата-центр планирует выйти за пределы 1000 МВт электрической мощности. Сейчас Kolos экономит 60% электроэнергии.

Next-Generation Data

^{Источник}
Британский дата-центр обслуживает такие компании, как телекоммуникационный холдинг BT Group, IBM, Logica и другие. В 2014 году NGD заявил, что достиг идеального показателя PUE единицу. К максимальной энергоэффективности ЦОД приблизили солнечные батареи, расположенные на крыше дата-центра. Впрочем, тогда эксперты подвергли сомнению несколько утопичный результат.

Swiss Fort Knox

^{Источник}
Этот дата-центр является своеобразным лофт-проектом. ЦОД вырос на месте старого бункера времен холодной войны, сконструированного швейцарскими военными на случай ядерного конфликта. Помимо того, что дата-центр, по сути, не занимает место на поверхности планеты, он еще использует в системах охлаждения ледниковую воду из подземного озера. Благодаря этому температура охлаждающей системы держится на уровне 8 градусов Цельсия.

Equinix AM3

^{Источник}
Дата-центр, расположенный в Амстердаме, использует в своей инфраструктуре охладительные башни Aquifer Thermal Energy Storage. Их прохладный воздух понижает температуру горячих коридоров. Кроме того, в ЦОД используются жидкостные системы охлаждения, а отработанная нагретая вода идет на отопление Амстердамского университета.

Что в России

Исследование Центры обработки данных 2020 компании CNews выявило рост количества стоек у крупнейших российских провайдеров услуг дата-центров. В 2019 году рост составил 10% (до 36,5 тыс), а в 2020 году число стоек может увеличиться еще на 20%. ЦОД-провайдеры обещают поставить рекорд и предоставить к услугам заказчиков в этом году еще 6961 стойку.

По оценке CNews, энергоэффективность применяемых решений и оборудования для обеспечения работоспособности ЦОД находятся на очень низком уровне на 1 Вт полезной мощности приходится до 50% непроизводственных затрат.

Тем не менее, у российских ЦОД есть мотивация снижать показатель PUE. Однако двигателем прогресса для многих провайдеров является не забота о природе и социальная ответственность, а экономическая выгода. Нерациональный подход к потреблению электроэнергии стоит денег.

На государственном уровне экологических стандартов в отношении работы ЦОД нет, как и каких-либо экономических поощрений тем, кто внедряет зеленые инициативы. Поэтому в России это пока личная ответственность дата-центров.

Самые распространенные способы проявления экосознательности отечественных ЦОД:

1. Переход на более энергоэффективные способы охлаждения оборудования (системы фрикулинга и жидкостного охлаждения);
2. Утилизация оборудования и косвенных отходов дата-центров;
3. Восполнение негативного воздействия дата-центров на природу через участие в экологических акциях и инвестирование в экопроекты.

Кирилл Малеванов, технический директор Selectel

На сегодняшний показатель PUE дата-центров Selectel составляет 1,25 (ДЦ Дубровка в Ленинградской области) и 1,151,20 (ДЦ Берзарина-2 в Москве). Мы следим за коэффициентом и стремимся использовать более энергоэффективные решения по охлаждению, освещению и другим аспектам работы. Современные серверы сейчас потребляют примерно одинаковое количество энергии, доходить до крайности и бороться за 10Вт смысла нет. Однако в плане оборудования, которое обеспечивает работу дата-центров, подход меняется мы смотрим и на показатели энергоэффективности.

Если говорить про утилизацию, здесь Selectel заключил договоры с несколькими компаниями, занимающимися утилизацией техники. В утиль отправляются не только серверы, но и многое другое: аккумуляторные батареи от источников бесперебойного питания, этиленгликоль из систем охлаждения. Собираем и сдаем в переработку даже макулатуру упаковочный материал от техники, которая поступает к нам в дата-центры.

Seleсtel пошел дальше и запустил программу Зеленый Selectel. Теперь компания будет ежегодно высаживать одно дерево за каждый работающий в дата-центрах компании сервер. Первую массовую высадку леса компания осуществила 19 сентября в Московской и Ленинградской областях. Всего было посажено 20 000 деревьев, которые в будущем смогут вырабатывать до 200 000 000 л кислорода в год. На этом акции не закончатся, в планах реализовывать зеленые инициативы на протяжении года. О новых акциях можно узнавать на сайте Зеленый Selectel и в Telegram-канале компании.