Natick

Летом 2018 года в рамках второй фазы испытаний проекта Natick по производству и эксплуатации экологичных и автономных сетевых систем, команда инженеров затопила в прибрежных водах Шотландии контейнер с небольшим дата-центром внутри.



Цель эксперимента была крайне проста: можно ли создать полностью автономный аппаратный кластер, и если да, то как долго и в каких условиях его можно эксплуатировать.

Microsoft Project Natick это многолетние исследование по изучению методов производства и эксплуатации экологически устойчивых предварительно укомплектованных ЦОД стандартизированного формата и размера, которые можно быстро развернуть и оставить на годы с выключенным светом на морском дне.

Официальный блог проекта

Спустя два года команда проекта подняла со дна у Оркнейских островов контейнер с дата-центром внутри и отчиталась о результатах: эксперимент прошел более, чем успешно.

Проект Natick начался еще в 2015 году. Тогда команда инженеров Microsoft разработала концепцию дата-центра в затопленном контейнере и провела испытания первого прототипа, названного Leona Philpot.


Leona Philpot пробный дата-центр в контейнере разработки Microsoft, август 2015 года

Именно на Leona Philpot инженеры Microsoft опробовали систему охлаждения оборудования за счет естественной внешней среды морской воды. Испытания проводились в Тихом океане, в 1 километре от побережья США. Конкретные локации не упоминаются, но, судя по пейзажам на фотографиях, слишком далеко на север инженеры тогда не забрались: вполне вероятно, первые испытания проводились вблизи побережья Калифорнии.

Сама идея экологичного мобильного подводного дата-центра это не просто референс в сторону зеленых технологий, но и более чем практичное решение. По словам разработчиков, половина населения планеты живет в ~200 километровой прибрежной зоне. Это делает размещение дата-центров под водой привлекательным решением, потому что снимается масса вопросов по строительству, аренде, коммуникациям на чужой территории и так далее. Кроме того, использование морской воды как теплоносителя системы охлаждения также намного лучше, чем построение таких же систем в обычном дата-центре, и уж точно дешевле.


Сборка Leona Philpot на берегу перед погружением

Плюс, это почти двукратная экономия электроэнергии: на охлаждение в классическом дата-центре тратится почти столько же мощностей, сколько и на саму работу оборудования, это термодинамика. Поэтому затопляемый дата-центр выглядит привлекательно и с этой точки зрения.

Испытания длились с августа по октябрь 2015 года, заняли 105 дней и показали, что в целом концепция жизнеспособна и ее можно развивать: на сборку и установку контейнерного дата-центра требуется три месяца против года на строительство очереди дата-центра, развертывание не вызывает особых сложностей, так как человечество уже давно использует погружные аппараты, а управлять дата-центром можно удаленно с редкими инспекциями внешнего состояния корпуса. Сам дата-центр в контейнере является типовым решением и может продаваться предварительно укомплектованным.

В 2018 году эксперимент повторился. На этот раз инженеры собрали конфигурацию, близкую к коммерческой: выросло число серверов внутри контейнера, да и сам контейнер стал по размерам больше похож на железнодорожную цистерну, чем на бочку. Если быть точным, то это и есть цистерна. За основу корпуса взяли доработанный транспортный контейнер стандарта ISO, который активно используется по всему миру в грузоперевозках. Такое решение сняло вопрос не только по производству корпусов дата-центра, но и по его транспортировке стандартной логистикой к месту погружения. Планируемый ресурс бесперебойной работы итогового продукта пять лет под водой. Прототип получил название Northern Isles Северные острова.


Основные разработчики проекта Natick, слева направо: Майк Шепперд, старший инженер по исследованиям и разработкам, Сэм Огден, старший инженер-программист, Спенсер Фауэрс, старший технический специалист, Эрик Петерсон, исследователь и Бен Катлер, менеджер проекта

Теперь дата-центр затопили в холодных водах Шотландии, недалеко от Оркнейских островов. Контейнер опустили на морское дно, на глубину 35 метров, а подключался он к земле силовым и оптоволоконным кабелем.

В рамках второй фазы экспериментов проекта Natick исследователи хотели убедиться, является ли их разработка экономически целесообразной. Вопросов было много: как будет вести себя оборудование на большой глубине, возникнет ли проблема с питанием и передачей данных, так как сервер залегает в активной прибрежной зоне и у тех же подводных интернет-кабелей есть проблемы с морской живностью и якорями рыболовецких судов. И, наконец, насколько много оборудования выйдет из строя без постоянного физического мониторинга и обслуживания.

Инженеры, понимая что последнее выход из строя оборудования внутри контейнера является наибольшей угрозой для коммерческого использования их разработки, приняли элегантное решение. Внутри герметичного контейнера организована бескислородная среда. Вместо обычного воздуха в полость Northern Isles был закачан дешевый и безопасный азот, а влажность сведена к нулю.



Подобное техническое решение сняло сразу несколько вопросов. В первую очередь, отсутствие кислорода исключило пожар внутри контейнера в ходе эксплуатации. Оплавление отдельных элементов все еще было возможно, но открытого огня, который мог бы переброситься на другое оборудование и уничтожить весь дата-центр нет. Кроме того, азот как среда менее агрессивен, что снижает нагрузку на металлические элементы вычислительной техники, которые могут быть подвержены коррозии.


Фото загруженной в контейнер мегастойки из 12 серверных стоек, в общей сложности на 864 сервера, 2018 год

В такой комплектации Northern Isles был затоплен у шотландских берегов и провел под водой два года.


Дата-центр после двух лет нахождения на морском дне

И вот, вчера, 14 сентября, Microsoft отчиталась о результатах своего эксперимента после подъема дата-центра.

Первое и самое важное за время работы из строя вышло в 8 раз меньше серверов, чем в аналогичной конфигурации в дата-центре на поверхности земли. Точные цифры, к сожалению, не указываются, но очевидно, что они не слишком велики. Подобный отличный результат исследователи объясняют двумя вещами: неагрессивная для оборудования азотная среда плюс исключение человеческого фактора в лице праздно шатающихся мимо серверов сотрудников. Последнее буквально иллюстрация всем известного правила работает не трогай.

Исследователи собрали все неработающее оборудование, в том числе вышедшие из строя кабели, и подвергнут его тщательному анализу, чтобы понять причины поломки.



Сам контейнер от пребывания на морском дне почти не пострадал. Как видно на фото выше, после очистки водяной фрезой, на его поверхности не наблюдается серьезных повреждений или коррозии, хотя морская среда крайне агрессивна для металлов.



Разработкой команды проекта Natick еще два года назад очень заинтересовались коллеги из Azure. Как признался их директор, возможность развертывания мобильных и автономных дата-центров, не требующих участия человека это мечта. Подобное решение точно будет востребовано в Юго-Восточной Азии, Африке, ряде регионов Европы.

Кроме того, разработка Microsoft может подстегнуть и развитие зеленой энергетики, то есть вызвать каскадный эффект. Пока инженерам приходится тащить питание вместе с оптоволоконным кабелем с суши, но при развитии автономных приливных электростанций дата-центры проекта Natick можно будет запитывать от них. Это не только укладывается в концепцию зеленого ДЦ, но и значительно повышает автономность дата-центра, делая его в плане питания практически независимым от происходящего на берегу.

---

На правах рекламы

Виртуальные серверы с защитой от DDoS-атак и новейшим железом, серверы размещены в одном из лучших российских дата-центров DataPro. Всё это про наши эпичные серверы. Максимальная конфигурация 128 ядер CPU, 512 ГБ RAM, 4000 ГБ NVMe! Поспешите заказать.

Первый прототип подводного дата-центра компания Microsoft разработала и погрузила под воду еще в 2015 году. Его нарекли Leona Philpot, а сам проект получил название Natick.

Первая модель подводного центра была небольшой, все необходимое оборудование поместили в контейнер габаритами 3*2 метра. Управление дистанционное, поскольку людей внутри по понятным причинам не было. Прототип проработал без проблем в течение 105 дней. Компания Microsoft признала эксперимент успешным. Энергоэффективность ДЦ очень высокая. Шутка ли, показатель PUE составил всего 1,07. После того, как дата-центр разобрали и проанализировали его состояние, проект решили продолжать.


Участники проекта называют каждый новый прототип Natick N, где N его порядковое число.


^{Источник: Microsoft}

Соответственно, первый дата-центр, описанный выше, назвали Natick 1. Его погрузили под воду на глубину 10 метров неподалеку от тихоокеанского побережья США.


^{Источник: Microsoft}

Natick 2 разработали и погрузили в воду в 2018 году. Цель прототипа была иной, чем у предшественника. Первый Natick должен был доказать, что дата-центры могут работать под водой с максимальной энергоэффективностью. В 2018 году Microsoft решила показать, что подводный дата-центр, выполняющий реальные задачи, можно развернуть всего за три месяца с момента подписания проекта.


Утопить второй прототип решили на северо-востоке Шотландии, около Оркнейских островов. Место выбрали, чтобы, во-первых, погрузить ДЦ в холодные воды, а во-вторых использовать электричество, вырабатываемое местной приливной электростанцией.

Характеристики Natick:

• Энергопотребление на уровне 240 кВт.
• Потребление исключительно зеленой энергии.
• Длина 12,2 м, диаметр 2,8 м.
• Количество стоек 12, с 864 серверами.
• Постоянная температура внутри без особых колебаний.

Дата-центры проекта Natick рассматриваются в качестве вспомогательных объектов, так что полноразмерный ДЦ и не нужен. Несомненным плюсом является продолжительность работы без сбоев и физического обслуживания расчетный показатель составляет 5 лет.

Natick 3 полноценный подводный ДЦ, который включает 12 контейнеров с характеристиками Natick 2. Новый дата-центр представляет собой стальную раму, которая погружается на глубину в 200 метров (для сохранения постоянной температуры внутри контейнеров). На раме закрепляются контейнеры и необходимая инфраструктура.

По бокам стальной рамы размещены балластные емкости, позволяющие изменять глубину погружения контейнеров с оборудованием. Общая мощность ДЦ составляет 5 МВт. При желании его можно масштабировать, подключив дополнительные контейнеры или даже раму с ними. Ограничения связаны лишь с потреблением энергии главное, чтобы поблизости был источник электричества и канал связи. Воду ДЦ не потребляет, охлаждение пассивное внешнее.


^{Источник}

О том, сколько такой дата-центр может работать без физического обслуживания, пока ничего не говорится. Но если учитывать, что контейнер рассчитан минимум на 5 лет эксплуатации, то срок годности ДЦ вряд ли меньше.

Кстати, на Natick 2 установлены подводные камеры. По задумке с помощью них можно посмотреть, что происходит под водой, снаружи ДЦ. Иногда камеры залепляет местная флора, поэтому не всегда по ссылке вы увидите морские глубины.