Пожары

Современные технологии позволяют многое из того, что ранее было совершенно невозможно. Причем некоторые решения очень уж необычные. Например, сообщения в Twitter и Facebook помогают отслеживать распространение вируса гриппа или COVID-19. Простой анализ сообщений пользователей и у нас есть объективная картина развития эпидемии.

И таких необычных комбинированных решений достаточно много. Сейчас оказалось, что при лесном пожаре создаются условия, которые изменяют распространение сигнала мобильной сети. Если вести мониторинг этих изменений, можно удаленно и с высокой точностью предсказывать распространение очагов возгораний и, соответственно, направлять экстренные службы в наиболее критичные места.

Как появилась эта идея?

О помехах во время пожаров было известно довольно давно. Но в 2020 году в Австралии случился пожар лесных массивов вокруг Мельбурна. Соответствующие службы отправляли информационные сообщения на мобильные телефоны местных жителей. Сообщения доходили до адресатов, но, как оказалось, сигнал распространялся довольно странным образом.

Чем выше была температура воздуха, чем больше было возгораний и возмущений атмосферы, связанных с ними, тем сильнее были помехи. Ученые стали разбираться в причинах и довольно быстро нашли причину. Так, в обычной ситуации температура выше у поверхности земли, которую нагревает Солнце. Во время пожаров все наоборот: чем ближе к поверхности, тем ниже температура.


Дым от пожаров закрывает Солнце, поглощая большую часть тепловой и световой энергии. Сухой, горячий и непрозрачный воздух покрывает в это время огромные территории. Как оказалось, все это оказывает очень сильное влияние на распространение радиосигнала: он не идет по прямой между антеннами, траектория получается несколько иной.

Сигнал отклоняется в сторону поверхности, отражается от нее, снова уходит в воздух (уже ослабленный), снова отражается и так далее все зависит от расстояния, на которое передается сигнал сотовой сети. У местных жителей изменяется качество приема сигнала: где-то связь улучшается, а где-то, наоборот, становится хуже.

И что дальше?

Здесь уже вступают в работу технологии. Во время пожаров группа ученых из Австралии стала анализировать помехи сотовых сетей. Оказалось, что очертания регионов с помехами точно совпадают с границами задымления. На тот момент, к слову, воздух Мельбурна стал загрязненным настолько, что его признали самым загрязненным в мире. На время, конечно.

Прогнозирование распространение задымления и мониторинг уже пострадавших регионов крайне важная задача. Главным образом потому, что дым противопоказан людям с заболеваниями легочных путей, особенно астматикам. Поэтому моделирование пути распространения задымления и пожаров может спасти не одну сотню жизней. Из-за пожаров 2019-2020 года погибло около 445 человек. И речь не об огне, а как раз о дыме, который крайне негативно воздействует на здоровье ослабленных людей. В Калифорнии, США, ситуация в 2020 году была еще хуже. Согласно ряду исследований тогда погибло 3000 человек.

Если бы ученые смоделировали точную ситуацию, что в Австралии, что в США, то жертв могло быть гораздо меньше или вообще все обошлось бы без них.

Сейчас метод находится на ранней стадии изучения, но перспективы обнаружения задымления по изменению сигнала сотовой сети довольно радужные. Важный момент: авторы не предлагают использовать его в качестве единственного способа обнаружения пожаров и прогнозирования их развития. Нет, его планируют использовать в связке с другими технологиями, включая аэрофотосъемку, спутниковую съемку и прочее. Объединенные результаты наблюдений и анализа позволят разработать очень точную модель распространения пожара и дыма, что позволит спасать как людей, так и их имущество.

Почти бесплатно

Огромный плюс этого метода состоит в том, что для работы не нужно задействовать дорогостоящее оборудование, разворачивать сети мониторинга и т.п. При низкой стоимости такого подхода данные получаются не менее точными, чем при использовании аэрофотосъемки, спутниковых снимков и т.п.

Более того, во время пожаров в регионе находятся специальные службы, которые ведут изучение качества воздуха. Это эксперты со специальным оборудованием, отбирающие образцы воздуха. Они оценивают количество различных загрязнителей, таких как аэрозоли, пыль, газы, и публикуют результаты исследований, указывая на необходимость эвакуации, когда ситуация выходит из-под контроля.

И, конечно, речь не только об Австралии. Здесь, в общем-то, можно обойтись и без дополнительного метода оценки задымления экстренные службы работают отменно. Но так дела обстоят далеко не в каждой стране. Во многих регионах и государствах никаких служб нет вообще, либо они есть, но только те, что занимаются тушением пожаров. Соответственно, об анализе, моделировании и составлении прогнозной модели и речи не идет. А вот сотовые вышки есть сейчас везде. Зафиксировать искажение сигнала сотовой сети не так сложно, соответственно, можно довольно точно определить границы пожара, направление его развития и схему распространения дыма.


Здесь все просто: есть сотовая сеть значит, можно определить степень опасности пожара. Хотелось бы надеяться на то, что этот способ не будет положен под сукно, а получит признание в разных странах.

В целом, это еще один пример того, как технологии помогают людям, пусть и несколько неожиданным образом.

В борьбе с лесными пожарами спасателям помогает спутниковый интернет Starlink от компании SpaceX. SpaceX представила Вашингтонскому отделу управления чрезвычайными ситуациями пользовательские терминалы, необходимые для подключения к интернету от Starlink. Система позволяет подключить к интернету сельские районы, где спасатели борются с лесными пожарами.


В планах SpaceX построить сеть из 12 тысяч низкоорбитальных спутников. Такое количество необходимо для обеспечения максимального охвата интернетом всей планеты. На данный момент SpaceX запустила 800 спутников, часть из которых уже выведены с орбиты. Но большая часть из них функционирует. Бета-тестирование сети было намечено в районе Вашингтона.

Вашингтонский отдел управления ЧС использует пользовательские терминалы SpaceX в двух районах: рядом с Малденом (Malden) в штате Вашингтон, опустошенном лесными пожарами, и в западном Вашингтоне в районе другого лесного пожара.

Что именно произошло

Спутниковый интернет помогает аварийно-спасательным службам координировать деятельность по тушению пожаров. Они управляют сбросом воды, направляют запросы при необходимости дополнительных ресурсов. Сейчас интернет от Starlink использует в Малдене население, восстанавливающее свои дома. В агентстве считают, что система применима не только во время лесных пожаров, но и в период других катаклизм, включая лесные землетрясения.

Это первый случай, когда услугами Starlink воспользовались публично. В SpaceX не ответили на запрос комментария CNN, хотя Илон Маск ответил на твит Вашингтонского отдела управления ЧС. Маск сказал, что рад помочь и его компания уделяет особое внимание местам, где нет подключения к Интернету.

^{Пожар в городе Малден. Фото: CNN}
Пожар охватил город Малден 7 сентября, разрушено 80% домов, включая пожарную часть, почту, мэрию и библиотеку. Большинство телекоммуникационных сооружений в городе были также уничтожены.

Почему Starlink?

Starlink глобальная спутниковая система, которую разворачивает компания SpaceX. Проект обещает предоставлять широкополосный доступ к интернету с высокой скоростью в труднодоступных, удаленных местах и там, где раньше он был просто невозможен из-за отсутствия инфраструктуры.

В планах компании в 2020 году запустить сеть доступа к интернету в северной части США и Канаде, а в 2021 году расширить зону покрытия на всю планету.

После окончания срока службы спутники Starlink используют бортовую двигательную установку, чтобы сойти с рабочей орбиты в течение нескольких месяцев. Если спутники выйдут из строя, то сгорят в атмосфере Земли за 1-5 лет.

Вес компактных плоской конструкции спутников 260 кг. Некоторые из спутников видны с Земли невооруженным глазом. Спутники получают энергию от солнечной батареи и оснащены ионными двигателями на инертном газе криптоне.

Дата-центры становятся всё более важными объектами, ведь от их нормальной работы зависит как нормальный ход работы многих крупных и мелких компаний, так и сохранность данных обычных пользователей. Всего минута простоя крупного дата-центра может стать причиной миллионных убытков для клиентов оператора ЦОДа. Ну, а многочасовые или тем более многодневные простои приводят к убыткам, которые вообще иногда невозможно оценить. Под катом наиболее известные аварии последнего времени с описанием причин их возникновения.

Пожар в дата-центре OVH

В марте 2021 года почти полностью сгорел один из дата-центров OVH. Это самая крупная авария последних лет, ведь OVH один из крупнейших хостинг-провайдеров Европы. Пожар был настолько сильным, что практически уничтожил дата-центр SBG2. Основной подозреваемый одна из систем бесперебойного питания, с внутренним порядковым номером UPS7. Накануне пожара эта система проходила техническое обслуживание, в ходе которого в ней поменяли большое количество компонентов. По завершении процедуры UPS7 запустили вновь, и работа ее вроде как была штатной. Но вскоре случился пожар.

К слову, пожары в дата-центрах, тем более такого масштаба, происходят крайне редко. Учет подобных случаев ведёт Uptime Institute по словам его представителей, в среднем пожары случаются реже раза в год. В большинстве случаев инциденты удалось прервать в самом начале развития, но в некоторых случаях огонь всё же выходил из-под контроля.

В случае OVH с перебоями в работе, вызванными последствиями пожара в SBG2, столкнулись около 3,6 млн веб-сайтов.

После изучения ситуации с OVH эксперты пришли к выводу, что причин бедствия могло быть несколько и дело не в одном только бесперебойнике. Разрастанию масштаба инцидента способствовали:

• Конструкция дата-центра. Он башенного типа (Tower design). Здесь используется схема конвекционного охлаждения, когда нагретый воздух поднимается по башне в самом центре здания. В целом такая конструкция считается надежной и экологичной, но последние данные о распространении пожара говорят о том, что огонь, попав в конвекционную систему, быстро разошёлся по зданию.
• Возможное отсутствие в дата-центре, где произошло возгорание, системы сверхраннего обнаружения пожара. Более того, есть информация, что там не было ни систем газового, ни систем водяного пожаротушения. Вместо этого использовались датчики дыма и огнетушители.

Последнее тем более странно, что сейчас существует огромное количество решений для поддержания безопасности. Скажем, есть датчики, которые контролируют параметры окружающей среды и способны работать с ИБП. Например, датчик мониторинга окружающей среды Eaton EMP002 отслеживает температуру, влажность, ведет мониторинг работы сопряженных устройств вроде датчиков задымленности или детектора открытия двери. Кроме того, существуют системы безопасности, которые способны улавливать изменения температуры в доли градуса, отслеживать концентрацию угарного газа и прочих веществ. В случае выявления проблемы такие девайсы уведомляют оператора службы технической поддержки и включают сигнал опасности.

Пожар в дата-центре WebNX

В апреле 2021 года произошел пожар в дата-центре Ogden американской компании WebNX. Загорелся генератор, после чего пожар распространился на прилегающие помещения. В результате произошло полное отключение энергоснабжения, пострадало серверное оборудование. Некоторые серверы, сильнее всего поврежденные огнем, вряд ли удастся восстановить.

Ситуация вышла из-под контроля после того, как прекратилось энергоснабжение города, который поставлял энергию для дата-центра, в дата-центре включились несколько автономных генераторов энергии, но в одном из них произошла поломка, которая и привела к возгоранию.

Прибывшие пожарные потушили огонь, но их действия привели к повреждению оборудования водой в помещениях, затронутых огнем.

В этом дата-центре размещались и серверы компании Gorilla Servers. Правда, оборудование этой организации не пострадало, но в результате отключения энергии прекратили работу сервисы и сайты клиентов. Дата-центр оказался обесточенным на несколько часов, восстановление работы всех систем потребовало около 20 часов. Убытки оператора дата-центра в этом случае превысили $25 млн.

Сбой в работе дата-центра банка TSB

В сентябре 2018 года британский банк TSB решил провести обширную миграцию IT-оборудования, не проведя перед этим тестирование нового дата-центра. Самое обидное для компании то, что поставщик IT-услуг Sabis, которого наняли для проведения миграции, протестировал все дата-центры, затронутые в ходе миграции, кроме одного. При этом факт того, что тестирование не проведено, был скрыт от руководства.

Итог плачевен: два миллиона клиентов банка одномоментно лишились доступа к счетам. Банку пришлось потратить около $480 млн на устранение последствий сбоя в работе ЦОД, включая сборы за расследование инцидента в размере примерно $35 млн.

Пожар в лондонском дата-центре Telstra

В августе 2020 года пострадал дата-центр Telstra, крупнейшей телекоммуникационной компании Австралии. Как и в случае с OVH, проблема возникла из-за неисправного ИБП. Несмотря на то, что огонь удалось локализовать, в отличие от OVH, инцидент затронул большую часть площади дата-центра, а это 11 000 квадратных метров. Внутри помещений, где возникло возгорание, находилось около 1800 серверных стоек.

На место отправили сразу четыре пожарные машины и 25 членов экипажа. Похоже на то, что команда сработала очень хорошо, поскольку огонь смог серьезно повредить лишь небольшую часть складского помещения. Из персонала никто не пострадал.

Тем не менее, несколько десятков серверов оказались в офлайне, их работу удалось восстановить лишь через несколько часов. Соответственно, не работали сервисы и сайты клиентов Telstra. Общие убытки компании превысили $10 млн, не говоря уже о репутационных потерях.

Поломка ИБП в дата-центре Equinix LD8

В августе 2020 года возникла и проблема с энергосетью дата-центра Equinix LD8: Там после отключения подачи энергии из сети отказал ИБП. Пожара не было, но проблему с электрическом не удавалось решить на протяжении нескольких часов, так что пострадало немало клиентов.

Авария случилась в ЦОД на территории лондонского района Доклендс, причем сотрудники поддержки смогли понять причину проблему почти сразу после ее появления. Как оказалось, отключившийся ИБП обесточил главный кластер маршрутизаторов Juniper MX и Cisco LNS. Именно этот кластер обеспечивал работу большей части оборудования дата-центра.

После того, как кластер обесточился, отключились сервисы крупнейших компаний клиентов Equinix. В их число входят международные телекоммуникационные компании Epsilon, SiPalto, EX Networks, Fast2Host, ICUK.net и Evoke Telecom. Повлияла авария и на работу других дата-центров.

В качестве вывода скажу, что это далеко не все аварии, которые случились за последние несколько лет. Но, вероятно, эти инциденты можно назвать наиболее показательными, поскольку их можно было предотвратить. Непрофессионализм сотрудников, проблемы с ИБП, отключение питания достаточно распространенные проблемы. А с какими сложными инцидентами в дата-центрах сталкивались вы? Если есть что рассказать давайте обсудим в комментариях.

Бонус: отключение энергии из-за технических работ

Есть и ситуации, которые достаточно сложно (хотя и можно) предусмотреть. Например, в The Register как-то пересказали историю, присланную в редакцию одним из читателей. Жила-была серверная ферма с тремя ИБП на 220 кВА, работала себе вполне нормально довольно долго. С течением времени потребность в одном из ИБП отпала, и его решили переместить в недавно открытый новый ЦОД. Руководство планировало сэкономить на покупке нового ИБП но вышло иначе.

Стоит отметить, что ЦОД, о котором идёт речь, немаленький, его площадь составляла около 2500 квадратных метров. Оборудования было много, несколько сотен серверов, так что допустить какие-то либо проблемы было смерти подобно.

В ЦОД пригласили профессиональных электриков, на которых и возложили обязанность отключения от сети одного из ИБП и его транспортировки с дальнейшим подключением в новом ЦОДе. В итоге профессионалы сделали что-то не то, и дата-центр полностью обесточился.

Я сидел за рабочим столом, когда электрики начали отключение блока ИБП от сети. Они перевели систему в режим байпаса без проблем. Затем они обрезали автомат защиты на выходе и еще несколько проводов для ускорения демонтажа. И тут дата-центр площадью 2500 квадратных метров вдруг затих. Я побежал в машзал, ожидая обнаружить пораженных током электриков. Но они просто спокойно отсоединяли провода. Я закричал, что ЦОД ушел в офлайн, на что электрики ответили, что оборудование запитывается в режиме байпаса. Я повторил. Они остановились, подумали секунд десять, а затем их глаза открылись по-настоящему широко, рассказал очевидец.

Восстанавливать работоспособность дата-центра пришлось 36 часов, хотя изначально электрики заявили о часовом простое.