Русский
Русский
English
Статистика
Реклама

Dwdm

Опыт построения сети DWDM

13.02.2021 20:21:59 | Автор: admin

Как известно, работа большинства инженеров-связистов/ сетевиков/ IT-шников остается в тени до момента, когда что-то пойдет не так. Неосведомленные люди и не понимают, чего все эти инженеры сидят и с умным видом смотрят в компьютер, читают и пишут какую-то абракадабру на непонятных языках. А вот когда, что-то пошло не так, все (и особенно руководство) сразу начинают вспоминать названия всех краснокнижных животных.

Итак, вот чем занимаются все эти инженеры и какие задачи им приходится решать, на примере реализации одного из довольно непростых проектов развертывание DWDM-сети.

Постановка задачи

Одна крупная финансовая организация, устав от частых сетевых сбоев на арендованных каналах связи, и исходя из собственных планов на дальнейшее перспективное развитие, инициировала проект и обратилась в компанию BCC за содействием в построении собственной высоконадежной, отказоустойчивой сети DWDM.

Связисты знают, что такое волновое уплотнение каналов, т.е. когда несколько каналов передаются внутри одного волокна путем разнесения частот/длин волн (кому как нравится). Кто не знаком, можно подчитать тут.

Dense Wavelength Division Multiplexing (DWDM)Dense Wavelength Division Multiplexing (DWDM)

К слову сказать, DWDM не часто встретишь у корпоративных клиентов, разве что у очень крупных. В основном DWDM встречается на операторских сетях.

Сбор исходных данных

Все этапы проекта важны, а о важности этого этапа даже и не стоит говорить, это очевидно!

Итого, определено кол-во узлов, кол-во и скорости каналов, определены длины оптических трасс, проанализированы рефлектограммы на предмет затуханий и отражений, пр. исходные и -> ищем подходящее решение.

При выборе остановились на решении Huawei OptiX OSN 8800.

Проектирование

Стоит сказать, что рассчитать серьезную систему DWDM без специальных знаний нельзя, очень много нюансов, это не какая-то коробка, которую можно просто принести и включить (см. рис., как примерно выглядит типовой узел DWDM)! Лазеры, транспондеры, окна прозрачности, мультиплексоры/демультиплексоры, дисперия, поляризация Does that all make sense?

Пример типового узла DWDMПример типового узла DWDM

Здесь стоит отметить, что в вопросе проектирования Huawei оказывал неоценимую помощь в подборе оптимального решения, используя свои специализированные программные средства, в результате чего проводится расчет всех оптических участков, и получается оптимальная спецификация, вплоть до последнего аттенюатора (см. рис.).

Пример расчета узлов DWDMПример расчета узлов DWDM

Один участок оптической трассы вызывал особое беспокойство его длина составляла более 150 км. Оставалось понять, удастся ли прострелить этот участок или потребуется устанавливать в полях дополнительный узел. Решено было обойтись без установки доп. узла, и чтобы вытянуть этот участок пришлось задействовать одно интересное решение ##, но об этом позже.

Реализация

Поставка оборудования DWDM дело штучное, под заказ, по сути, оборудование со всей начинкой производится под конкретный проект. Здесь тоже оказалось все в порядке Huawei произвел и поставил оборудование в срок!

Подготовка ЦОДов к установке оборудования опускаем. Уверяю, на этапе реализации возникнет не один вопрос (установка системы управления, регулировка уровней сигналов, пр., пр., пр.). Тут тоже стоит отдать должное вендору, Huawei оперативно консультировал по всем вопросам. Видно было, что здесь не подход продал и забыл, а что Huawei отвечает за общее решение и готов оказывать максимально возможные консультации.

И вот, случился сложный момент та самая оптическая трасса с рамановскими усилителями. Если кратко, на дилетантском уровне, рамановский усилитель светит навстречу принимаемому сигналу, чтобы его вытянуть! Участок с рамановскими усилителями требует наличия оптики практически сверхидеального качества, не только без стыков через оптические кроссы, но и с минимальными потерями и отражениями при сварке оптического кабеля (см. требования ниже).

Требования к оптической трассе для работы рамановских усилителейТребования к оптической трассе для работы рамановских усилителей

Если рядом с рамановским усилителем случится отражение сигнала,- приемник может просто сгореть!

А где вы видели 150+ км. оптического кабеля без стыков и сварок? И вот тут начались игры с доведением оптического кабеля до нужных характеристик. Практически по всей длине 150+ километровой трассы были заменены оптические разъемы UPC на APС (про разъем E2000 кто-нибудь слышал? а они есть), потребовалось даже заменить небольшой оптический участок на последней миле.

После каждой из активностей на оптическом кабеле совместный с вендором анализ рефлектограмм на предмет затуханий и отражений, планирование дальнейших действий.

Приемосдаточные испытания

И вот DWDM сеть построена, оборудование моргает и жужжит, задача определить слабые места и завалить сеть, проверить работу в любых условиях, при любых неисправностях: обрыве оптических каналов, односторонней передаче, при возникновении неисправностей между элементами DWDM. И, как говорится, было бы желание, а докопаться можно до всего!

Так, самую большую опасность представлял сценарий с обрывом только Rx или Тх, и несмотря на наличие специализированных протоколов (LPT, ALS) для автоматического восстановления сервиса, время схождения превышало 150мс, что означало, что на это время наблюдалась частичная потеря трафика и потребовалось срочно найти дополнительные механизмы, чтобы оперативно дать понять сетевому оборудованию, стоящему за DWDM, о необходимости использования альтернативного пути.

Решение было найдено - использовать комбинацию технологий Ether-Channel и L2 BFD на коммутаторах Huawei. Минимальные таймеры BFD позволяли детектировать проблему наличия односторонней передачи еще до того, как оборудование DWDM исправит ситуацию, используя свои собственные механизмы, в результате СПД практически не замечала проблем на сети DWDM. Протоколы и таблицы маршрутизации не разъезжались, соседства не терялись, все были довольны!

Миграция

Ну, и напоследок миграция всех существующих сервисов работающей крупной финансовой организации на новую DWDM сеть.

Понятно, что это большая подготовительная работа, бессонные ночи, командная работа и колоссальная ответственность! И все удалось, страна спала спокойно!

Сухой остаток

Я намеренно не стал здесь приводить какие-то сложные аббревиатуры, конфигурации и прочие вещи. Для профессионала, который в теме, все равно всего не опишешь, а для человека, который не в теме, это будет утомительно.

Справедливости ради хотел бы отметить, что в течение всего этого проекта была поддержка со стороны вендора! За время проекта мы открыли порядка десяти, а может и поболее кейсов и всегда получали ответы на интересующие вопросы!

Многие ругают TAC'и вендоров. Опыт работы с TAC Huawei на этом конкретном проекте сугубо положительный! В подавляющем большинстве кейсов мы получали оперативные, грамотные ответы, может не всегда после первой итерации, но получали. Бывало, требовалось подключение R&D из Китая, но результат был всегда! ( Ну, или может дело в том, что вместе с оборудованием и поддержка была закуплена?).

Поэтому благодарности не только команде BCC, но и команде Huawei!

P.S.: Да, несмотря на всю правдивость истории, все совпадения случайны.

P.P.S.: Описание проекта также доступно здесь.

Подробнее..

На каких серверах держится Архив Интернета?

31.03.2021 12:04:48 | Автор: admin

Фото 1. Один из дата-центров Internet Archive в Сан-Франциско

Internet Archive некоммерческая организация, которая с 1996 года сохраняет копии веб-страниц, графические материалы, видео- и аудиозаписи и программное обеспечение. Каждый может зайти в Wayback Machine и посмотреть, как выглядел Хабр в 2006 году или Яндекс в 1998 году, хотя загрузка архивных копий занимает около минуты (это не для реализма 90-х, а по техническим причинам, см. ниже).

Архив быстро растёт. Сейчас объём всех накопителей достиг 200 петабайт. Но Internet Archive принципиально не обращается к стороннему хостингу или облачному сервису вроде AWS. У некоммерческой организации собственные дата-центры, свои серверы и свои инженеры. Это гораздо дешевле, чем услуги AWS.

Архив Интернета против облаков


Технические подробности серверного устройства Internet Archive раскрыл Джона Эдвардс (Jonah Edwards), руководитель инженерной группы Core Infrastructure Team.

По его мнению, понятие облако многих людей вводит в заблуждение как нечто абстрактное. На самом деле это просто чужие компьютеры, то есть серверы посторонней компании. Для Internet Archive это неприемлемо. У организации собственные серверные в собственных зданиях, компьютеры принадлежат им, и персонал тоже свой.


Четыре дата-центра Internet Archive располагаются в Сан-Франциско, Ричмонде и Редвуд-Сити (это пригороды Сан-Франциско)

Кто-то может посчитать такой подход архаичным, но в некоторых случаях он действительно оправдан. В случае Internet Archive на то есть три причины: это дешевле, обеспечивает лучший контроль за серверами и даёт гарантию, что пользователей не отслеживают рекламные трекеры.

Деньги на обслуживание инфраструктуры и зарплаты сотрудникам собираются преимущественно за счёт пожертвований и грантов, годовой бюджет составляет около $10 млн.

Инфраструктура


Что представляет собой инфраструктура, которой управляет Core Infrastructure Team? На февраль 2021 года цифры такие:

  • 750 серверов, возраст до 9 лет;
  • 1300 виртуальных машин;
  • 30 000 устройств хранения данных;
  • более 20 000 жёстких дисков в парах друг с другом (paired storage), обычно пара разнесена по дата-центрам или странам для надёжности;
  • общий объём накопителей почти 200 петабайт.

Разумеется, техника постепенно обновляется. На смену старым накопителям приходят новые. Например, маленькие диски на 2 и 3 терабайта полностью вышли из обращения в 2017 и 2018 годах, соответственно, а с прошлого года постоянно растёт доля дисков на 16 ТБ.

Как показано на графике ниже, несмотря на увеличение ёмкости накопителей, общее число HDD тоже постепенно растёт: за три года оно выросло с 15 тыс. до 20 тыс.


Количество жёстких дисков разного объёма на серверах Internet Archive

Диски реплицируются по дата-центрам, для производительности контент по запросу выдаётся одновременно со всех копий. Все элементы Архива представляют собой директории на дисках. Веб-страницы Wayback Machine хранятся в файлах WARC (Web ARChive, сжатые файлы Web Archive). При запросе отдельной страницы её нужно извлечь из середины архива WARC, а если страница требует загрузки дополнительных ресурсов, то процесс повторяется. Это одна из причин, почему полная загрузка страниц из Wayback Machine достигает 90 секунд, хотя закэшированные копии и популярный контент загружаются быстрее.



Для надёжности копии Архива хранятся не только в Сан-Франциско, но и ещё в нескольких локациях по всему миру, в том числе в Амстердаме (Нидерланды) и Новой Александрийской библиотеке (Египет).

В 1996 году первые серверы Internet Archive подняли на недорогих компьютерах из стандартных комплектующих: по сути, на обычных десктопах под Linux. Хотя инфраструктура сильно выросла, в качестве операционной системы всегда использовали только Linux. С 2004 года все серверы перешли на Ubuntu, сейчас продолжается миграция на Ubuntu 20.4 LTS (Focal Fossa).

Объём Архива


В последнее время объём Архива возрастает примерно на 25% в год, сейчас это соответствует 56 петабайтам в квартал. С учётом резервных копий нужно добавлять накопителей на 1012 петабайт в квартал.

Одна копия Архива занимает более 45 петабайт, но на дисках и лентах хранится минимум две копии каждого объекта.

Как видно на графике вверху, обновление дискового массива происходит только за счёт моделей максимальной ёмкости. Например, в конце 2021 года планируется переход на диски по 20 ТБ, и тогда в серверы будут устанавливать только их. Остальные HDD постепенно доживают свой век, и их количество медленно снижается.

Internet Archive возлагает большие надежды на новые технологии записи данных, такие как HAMR (heat-assisted magnetic recording), чтобы ёмкость HDD увеличивалась ещё быстрее. Технология HAMR предусматривает предварительное нагревание магнитной поверхности лазером в процессе записи, что позволяет значительно уменьшить размеры магнитной области, хранящей один бит информации и увеличить плотность записи. Нагрев выполняется с помощью лазера, который за 1 пс разогревает область записи до 100 C.

Разработка этой технологии затянулась на 15 лет, но в январе 2021 года были официально представлены первые диски HAMR на 20 ТБ. Пока что они официально поставляются только избранным клиентам в рамках фирменного сервиса Seagate Lyve, но вскоре должны появиться в свободной продаже.

Seagate обещает, что HAMR позволит наращивать ёмкость HDD на 20% в год. Поэтому в ближайшее время можно ожидать модель на 24 ТБ, а в будущем диски на 30 и 50 ТБ. Internet Archive тоже надеется на это и внимательно следит за последними разработками.

На текущем размере дисков понадобится 15 вот таких серверных стоек, чтобы разместить одну копию Архива:


У Internet Archive 750 серверов и 20 000 жёстких дисков

Сейчас в дата-центрах установлено 75 серверных стоек, что обеспечивает некоторый запас и избыточное копирование.

По состоянию на февраль 2021 года на серверах хранились копии 534 млрд веб-страниц, 16 млн аудиозаписей, 8,7 млн видеозаписей фильмов, клипов и телепередач, 3,8 млн изображений, 629 тыс. компьютерных программ, более 29 млн книг и текстов, в том числе 72 771 текст на русском языке.



Любой пользователь может создать аккаунт и добавить в архив медиафайлы.

Internet Archive поддерживает API для внешних сервисов. Например, сторонний сервис может забирать контент из хранилища и показывать его на своём сайте или в приложении. Можно строить собственные каталоги на базе этого хранилища, эксплуатируя IA просто как удалённый бесплатный хостинг файлов с хотлинками. Подобную модель использует книжный каталог Open Library на базе Internet Archive. Хотлинки и модель подобной эксплуатации собственных ресурсов поощряется со стороны Архива. Кстати, аналогичные правила действуют в Wikimedia Commons: холинкинг разрешён и даже поощряется, что недавно вызвало казус с фотографией цветка: по непонятной причине ежедневно в сеть Wikimedia Commons поступало около 90 млн одинаковых запросов на получение одного файла AsterNovi-belgii-flower-1mb.jpg. Будем надеяться, что у Internet Archive таких инцидентов не случится.

Сеть


В 2020 году Internet Archive пережил серьёзный рост количества запросов и объёма внешнего трафика с 40 до 60 Гбит/с. Из-за пандемии коронавируса и самоизоляции ресурсы Архива стали более востребованы. Количество запросов росло так быстро, что в определённый момент маршрутизаторы Internet Archive перестали справляться с нагрузкой, пришлось делать апгрейд сетевой инфраструктуры быстрее, чем планировалось. Сейчас веб-сайт входит в топ-300 крупнейших сайтов интернета.

Работа на собственных серверах имеет и свои недостатки. Основные причины сбоев Internet Archive обрывы оптоволокна из-за строительных работ в городе, сбои энергоснабжения, случайные провалы напряжения в сети. Впрочем, прошлый год сайт завершил с аптаймом 99,9%.



Internet Archive планирует расширять внешний канал. Ожидается, что в ближайшее время внешний трафик вырастет до 80 Гбит/с.

Примерно так выглядит дизайн внутренней сети:



Дата-центры подключены к нескольким провайдерам первого уровня (Tier 1) и соединены между собой по оптоволокну с применением технологии плотного спектрального уплотнения (DWDM). Локальные университетские сети подключаются к этому кольцу напрямую через локальные точки обмена трафиком.

Вместо нынешнего оптоволокна планируется проложить пары 100-гигабитных кабелей по всему кольцу из четырёх дата-центров, так что внешний трафик тоже можно будет увеличить до 100 Гбит/с.

Прокладка новых кабелей по Сан-Франциско весьма хлопотное и дорогое дело. Приходится перекладывать асфальт на автомобильных дорогах и тротуарах. К счастью, Internet Archive удалось получить официальный статус библиотеки, что даёт доступ к государственным субсидиям, в том числе к бюджету Федеральной комиссии по связи США (FCC) на подключение всех библиотек к интернету. Таким образом, львиную долю расходов на прокладку, обслуживание оптоволокна и трафик оплачивает FCC по программе E-Rate Universal Service Program.

С 2005 года Internet Archive начал проект Open Library по сканированию книг. С одной стороны, это действительно важный общественный проект. С другой стороны, он позволил получить государственные льготы и финансирование в качестве публичной библиотеки.

Кроме государственных грантов и пожертвований, организация оказывает платные услуги по сканированию книг, в основном, для других библиотек и университетов. Это ещё один источник финансирования.

Планы на будущее


Инженеры Internet Archive сейчас обдумывают варианты использования SSD и GPU в основных серверах, чтобы увеличить их производительность. Главная проблема здесь в том, что все дата-центры находятся в стеснённых городских условиях Сан-Франциско и пригородов с очень ограниченными возможностями охлаждения (см. фото 1). Так что каждый апгрейд требуется хорошо обдумать: не приведёт ли он к повышению температуры.

Интересно наблюдать за ростом инфраструктуры Internet Archive с увеличением количества серверных стоек. Есть подозрение, что рано или поздно наступит момент, когда сложность поддержания своей инфраструктуры превысит некий порог и библиотека откажется от собственных дата-центров. Но пока что инженеры Core Infrastructure Team успешно справляются с работой.

В зависимости от методологии расчёта, хранение данных в собственных дата-центрах Internet Archive обходятся в 25 раз дешевле, чем в облаке. И это только хранение. Сложно даже посчитать, сколько будет стоить круглосуточный исходящий трафик 60 Гбит/с на AWS. Вероятно, он обойдётся даже дороже, чем хранение 200 петабайт.

Похоже, что некоторые сервисы просто слишком велики для облака. Компаниям приходится поднимать собственные дата-центры, потому что у них нет выхода. Другой вопрос: должна ли библиотека заниматься этим самостоятельно? Получается, что современная цифровая библиотека это по сути хостинг-провайдер и дата-центр?



На правах рекламы


Эпичные серверы это надёжные VDS на Linux или Windows с мощными процессорами семейства AMD EPYC и очень быстрой файловой системой, используем исключительно NVMe диски от Intel. Попробуйте как можно быстрее!

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru