Промышленные сети

Эта статья условно разделена на две части. В первой мы рассмотрим общие проблемы безопасности систем типа АСУ ТП, их слабые места и теоретические способы защиты. Во второй части ознакомимся с аппаратными и программными продуктами защиты, сравним их по основным параметрам: обнаружение угроз нулевого дня и аномалий, интеграция, анализ трафика, инвентаризация устройств, особенности.

Угрозы

Термин АСУ появился как только в системы управления была внедрена вычислительная техника. Первые простейшие АСУ состояли всего из двух уровней: сбор информации и принятие решения. Информация поступала от объекта управления оператору, который обменивался данными с ЭВМ и осуществлял управление объектом. Здесь вычислительные мощности выступали в качестве помощника к человеческому управлению и принятию решений.

Со времен первых ЭВМ автоматизированные системы управления технологическим процессом совершили гигантский скачок. Но их особенностью до сих пор остается автоматизированный машинный процесс, за которым следит человек.

Эти системы предназначены для использования исключительно в технологических процессах. Будучи задействованными в критически важных инфраструктурах, АСУ ТП строятся на основе отказоустойчивой, высоконадежной вычислительной техники. Это техника промышленного исполнения созданная специально для долговременной, круглосуточной эксплуатации на индустриальных объектах. Последствия сбоя или отказа работы систем представляет серьезную угрозу для оборудования, для жизни и здоровья людей.

Несмотря на такую ответственность бесперебойности процесса, о необходимости повышать уровень безопасности АСУ ТП заговорили только недавно. Массовый интерес к теме привлекли вирусные атаки, ставшие регулярными где-то с середины 2010-тых. Вот, например, некоторые из атак, случившихся за последнее десятилетие:

• В 2012 году был обнаружен вирус Flame, атаковавший иранские ядерные объекты, гос.учреждения и промышленные объекты многих стран. Большего всего пострадали Индия и Китай.
• В 2014 году хакерам удалось проникнуть в компьютер сталелитейного завода, управляющего доменной печью и установить вредоносную программу, что заставила печь перегреться и расплавиться.
• В августе 2017 года, после атак на критическую инфраструктуру ряда организаций на Ближнем Востоке, был обнаружен вредонос Triton, известный еще как Trisis/HatMan.
  
  Triton был предназначен для автоматического завершения промышленных процессов или перевода системы в небезопасный режим. Проникнув в сеть предприятия, злоумышленники выжидали почти год, незаметно изучая ее и только затем использовали доступ к автоматической системе функциональной безопасности.
• В феврале 2018 г. в СМИ появилось сразу несколько сообщений о заражении промышленных предприятий вредоносным программным обеспечением с функцией майнинга криптовалюты. В одной из водоочистных станций в Европе зараженными оказались четыре сервера под управлением операционной системы Windows XP. Вредоносное ПО замедляло работу HMI и SCADA-серверов, используемых для мониторинга технологических процессов.
• В июне 2018 г. стало известно о масштабной кибератаке с территории Китая на телекоммуникационные предприятия, операторов спутников связи и некоторых оборонных объектов США и Азии. В ходе атаки злоумышленники инфицировали компьютеры, используемые для управления спутниками связи и сбора данных геопозиций.
• В 2018 году злоумышленникам удалось получить доступ к серверам, на которых располагались компоненты медицинской информационной системы МЕДИАЛОГ в Тюмени, Россия. Система использовалась в качестве базы данных для снимков, результатов анализов и другой информации, необходимой в процессе лечения пациентов.
  
  В результате, в момент экстренной операции на головном мозге 13-летней пациентки, обнаружилось, что система МЕДИАЛОГ недоступна из-за того, что файлы, необходимые для работы сервисов, были зашифрованы вредоносной программой (операцию удалось завершить вручную).

Уязвимости

АСУ ТП имеет стандартную трехзвенную структуру, и какой бы ни была ее отказоустойчивость, средний уровень SCADA-системы, является наиболее уязвимым и позволяет злоумышленнику производить ряд манипуляций с технологическим процессом, в том числе вопреки отказоустойчивости. Важно при этом отметить, что последняя имеется обычно на уровне механики. На уровне же управления этой механикой да, кое-где есть сигнализация, но в целом, если оператор отдаст команду принудительно повысить давление, то давление повысится. Если прикажет все датчики отключить все датчики отключаются, и так далее. При этом и отказоустойчивость встречается не всегда. Допустим, в серьезных системах атомной энергетики она действительно присутствует, там выполняется двойное или тройное резервирование и к вопросам безопасности вообще подходят ответственно. Но в нефтегазовой отрасли, в промышленности, в энергетике все обстоит несколько иначе.
Алексей Косихин, руководитель направления по работе с ТЭК Центра информационной безопасности компании Инфосистемы Джет

Среди киберугроз, свойственных АСУ ТП, можно выделить три класса:

• угрозы техногенного характера;
• угрозы антропогенного характера;
• угрозы несанкционированного доступа.

К угрозам техногенного характера относится физическое влияние на компоненты АСУ ТП. К антропогенным преднамеренные и непреднамеренные действия людей, занятых обслуживанием АСУ ТП, ошибки персонала, ошибки в организации работ с компонентами АСУ ТП. Угрозы несанкционированного доступа для АСУ ТП рассматриваются при наличии взаимодействия ее компонентов с локальной вычислительной сетью предприятия. Такая связь существует для передачи информации о состоянии технологической среды и управления воздействиями на технологические объекты.

На общую защищенность систем влияет переплетение этих факторов. Это и отказ даже минимальных мер безопасности, и использование Windows как основной операционной системы для рабочих станций и серверов, и слабая дисциплина сотрудников.

Защита

Реализация системы Информационной Безопасности АСУ ТП представляет собой комплексную задачу. Ее решение зависит от выполнения правил на всех уровнях:

• административный: формирование руководством программы работ по информационной безопасности;
• процедурный: определение норм и правил для персонала, обслуживающего сеть;
• программно-технический: управление доступом;
• обеспечение целостности;
• обеспечение безопасного межсетевого взаимодействия;
• антивирусная защита;
• анализ защищенности;
• обнаружение вторжений;
• непрерывный мониторинг состояния, выявление инцидентов, реагирование.

Системы контроля уязвимостей один из эффективных методов противодействия промышленным киберугрозам. Это узкопрофильные программы, разработанные специально для промышленных систем автоматизации. Они позволяют определить целостность внутренней среды устройства, зафиксировать все попытки изменить прикладную программу контроллера, изменения в конфигурации сетевых устройств защиты и управления в энергосетях.

Многие разработчики продуктов кибербезопасности в первую очередь указывают на необходимость повышения видимости внутри сети. Как показывает опыт, это действительно важно. Незамеченная вовремя компрометация сети может работать месяцами с неактивированными эксплойтами. Специализированные средства обнаружения и предотвращения киберугроз позволяют не только обнаружить уязвимости, но и выявляют угрозы нулевого дня.

Много рисков информационной безопасности связано с устаревшим оборудованием и программным обеспечением например, существуют системы SCADA, которые способны работать только с Windows NT или Windows 98. Некоторые из таких рисков можно снизить при помощи современных технологий виртуализации, но это не всегда возможно. С этим связан еще один тип защиты изоляция. Серверы SCADA и OPC (OLE for Process Control), PLC и другие компоненты систем автоматизированного управления должны быть изолированы от Интернета.

Отдельно стоить выделить платформы для создания распределенной инфраструктуры ложных целей, DDP (Distributed Deception Platform). Они позволяют развернуть сеть поддельных устройств-приманок, практически неотличимых от реальных, что привлекают злоумышленников.

Теперь, когда у нас есть общее представление о том, как должна работать киберзащита АСУ ТП, мы переходим ко второй части этой статьи. Она будет посвящена обзору практических защитных решений, представленных в таблице сравнения.

Для статьи мы выбрали лишь некоторые ключевые пункты из таблицы, такие как обнаружение угроз нулевого дня, интеграции, обнаружение аномалий и анализ трафика, инвентаризация устройств, особенности продукта.

Решения

Dragos Industrial Cybersecurity Platform

Dragos компания из США, основанная в 2016 году. Несмотря на свой юный возраст, она уже успела получить множество мировых наград в области киберзащиты индустриальных систем.

Это команда экспертов, специализирующаяся на защитных промышленных решениях и Интернете вещей. Их флагманским продуктом является именно платформа, но также Dragos предоставляет услуги реагирования на инциденты, анализ угроз вашей сети и проводит тренинги по кибербезопасности.

Dragos Industrial Cybersecurity Platform это защитное решение для промышленных сетей, которое автоматически находит и идентифицирует активы сети. Программа сканирует активы, находя неправильные настройки, возможности улучшения конфигурации.

В случае выявления подозрительной активности, платформа предоставляет пошаговое руководство к расследованию и реагированию на инцидент и инструменты для устранения неполадок.



Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика: да
Интеграции: SIEM
Поддерживаемые системы: DCS, PLC
Особенность: пошаговое руководство по управлению безопасностью от экспертов команды, оформленное в плейбук.

CyberX OT

До создания CyberX, ее команда успела поработать в сфере защиты критических инфраструктур США. Их гордостью, кроме защиты на уровне Пентагона и сотрудничества с лидерами мирового рынка, является запатентованный способ машинного обучения. Именно благодаря ему их продукты молниеносно выявляют любые аномалии в индустриальных сетях.



Работа платформы CyberX OT базируется на пяти ключевых элементах: поведенческий анализ активов для выявления любых нетипичных действий; мониторинг нарушения протоколов; обнаружение зловредных агентов (в том числе продвинутых угроз); нахождение операционных неполадок; выявление связей между машинами, которые не должны коммуницировать.

Решение способно полноценно интегрироваться в ваш стэк безопасности благодаря открытому API. Такая интеграция решит проблему безопасности как в ИТ-среде так и в промышленной среде.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: да
Обнаружение аномалий: да
Анализ трафика: да
Интеграции: файрвол, CMDB, IDS/IPS, SIEM, SOC
Поддерживаемые системы: DCS, PLC, RTU
Особенность: самообучаемая машинная аналитика, которая сводит ложные срабатывания к нулю.

Cyberbit SCADASchield

С 2015 года Cyberbit поставляет на рынок решения по кибербезопасности. Специализация компании эмуляция атак и тренинги команд информационной безопасности, защита конечных точек, защита промышленных сетей, оркестровка и автоматизация систем безопасности.

SCADAShield обеспечивает беспрецедентную видимость в сети, обнаружение известных и неизвестных аномалий и ошибки в операционных технологиях. А благодаря 7-уровневой глубокой проверке пакетов (DPI) решение находит отклонения от эксплуатационных ограничений.

Визуальное отображение всей вашей сети происходит в режиме реального времени и включает IP и не IP-устройства.



Характеристики:

Инвентаризация устройств: нет
Обнаружение угроз нулевого дня: да
Обнаружение аномалий: да
Анализ трафика: нет
Интеграции: Cyberbit EDR, SIEM
Поддерживаемые системы: N/A
Особенность: формирование карты информационных потоков между активами сети, автоматическое формирование правил

Claroty Platform

Миссия Claroty защита индустриальных сетей. Это команда, сформированная из профессионалов из разных областей знаний: там есть и бывший адмирал по кибербезопасности армии США, и специалист по космическому проектированию, и специалист по страхованию.

Claroty Platform предоставляет группам безопасности исключительную видимость в промышленных сетях управления и мониторинг в режиме реального времени. Мониторинг способен распознать продвинутые угрозы и вовремя выявить уязвимости сети.



Платформа позволяет сегментировать сеть, контролировать и предоставлять безопасный удаленный доступ, составлять детализированные политики доступа и записывать сеансы.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: да
Обнаружение аномалий: да
Анализ трафика: нет
Интеграции: SIEM, SOC
Поддерживаемые системы: HMI, PLC
Особенность: управление удаленным доступом, ускоренное и четкое реагирование на инциденты безопасности

Veracity Cerebellum

Цель Veracity сделать вашу промышленную сеть отказоустойчивой и безопасной. Компания поставляет локальное, централизованное решение для оптимальной конфигурации, управления и мониторинга сети.



Флагманский продукт, Veracity Cerebellum, разработан по аналогии с мозжечком человека. Функция мозжечка принимать сигналы от спинного и головного мозга, сенсорных систем и на основе данных регулировать движения тела.

Платформа Veracity Cerebellum выполняет аналогичные функции в промышленных сетях. Она реагирует на сенсорные данные и управляет заранее спроектированной реакцией производственного процесса.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика: да
Интеграции: OT
Поддерживаемые системы: N/A
Особенность: создание моделей безопасности по шаблонам или с нуля, развернутое управление устройствами в сети (в т.ч карантин), сегментация сети и выделение безопасных зон

Waterfall Unidirectional Security Gateways

Waterfall Security Solutions защищает критически важные промышленные сети с 2007 года. Unidirectional Security Gateway их запатентованное решение, обеспечивающие надежную интеграцию и обмен данными между сетями ИТ и ОТ. Это решение позволяет проводить облачный удаленный мониторинг и диагностику, защищает от несанкционированного доступа. При этом оно лишено уязвимостей, которые есть при соединении через брандмауэр.

Unidirectional Security Gateways обеспечивает аппаратную защиту периметра сети. Решение состоит из аппаратного (модуль TX оптоволоконный передатчик, модуль RX оптический приемник) и программного компонента (соединители промышленного прикладного ПО).



Такая конфигурация обеспечивают одностороннюю передачу и репликацию серверной информации из сети OT во внешнюю сеть, при этом предотвращая распространение любого вируса, атаки DOS, человеческой ошибки или любой кибератаки.

Характеристики:

Инвентаризация устройств: нет
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика: да
Интеграции: IT/OT
Поддерживаемые системы: N/A
Особенность: репликация серверов, эмуляция промышленных устройств, перевод промышленных данных в облачные форматы

Nozomi Networks Guardian

Nozomi Networks предлагает единое решение для контроля кибер рисков в режиме реального времени. Высокая точность и минимальность ложных срабатываний достигается за счет инновационного использования искусственного интеллекта и машинного обучения.

Технологии Nozomi Networks Guardian позволяют ему автоматически отображать и визуализировать всю вашу промышленную сеть, включая активы, соединения и протоколы. Решение отслеживает сетевые коммуникации и поведение на предмет рисков и предоставляет информацию, необходимую для быстрого реагирования.



Интегрированная инфраструктура безопасности включает встроенные интеграции для систем управления активами, тикетами и идентификацией, SIEM.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: да
Обнаружение аномалий: да
Анализ трафика: да
Интеграции: IT/OT, SOC
Поддерживаемые системы: N/A
Особенность: масштабируемость, визуализация сети, продвинутое распознавание аномалий и угроз, самообучаемость

Indegy Industrial Cybersecurity Suite

Основанная с целью защиты промышленных сетей, команда Indegy может похвастаться уникальным сочетанием опыта в области кибербезопасности и практическими знаниями в области промышленного контроля.

В руководящие и научно-исследовательские группы компании входят специалисты по безопасности, промышленной эксплуатации и обороне, в том числе несколько выпускников элитных израильских подразделений кибербезопасности.

Развернутое как сетевое или виртуальное устройство, безагентное решение Indegy Industrial Cybersecurity Suit предоставляет комплексные инструменты безопасности для персонала Информационной Безопасности и инженеров OT.



Платформа обеспечивает отслеживание активов, обнаружение и смягчение угроз, управление уязвимостями и обеспечение целостности устройства. Она способна защитить сеть не только от зловредного вмешательства, но и от непреднамеренных человеческих ошибок.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика:
Интеграции: CMDB, SIEM
Поддерживаемые системы: DCS, PAC, PLC, RTU
Особенность: безагентное подключение к сети, оповещения на основе настраиваемых политик и их рассылка по почте, технология активного обнаружения для обеспечения целостности устройств

ICS CyberVision

Sentryo была основана двумя предпринимателями и ветеранами в сфере информационной безопасности. Теперь они применяют свой многолетний опыт работы в среде программного обеспечения, хакерства и киберзащиты в мире промышленной кибербезопасности.

Компания разработала уникальные алгоритмы ИИ для предоставления полной информации о промышленных активах. Их искусственный интеллект способен выявлять уязвимости, обнаруживать аномалии в режиме реального времени и совместно работать с ИТ-командой, отражая кибератаку.

ICS CyberVision использует уникальный язык OT для автоматической маркировки каждого актива и сетевой активности. За счет этого вы сразу видите функции устройства, марки систем, используемые протоколы, поведение OT или IT и сведения о сети.



Решение позволяет группировать активы и определять их влияние на промышленность, чтобы вы сами могли приоритизировать действия в соответствии с целями безопасности.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика: нет
Интеграции: файрвол, CMDB, SIEM, SOC
Поддерживаемые системы: N/A
Особенность: пассивный мониторинг без влияния на систему, контекстуализированные события, группировка и приоритизация активов в сети по их влиянию на безопасность

Forescout Platform

Forescout, основанная в 2000 году, разрабатывает в собственной лаборатории решения для видимости устройств, контроля поведения и кибербезопасности любого типа сетевого устройства. Их команда стремится улучшить способность организаций выявлять, понимать и управлять угрозами, связанными с постоянно расширяющейся экосистемой устройств.

Forescout Platform единая платформа безопасности, которая позволяет получать полную ситуационную осведомленность о корпоративной среде и организовывать действия по снижению любых рисков.

Продукт позволяет применять адаптивные, детализированные политики и
быстро просматривать результаты, используя существующую физическую и виртуальную сетевую инфраструктуру.



Платформа масштабируется на 2 миллиона устройств за одно развертывание в инфраструктуре предприятия, центре обработки данных, облачных сетях и сетях OT.

Характеристики:

Инвентаризация устройств: да
Обнаружение угроз нулевого дня: нет
Обнаружение аномалий: да
Анализ трафика: нет
Интеграции: CMDB
Поддерживаемые системы: N/A
Особенность: масштабируемость, динамическое сегментирование устройств, исправление несовместимых устройств во время подключения

Рассмотрев все продукты, условно их можно сгруппировать так:

• производительность для вас ценнее всего и нужен мощный, но пассивный мониторинг с нулевым воздействием CyberX OT, Indegy Industrial Cybersecurity Suite, ICS CyberVision, Cyberbit SCADASchield;
• в сети много устройств и их количество будет увеличиваться, а безопасность конечных точек и ОТ сети приоритетна Forescout Platform;
• хотите запустить устройство и не следить за ним, подойдут решения с машинным самообучением от Nozomi Networks Guardian и Veracity Cerebellum;
• командам информационной безопасности нужна помощь, поддержка и база знаний Dragos Industrial Cybersecurity Platform, Claroty Platform;
• аппаратная защита периметра Waterfall Unidirectional Security Gateways.

Более детальный перечень функций каждого из решений вы можете посмотреть в таблице сравнения, а составить собственную таблицу сравнения с интересующими вас решениями здесь.

Автор: Наталка Чех, для ROI4CIO

Привет, Хабр! Этим постом я хотел бы начать серию публикаций по промышленным решениям, которые мы сейчас активно тестируем в нашей КРОК-лаборатории. Для начала попробую разобрать основные вопросы проводных промышленных сетей и показать, чем их построение отличается от классических офисных. В качестве подопытного кролика возьму наиболее востребованное на рынке оборудование и софт от Cisco и разберу их особенности.

Как организовать Ethernet-подключения в промышленных зонах?

Первый и, казалось бы, очевидный вариант, который приходит в голову поставить Ethernet-коммутаторы, соединить их, по возможности, оптикой, и дотянуть от них до подключаемых устройств витую пару.

Здесь возникает первая сложность и первое же отличие промышленных сетей от офисных: большая часть коммутаторов устанавливается не в серверные, а в монтажные шкафы, разбросанные по цехам или по территории объекта. Тянуть от каждого монтажного шкафа по две оптические линии по разным путям дорого и сложно, из-за этого становится сложнее организовать привычную и надёжную звездообразную топологию. Приходится использовать кольца. Каждый, кто погружался в построение Ethernet-сетей, помнит, что кольца из коммутаторов зло. В случае со Spanning-Tree это действительно так. Этот протокол в кольцевой топологии может отрабатывать до 30 секунд, что часто неприемлемо для сетей, обслуживающих производственные процессы. Хуже того, скорость сходимости STP падает с увеличением количества хопов от корневого коммутатора до крайних коммутаторов, и как правило, рекомендуется не превышать расстояние в 7 хопов. Это значит, в кольце должно быть не больше 14 коммутаторов.

Что с этим можно сделать? В случае с коммутаторами Cisco, самое простое решение использовать вместо STP Resilient Ethernet Protocol REP и его модификацию REP Fast. Данный протокол специально предназначен для кольцевых топологий и обеспечивает сходимость сети максимум за 50-100мс при любых типах неисправностей и размерах колец до 50 коммутаторов. Причём 50 коммутаторов в кольце это не предел для такого протокола. Время сходимости при росте кольца конечно будет увеличиваться, но тот же Spanning-Tree на кольцах такого размера не сойдётся вообще никогда. REP поддерживается не только в промышленных коммутаторах, но и в офисных, в частности в серии Catalyst 9000, которые могут служить в качестве коммутаторов агрегации.

Протокол очень прост в настройке, вот пример:



Для более сложных случаев доступны протоколы PRP и HSR. Они предполагают полную дупликацию трафика по двум путям в сети. При отказе одного из путей потерь в передаче данных не возникает вообще. Однако и стоимость реализации такой устойчивости выше протокол поддерживается только в старших моделях и только промышленных Ethernet-коммутаторов (IE3400, IE4000, IE4010, IE5000). Впрочем, требования к надёжности и сходимости промышленной сети, как правило жёстко определяются характером производственного процесса, который эта сеть будет обслуживать. Один простой даже в 50 миллисекунд порой может стоить дороже, чем хорошее сетевое оборудование.

Как обеспечить требуемую надёжность работы?

Как правило требования по надёжности и отказоустойчивости к промышленному сегменту сети выше, чем к офисному. Промышленное сетевое оборудование делается и тестируется так, чтобы отвечать этим требованиям. В случае с коммутаторами Cisco, промышленное исполнение означает:

монтаж в компактные шкафы на DIN-рейку, питание от постоянного тока;
защита микросхем и портов от электростатических разрядов до 4000 кВ;
отсутствие вентиляторов высокоэффективное охлаждение конвекцией, несмотря на малый размер устройств;
способность выдерживать скачки напряжения электропитания согласно требованиям сертификаций IEC 61000-4-11, IEC 61850 коммутаторы Cisco продолжают работать при пропадании электропитания на промежуток времени до 50 мс, а при отключении отправляют сигнал Dying Gasp;
высокоточные внутренние часы;
возможность быстро заменить неисправный коммутатор, просто переставив SD-карту в новый (при этом новый коммутатор поднимется не только с тем же конфигом, что и старый, но и с тем же образом IOS);
быстрая загрузка (в пределах 80 секунд);
тщательное тестирование на соответствие промышленным сертификациям.


Рисунок 1. Симуляция процесса охлаждения коммутатора конвекцией


Рисунок 2. Тестирование коммутатора на устойчивость к электромагнитным воздействиям


Рисунок 3. Тесты с воздействием водой на коммутатор с уровнем защиты IP67

Часто так бывает, что промышленные коммутаторы подключаются к обычным офисным, как к коммутаторам агрегации и при отказе последних промышленный сегмент перестаёт работать. Чтобы такого не допустить, необходимо обеспечивать агрегацию промышленных коммутаторов, расположенных в цехах или по территории промышленного предприятия, на специальных промышленных коммутаторах агрегации. Cisco для этой цели предлагает коммутаторы серии Cisco IE5000:



Они монтируются в 19-дюймовый шкаф, могут питаться и от постоянного и от переменного тока, обеспечивают высокую плотность портов, высокую производительность, но при этом промышленную надёжность и поддержку промышленных протоколов, например PTP, PRP, HSR, PROFINET MRP. Как и другие коммутаторы промышленной линейки, Cisco IE5000 умеют принимать сигналы тревоги от устройств автоматики, например, устройств контроля климата или датчика открытия двери в помещение, и отдавать их например для включения сирены и светового оповещения, помимо, конечно же, SNMP и Syslog-сообщений о состоянии коммутатора, отсылаемых в системы мониторинга. Кроме того, эти коммутаторы поддерживают стекирование через 10G-порты. Вот пример построения сети с использованием REP-колец и коммутаторов IE5000 в качестве агрегирующих:

Поддержка промышленных протоколов

В промышленных Ethernet-сетях используются Ethernet-версии различных промышленных протоколов: PROFINET, CCLINK, CIP и т.п. При этом, как правило, от сетевого оборудования требуется поддержка таких протоколов в том или ином виде. К примеру, при использовании PROFINET, требуется управлять с помощью этого протокола не только контроллерами, сенсорами или исполнительными устройствами, но и самими коммутаторами, образующими сеть. Для этого в моделях промышленных коммутаторов Cisco начиная с IE3000 реализована поддержка работы по PROFINET в качестве устройства ввода-вывода. Кроме того, некоторыми моделями коммутаторов Cisco можно управлять с помощью портала Siemens TIA.

Ещё один пример промышленного стандарта, поддержка которого часто требуется Time-Sensitive Networking (TSN). Это набор стандартов Ethernet, позволяющий обеспечить доставку Ethernet-фреймов с предсказуемой и не меняющейся во времени задержкой. Привычный Ethernet, напомню, работает асинхронно и фреймы в нём доходят до адресата настолько быстро, насколько получается. Функционал TSN протокол поддерживается в коммутаторах Cisco IE3400, IE4000, IE4010 и IE5000.

Как защитить промышленную сеть?

Многие стандарты и рекомендации построения промышленных сетей предусматривают реализацию демилитаризованной зоны ДМЗ между офисной и промышленной сетями. В этой зоне могут располагаться рабочие станции для удалённого доступа к промышленным компонентам. Есть целый ряд рекомендаций по построению такой ДМЗ, например:

трафик не должен проходить между офисной и промышленной сетями насквозь;
любой протокол, разрешённый между ДМЗ и промышленным сегментом должен быть в явном виде запрещён между ДМЗ и офисным сегментом;
в промышленный сегмент сети не должно быть доступа из интернета, даже через межсетевой экран;
И конечно никаких Any в полях для IP-адресов, портов и протоколов в политиках межсетевого экрана.

В идеале ДМЗ должна быть устроена так что если её физически отключить от сети, промышленный сегмент продолжит работать.

Промышленный, офисный и ДМЗ-сегменты отделяются друг от друга межсетевыми экранами. Здесь у Cisco явное преимущество на её продуктах можно построить защищённую сеть от и до.
Межсетевые экраны Cisco умеют распознавать не только промышленные сетевые протоколы:







но и промышленные устройства, подключённые к сети:



А также обнаруживать, разрешать или запрещать конкретные действия в рамках данных протоколов:



Это позволяет выстраивать политики межсетевого экранирования не только на базе IP-адресов и TCP/UDP-портов, но и на базе наименований конкретных моделей устройств и протоколов взаимодействия между ними. Для большинства ситуаций в межсетевом экране есть преднастроенные правила, которые можно использовать с собственными параметрами. Такими правилами можно защищаться не только от преднамеренных атак, но и от дурака ошибочно подаваемых на промышленные устройства команд.

Межсетевые экраны обеспечивают так называемую макросегментацию сети разделение на крупные участки, трафик между которыми либо запрещён, либо фильтруется через правила межсетевого экранирования. Таким образом отделяются друг от друга не только ДМЗ, промышленный и офисный сегменты сети, но и, например, разные цеха и производственные линии в промышленном сегменте. Для последней задачи может пригодиться межсетевой экран Cisco Industrial Security Appliance (ISA) полноценный фаерволл в промышленном исполнении.

Как правильно обеспечить удалённый доступ?

Как правило, в промышленных сетях требуется обеспечивать удалённый доступ для организаций, обслуживающих оборудование АСУТП. При этом, важно хорошо контролировать кому и куда такой доступ предоставляется и защититься от доступа несанкционированного. Удалённый доступ осуществляется через описанную выше ДМЗ.

Здесь, помимо межсетевых экранов Cisco Firepower, огромную помощь может оказать решение Cisco Identity Services Engine. Межсетевые экраны обеспечивают подключение с помощью AnyConnect VPN или проксирование трафика удалённого рабочего стола, а ISE позволяет максимально чётко идентифицировать и человека, получающего доступ и объект в сети, к которому этот доступ предоставляется, а также определить политики такого доступа в виде своего рода матрицы:



Кроме того, система предотвращения вторжений межсетевых экранов Cisco позволяет выявлять и блокировать атаки, связанные с промышленными протоколами. Речь здесь не только о ситуации, когда специалист производителя осуществляет какие-то злонамеренные действия в сети заказчика, но и о том, что компьютер специалиста производителя и сервер удалённого доступа, которым он пользуется, могут оказаться заражены вирусом, который пытается открывать несанкционированный доступ третьим лицам-злоумышленникам.

Как выполнить требования регуляторов?

Стандарты международных организаций и дизайн-документы Cisco Validated Design только дают рекомендации как лучше. Но кроме рекомендаций есть ещё и требования регулирующих органов, которые необходимо выполнять при построении промышленных сетей. В России к таким относится приказ 239 ФСТЭК Об утверждении требований по обеспечению безопасности значимых объектов критической информационной инфраструктуры Российской Федерации. Он содержит перечень архитектурных решений функционала, которые должны быть реализованы.

Часть требований приказа, такие как наличие межсетевого экрана и обновляемого IPS на периметре промышленного сегмента, сегментация сети, организация ДМЗ закрываются межсетевыми экранами Cisco Firepower, описанными выше. Требования по аутентификации и авторизации Cisco ISE. Далее, целый набор требований, связанных с мониторингом промышленной сети закрывается решением Cisco CyberVision.

Решение Cisco CyberVision может собрать данные с промышленной сети в виде SPAN-трафика или со специальных сенсоров в сетевых устройствах и представить картинку происходящего администратору, а также отправить необходимую информацию в системы управления конфигурациями и SIEM. Администратор сети может получить полный список устройств, подключённых к промышленному сегменту сети (не только Ethernet-коммутаторов, но и устройств промышленной автоматики), проверить их на известные уязвимости и отследить их поведение.


Рисунок 4. Пример отображения известных уязвимостей для промышленных устройств

Еще детальнее тему проводных промышленных сетей будем разбирать на вебинаре 22 июня, если хотите записаться, можно зарегистрироваться здесь

Несмотря на повсеместное распространение сетей Ethernet, технологии связи на основе DSL не теряют своей актуальности и по сей день. До сих пор DSL можно встретить в сетях последней мили для подключения абонентского оборудования к сетям Интернет-провайдера, а в последнее время технология все чаще используется при построении локальных сетей, например, в промышленных приложениях, где DSL выступает в качестве дополнения к Ethernet или к полевым сетям на основе RS-232/422/485. Подобные промышленные решения активно применяются в развитых европейских и азиатских странах.

DSL представляет из себя семейство стандартов, которые изначально задумывались для передачи цифровых данных по телефонным линиям связи. Исторически это стало первой технологией широкополосного доступа в Интернет, придя на смену DIAL UP и ISDN. Большое разнообразие существующих в настоящий момент стандартов DSL связано с тем, что многие компании, начиная с 80-х годов, старались разработать и продвинуть на рынок собственную технологию.

Все эти разработки можно разделить на две большие категории асимметричные (ADSL) и симметричные (SDSL) технологии. Под асимметричными понимаются те, в которых скорость входящего соединения отличается от скорости исходящего трафика. Под симметричными понимается, что скорости на прием и передачу равны.

Наиболее известными и распространенными асимметричными стандартами являются, собственно, ADSL (в последней редакции ADSL2+) и VDSL (VDSL2), симметричными HDSL (устаревший профиль) и SHDSL. Друг от друга все они отличаются тем, что работают на разных частотах, используют разные способы кодирования и модуляции на физической линии связи. Также отличаются способы коррекции ошибок, благодаря чему обеспечивается разный уровень помехоустойчивости. Как итог, каждая технология имеет свои пределы в скорости и дистанции передачи данных, в том числе в зависимости от типа и качества проводника.


Предельные параметры различных стандартов DSL

В любой DSL-технологии скорость передачи данных падает с увеличением длины проводника. На предельных дистанциях возможно получить скорость в несколько сот килобит, но при передаче данных на 200-300 м доступна максимально возможная скорость.

Среди всех технологий у SHDSL есть серьезное преимущество, которое делает возможным ее применение в промышленных приложениях, высокая помехоустойчивость и возможность использования для передачи данных любого типа проводника. В асимметричных стандартах такого нет, и качество связи сильно зависит от качества линии, используемой для передачи данных. В частности, рекомендуется использовать витой телефонный кабель. В этом случае более надежным решением вместо ADSL и VDSL оказывается использовать оптический кабель.

Для SHDSL подходит любая пара изолированных друг от друга проводников медных, алюминиевых, стальных и пр. В качестве среды передачи может выступать старая электропроводка, старые телефонные линии, колючая проволока заборов и пр.


Зависимость скорости передачи данных SHDSL от дистанции и типа проводника

Из графика зависимости скорости передачи данных от дистанции и типа проводника, приведенного для SHDSL, можно увидеть, что проводники с большим сечением позволяют передавать информацию на большую дистанцию. Благодаря технологии возможно организовать связь на дистанцию до 20 км при максимально возможной скорости 15.3 Мб/с для 2-проводного кабеля или 30 Мб для 4-проводного. В реальных приложениях скорость передачи может быть выставлена вручную, что необходимо в условиях сильных электромагнитных помех или плохого качества линии. В этом случае для увеличения дистанции передачи необходимо снизить скорость работы SHDSL-устройств. Для точного расчета скорости в зависимости от дистанции и типа проводника можно использовать бесплатные программные средства, такие как SHDSL-калькулятор от Phoenix Contact.

За счет чего SHDSL обладает высокой помехоустойчивостью?

Принцип работы приемопередатчика SHDSL можно представить в виде блок-диаграммы, в которой выделяют специфическую и независимую (инвариантную) с точки зрения приложения часть. Независимая часть состоит из функциональных блоков PMD (Physical Medium Dependent) и PMS-TC (Physical Medium-Specific TC Layer), в то время как специфическая часть включает уровень TPS-TC (Transmission Protocol-Specific TC Layer) и интерфейсы пользовательских данных.

Физическая линия связи между приемопередатчиками (STU) может существовать в виде однопарного или нескольких однопарных кабелей. В случае нескольких пар кабелей STU содержит несколько независимых блоков PMD, связанных с единственным PMS-TC.


Функциональная модель SHDSL-приемопередатчика (STU)

Модуль TPS-TC зависит от приложения, в котором используется устройство (Ethernet, RS-232/422/485 и пр.). В его задачу входит преобразование пользовательских данных в формат SHDSL, выполняется мультиплексирование/демультиплексирование и корректировка по времени нескольких каналов пользовательских данных.

На уровне PMS-TC производится формирование кадров SHDSL и их синхронизация, а также скремблирование и дескремблирование.

Модуль PMD выполняет функции кодирования/декодирования информации, модуляции/демодуляции, эхоподавления, согласования параметров на линии связи и установления соединения между приемопередатчиками. Именно на уровне PMD выполняются основные операции, обеспечивающая высокую помехоустойчивость SHDSL, включая TCPAM кодирование (Треллис кодирование с аналого-импульсной модуляцией), механизм совместного кодирования и модуляции, при котором улучшается спектральная эффективность сигнала по сравнению с раздельным способом. Принцип работы модуля PMD также можно представить в виде функциональной диаграммы.


Блок-диаграмма модуля PMD

В основе TC-PAM лежит использование сверточного кодера, формирующего избыточную последовательность битов на стороне SHDSL-передатчика. На каждом такте работы каждому биту, поступающему на вход кодера, ставится в соответствие двойной бит (дибит) на выходе. Таким образом, ценой сравнительно небольшой избыточности повышается помехоустойчивость передачи. Использование Треллис-модуляции позволяет уменьшить используемую полосу частоту передачи данных и упростить аппаратную часть при неизменном отношении сигнал/шум.


Принцип работы Треллис-кодера (TC-PAM 16)

Двойной бит формируется в результате логической операции сложения по модулю 2 (исключающее или) на основе входного бита x₁(t_n) и битов x₁(t_n-1), x₁(t_n-2) и т.д. (всего их может быть до 20), которые поступали на вход кодера до этого и остались храниться в регистрах памяти. На следующем такте работы кодера t_n+1 произойдет смещение битов в ячейках памяти для выполнения логической операции: бит x₁(t_n) переместится в память, сдвинув всю хранящуюся там последовательность битов.


Таблицы истинности операции сложения по модулю 2

Для наглядности удобно использовать диаграмму состояния сверточного кодера, по которой можно увидеть, в каком состоянии находится кодер в моменты времени t_n, t_n+1 и т.д. в зависимости от входных данных. Под состоянием кодера в этом случае подразумевают пару значений входного бита x₁(t_n) и бита в первой ячейки памяти x₁(t_n-1). Для построения диаграммы можно использовать граф, в вершинах которого находятся возможные состояния кодера, а переходы из одного состояния в другое обозначены соответствующими входными битами x₁(t_n) и выходными дибитами $inline$y y (t )$inline$.


Диаграмма состояний и граф переходов сверточного кодера передатчика

В передатчике на основе полученных четырех битов (двух выходных битов кодера и двух битов данных) формируется символ, каждому из которых соответствует своя амплитуда модулирующего сигнала аналого-импульсного модулятора.


Состояние 16-разрядного АИМ в зависимости от значения четырехбитового символа

На стороне приемника сигнала происходит обратный процесс демодуляция и выделение из избыточного кода (двойных битов y₀y₁(t_n)) нужной последовательности входных битов кодера x₁(t_n). Эту операцию выполняет декодер Витерби.

Алгоритм декодера основан на расчете метрики ошибок для всех возможных предполагаемых состояний кодера. Под метрикой ошибок понимают разницу между принимаемыми битами и предполагаемыми битами для каждого возможного пути. Если ошибок на приеме нет, то метрика ошибок истинного пути будет 0, потому что нет расхождения по битам. Для ложных путей метрика будет отличаться от нуля, постоянно нарастать и через какое-то время декодер перестанет рассчитывать ошибочный путь, оставив только истинный.


Диаграмма состояний кодера, вычисляемая декодером Витерби приемника

Но как этот алгоритм обеспечивает помехоустойчивость? Если предположить, что приемник принял данные с ошибкой, декодер продолжит рассчитывать два пути с метрикой ошибок 1. Пути с метрикой 0 уже не будет существовать. Но вывод о том, какой путь истинный, алгоритм сделает позже на основе следующих принимаемых двойных битов.

При появлении второй ошибки, будет несколько путей с метрикой 2, но правильный путь выявится позже на основе метода наибольшего правдоподобия (то есть минимальной метрики).


Диаграмма состояний кодера, вычисляемая декодером Витерби, при приеме данных с ошибками

В описанном выше случае для примера был рассмотрен алгоритм 16-разрядной системы (TC-PAM16), обеспечивающей передачу в одном символе трех бит полезной информации и дополнительного бита для защиты от ошибок. В TC-PAM16 достижима скорость передачи данных от 192 до 3840 кбит/с. При увеличении разрядности до 128 (современные системы работают с TC-PAM128) в каждом символе передается шесть бит полезной информации, а максимально достижимая скорость составляет от 5696 кбит/с до 15,3 Мб/с.

Использование аналого-импульсной модуляции (PAM) роднит SHDSL с рядом популярных стандартов Ethernet, таких как гигабитный 1000BASE-T (PAM-5), 10-гигабитный 10GBASE-T (PAM-16) или перспективный на 2020 год промышленный однопарный Ethernet 10BASE-T1L (PAM-3).

SHDSL в сетях Ethernet

Различают управляемые и неуправляемые SHDSL-модемы, но в подобной классификации мало общего с привычным разделением на управляемые и неуправляемые устройства, которое существует, например, для Ethernet-коммутаторов. Разница заключается в средствах конфигурирования и мониторинга. Управляемые модемы настраиваются через веб-интерфейс и могут диагностироваться по SNMP, а неуправляемые при помощи дополнительного ПО через консольный порт (для Phoenix Contact это бесплатная программа PSI-CONF и mini-USB интерфейс). В отличии от коммутаторов неуправляемые модемы могут работать в сети с кольцевой топологией.

В остальном управляемые и неуправляемые модемы являются абсолютно идентичными, включая функционал и возможность работать по принципу Plug&Play, то есть без всякого предварительного конфигурирования.

Дополнительно на модемы могут возлагаться функции защиты от импульсных перенапряжений c возможностью ее диагностики. Сети SHDSL могут образовывать очень протяженные сегменты, и проводники могут проходить в местах, где возможно образование импульсных перенапряжений (наведенной разности потенциалов, вызванной грозовыми разрядами либо короткими замыканиями в близлежащих кабельных линиях). Наведенное напряжение может вызвать протекание разрядных токов величиной в килоамперы. Поэтому для защиты оборудования от подобных явлений в модемы встраиваются УЗИП в виде съемной платы, которая в случае необходимости может быть заменена. Именно к клеммнику этой платы подключается линия SHDSL.

Топологии

С помощью SHDSL в Ethernet возможно строить сети с любой топологией: точка-точка, линия, звезда и кольцо. При этом, в зависимости от типа модема для подключения можно использовать как 2-проводные, так и 4-проводные линии связи.


Топологии сети Ethernet на основе SHDSL

Также можно строить распределенные системы с комбинированной топологией. Каждый сегмент SHDSL-сети может насчитывать до 50 модемов и, учитывая физические возможности технологии (расстояние между модемами в 20 км), длина сегмента может достигать 1000 км.

Если в голове каждого такого сегмента установить управляемый модем, то целостность сегмента можно диагностировать по SNMP. Помимо этого, управляемые и неуправляемые модемы поддерживают технологию VLAN, то есть позволяют разбивать сеть на логические подсети. Также устройства способны работать с протоколами передачи данных, применяемыми в современных системах автоматизации (Profinet, Ethernet/IP, Modbus TCP и пр.).


Резервирование каналов связи с помощью SHDSL

SHDSL используют для создания резервных каналов связи в сети Ethernet, чаще всего оптического.

SHDSL и последовательный интерфейс

SHDSL-модемы с последовательным интерфейсом позволяют преодолеть ограничения по дистанции, топологии и качеству проводника, которые существуют для традиционных проводных систем на основе асинхронных приемопередатчиков (UART): RS-232 15 м, RS-422 и RS-485 1200 м.

Существуют модемы с последовательными интерфейсами (RS-232/422/485) как для универсальных приложений, так и для специализированных (например, для Profibus). Все подобные устройства относятся к категории неуправляемых, поэтому настраиваются и диагностируются при помощи специального ПО.

Топологии

В сетях с последовательным интерфейсом при помощи SHDSL возможно строить сети с топологией точка-точка, линия и звезда. В рамках линейной топологии возможно объединить в одну сеть до 255 узлов (для Profibus 30).

В системах, построенных с использованием только устройств на интерфейсе RS-485, отсутствуют какие-либо ограничения по применяемому протоколу передачи данных, но топологии типа линия и звезда являются нетипичными для RS-232 и RS-422, поэтому работа конечных устройств в SHDSL-сети с подобными топологиями возможна только в полудуплексном режиме. Одновременно в системах с RS-232 и RS-422 на уровне протокола должна обеспечиваться адресация приборов, что нехарактерно для интерфейсов, чаще всего применяемых в сетях точка-точка.

При объединении через SHDSL устройств с разными типами интерфейсов необходимо учитывать факт отсутствия единого механизма для установления соединения (рукопожатия) между устройствами. Однако организовать обмен в этом случае все равно возможно для этого необходимо выполнение следующих условий:

• согласование связи и управление передачей данных должно выполняться на уровне единого информационного протокола передачи данных;
• все конечные устройства должны функционировать в полудуплексном режиме, что также должно поддерживаться информационным протоколом.

Наиболее часто встречающийся для асинхронных интерфейсов протокол Modbus RTU позволяет избежать всех описанных ограничений и строить единую систему с различными типами интерфейсов.


Топологии сети с последовательным интерфейсом на основе SHDSL

При использовании двухпроводного RS-485 на оборудовании Phoenix Contact можно строить более сложные структуры, объединяя модемы через одну шину на DIN-рейке. На этой же шине может быть установлен источник питания (в таком случае питание всех устройств осуществляется через шину) и оптические преобразователи серии PSI-MOS для создания комбинированной сети. Важным условием работы такой системы является одинаковая скорость всех приемопередатчиков.


Дополнительные возможности SHDSL в сети RS-485

Примеры применения

SHDSL-технология активно применяется в городском коммунальном хозяйстве в Германии. Более 50 компаний, обслуживающих городские коммунальные системы, используют старые медные провода, чтоб связать одной сетью распределенные по городу объекты. На SHDSL строятся в первую очередь системы управления и учета в водо-, газо- и энергоснабжении. Среди таких городов Ульм, Магдебург, Ингольштадт, Билефельд, Франкфурт-на-Одере и многие другие.

Самая масштабная система на основе SHDSL была создана в городе Любеке. Система имеет комбинированную структуру на основе оптического Ethernet и SHDSL, объединяет 120 удаленных друг от друга объектов и использует более 50 модемов Phoenix Contact. Вся сеть диагностируется по SNMP. Самый протяженный сегмент от коммуны Калькхорст до аэропорта Любека имеет длину 39 км. Причина, по которой компания-заказчик выбрала SHDSL, заключалась в том, что реализация проекта целиком на оптике была экономический невыгодна с учетом наличия старых медных кабелей.


Передача данных через контактное кольцо

Интересным примером является передача данных между движущимися объектами, как например, это сделано в ветрогенераторах или в крупных промышленных крутильных машинах. Подобная система используется для информационного обмена между контроллерами, расположенными на роторе и статоре установок. В этом случае для передачи данных используется скользящий контакт через контактное кольцо. Подобные примеры показывают, что необязательно иметь статический контакт для передачи данных по SHDSL.

Сравнение с другими технологиями

SHDSL vs GSM
Если сравнивать SHDSL с системами передачи данных на основе GSM (3G/4G), то в пользу DSL говорит отсутствие эксплуатационных расходов, связанных с регулярной платой оператору за доступ к мобильной сети. При SHDSL мы не зависим от зоны покрытия, качества и надежности мобильной связи на промышленном объекте, включая устойчивость к электромагнитным помехам. В SHDSL отсутствует необходимость в конфигурировании оборудования, что ускоряет ввод объекта в эксплуатацию. Для беспроводных сетей характерны большие задержки в передаче данных и сложность с передачей данных, использующих мультикастовый трафик (Profinet, Ethernet IP).

В пользу SHDSL говорит информационная безопасность в силу отсутствия необходимости передачи данных через Интернет и необходимости конфигурирования для этого VPN-соединений.

SHDSL vs Wi-Fi
Многое из сказанного для GSM можно отнести и к промышленному Wi-Fi. Против Wi-Fi говорит низкая помехоустойчивость, ограниченная дистанция передачи данных, зависимость от топологии местности, задержки при передаче данных. Самый главный недостаток информационная безопасность сетей Wi-Fi, потому как любой человек имеет доступ к среде передачи данных. При помощи Wi-Fi уже возможно передавать данные Profinet или Ethernet IP, что было бы затруднительно для GSM.

SHDSL vs оптика
Оптика в подавляющем большинстве обладает большим преимуществом перед SHDSL, но в ряде приложений SHDSL позволяет экономить время и средства на прокладку и сварку оптического кабеля, сокращая время на ввод объекта в эксплуатацию. Для SHDSL не требуется специальных разъемов, потому как кабель связи просто подключается на клемму модема. Из-за механических свойств оптических кабелей их применение ограничено в приложениях, связанных с передачей информации между движущимися объектами, где большее распространение получили медные проводники.