Ipsec vpn

Ситуация

Я должен поднять VPN соединение между двумя площадками в сети. В серверной, кажется, были шлюзы безопасности С-Терра Шлюз версии 4.2. Схема простая. Вендор даже опубликовал рекомендованный сценарий настройки. Но в сценарии вендора используется три сетевых интерфейса, а на моих шлюзах их только два.

Завариваю кофе, вспоминаю свой CCNA и пробую использовать то, что есть свободные порты в управляемых коммутаторах.

Моя сеть

Моя сеть это две территориально разделенные площадки в одном broadcast домене. Адресное пространство: 10.10.205.0/24:



На руках два шлюза безопасности С-Терра Шлюз версии 4.2 с пакетом С-Терра L2.

О пакете С-Терра L2

Пакет позволяет перевести один или несколько интерфейсов шлюза в PROMISC режим. PROMISC интерфейс перехватывает фреймы канального уровня, а С-Терра L2 инкапсулирует их в UDP.
Далее UDP пакеты зашифровываются (инкапсулируются в ESP). Так получается L2-over-L3 VPN соединение. С-Терра L2 предустановлен на все шлюзы безопасности и активируется отдельной лицензией.

В рекомендуемом сценарии шлюзы безопасности размещены на границе сети, а для управления выделен отдельный интерфейс:



Чтобы было понятнее опишу интерфейсы:

• Gi0/0 PROMISC интерфейсы;
• Gi0/1 L3 WAN интерфейсы;
• Gi0/2 выделенные интерфейсы управления. Я так понимаю, что вторым шлюзом безопасности я должен управлять через VPN туннель.

Решение

Первая кружка кофе закончилась, пока я читал на Хабре про 802.1Q вспоминал CCNA. Вторая кружка остыла (погрею в микроволновке), пока коммутировал оборудование, как показано на рисунке:



Выделяю три типа трафика:

• Основной трафик между устройствами R1 и R2. Обозначу как BULK DATA и вынесу в VLAN 205. Перед передачей между площадками BULK DATA должен быть зашифрован;
• Трафик управления шлюзами MGMT. Вынесу в VLAN 10. MGMT трафик до шлюза на удаленной площадке должен быть зашифрован;
• BULK DATA и MGMT после шифрования обозначу как ESP DATA и вынесу в VLAN 100.

По моим прикидкам, передача BULK DATA/ESP DATA в сети будет выглядеть так (зелеными линиями изобразил незашифрованный трафик, красными зашифрованный):



Передача MGMT для управления шлюзом на локальной площадке:



Передача MGMT/ESP DATA для управления шлюзом на удаленной площадке:

5 шагов настройки

Шаг 1. Разбираюсь с BULK DATA

Выделяю для BULK DATA отдельный VLAN 205. Для этого интерфейс Gi0/2 устройств SW1 и SW2 устанавливаю в access mode с VLAN 205:

sw1(config)#interface gi0/2    description BULK_TO_R1    switchport access vlan 205    no shutdownsw2(config)#interface gi0/2  description BULK_TO_R2  switchport access vlan 205  no shutdown

Делаю интерфейсы Gi0/0 шлюзов GW1 и GW2 PROMISC интерфейсами. Чтобы передать BULK DATA на PROMISC интерфейс, настраиваю trunk до PROMISC интерфейса:

sw1(config)#interface gi0/0  description LINK_TO_PROMISC_GW1  switchport mode trunk  switchport trunk allowed vlan 205  switchport trunk encapsulation dot1q  no shutdownsw2(config)#interface gi0/0  description LINK_TO_PROMISC_GW2  switchport mode trunk  switchport trunk allowed vlan 205  switchport trunk encapsulation dot1q  no shutdown

Шаг 2. Разбираюсь с локальным MGMT

Согласно плану, MGMT трафик выношув VLAN 10. Адресное пространство для VLAN 10: 10.76.76.128/28.

На устройстве SW1 и SW2 создаю виртуальные интерфейсы vlan10:

sw1(config)#interface vlan10  ip address 10.76.76.129 255.255.255.240  no shutdown sw2(config)#interface vlan10  ip address 10.76.76.142 255.255.255.240  no shutdown

Делаю VLAN 10 native VLANом, чтобы не настраивать 802.1Q интерфейсы на шлюзе:

sw1(config)#interface gi0/1  description LINK_TO_WAN_GW1  switchport mode trunk  switchport trunk allowed vlan 10  switchport trunk native vlan 10  switchport trunk encapsulation dot1q  no shutdownsw2(config)#interface gi0/1  description LINK_TO_WAN_GW2  switchport mode trunk  switchport trunk allowed vlan 10  switchport trunk native vlan 10  switchport trunk encapsulation dot1q  no shutdown

Настраиваю интерфейсы Gi0/1 шлюзов безопасности:

GW1(config)#interface gi0/1   ip address 10.76.76.137 255.255.255.240   no shutdownGW2(config)#interface gi0/1  ip address 10.76.76.138 255.255.255.240  no shutdown

Теперь GW1 доступен по SSH с устройства SW1:

sw1#ssh l root 10.76.76.137Password:S-Terra Gate 4.2.18201 (amd64)root@GW1~#

Аналогично GW2 доступен по SSH с устройства SW2:

sw2#ssh l root 10.76.76.138Password:S-Terra Gate 4.2.18201 (amd64)root@GW2~#

Неплохо, налил еще кружечку кофе.

Шаг 3. Разбираюсь с MGMT до шлюза на удаленной площадке

MGMT трафик до шлюза на удаленной площадке должен шифроваться. Для этого прокину VLAN 10 через VPN. В VPN туннель попадет весь трафик, перехваченный с PROMISC интерфейса. Добавлю в trunk до PROMISC интерфейса VLAN 10:

sw1(config)#interface gi0/0  description LINK_TO_PROMISC_GW1    switchport trunk allowed vlan 10, 205sw2(config)#interface gi0/0  description LINK_TO_PROMISC_GW1    switchport trunk allowed vlan 10, 205

Не тратьте полчаса на траблшутинг!

На PROMISC интерфейс не должен попадать ESP DATA, поэтому важно исключить VLAN 100 из транков LINK_TO_PROMISC_GW1 и LINK_TO_PROMISC_GW2 в вариантах:

switchport trunk allowed vlan 1-99,101-4096

Шаг 4. Дошел до ESP DATA

Выделяю ESP DATA в VLAN 100 на шлюзах GW1 и GW2. Адресное пространство для VLAN 100: 192.168.10.0/30

Для этого на WAN интерфейсе Gi0/1 шлюзов GW1 и GW2 создаю 802.1Q интерфейс Gi0/1.100.
Выходящий трафик с такого интерфейса будет принадлежать VLAN 100:

GW1(config)#interface gi0/1.100   ip address 192.168.10.1 255.255.255.252   no shutdownGW2(config)#interface gi0/1.100  ip address 192.168.10.2 255.255.255.252  no shutdown

Разрешаю прохождение VLAN 100 в trunk LINK_TO_WAN_GW1 и LINK_TO_WAN_GW2:

sw1(config)#interface gi0/1  description LINK_TO_WAN_GW1  switchport trunk allowed vlan 10,100sw2(config)#interface gi0/1  description LINK_TO_WAN_GW2  switchport trunk allowed vlan 10,100

Линк между устройствами SW1 и SW2 также должен передать тегированный VLAN 100 трафик:

sw1(config)#interface gi0/3  description LINK_TO_SW2  switchport mode trunk  switchport trunk allowed vlan 100  switchport trunk encapsulation dot1q  no shutdownsw2(config)#interface gi0/3  description LINK_TO_SW1  switchport mode trunk  switchport trunk allowed vlan 100  switchport trunk encapsulation dot1q  no shutdown

Шаг 5. Настраиваю С-Терра L2 и IPsec VPN с ГОСТом

С-Терра L2 настраивается в операционной системе с помощью конфигурационного файла /opt/VPNagent/etc/l2.conf. Для GW1:

vif tap0bridge br0capture eth0remote 192.168.10.2mssfix 1400passtos

где:

capture eth0 выбор PROMISC интерфейса, remote 192.168.10.2 IP адрес IPsec пира (Gi0/1.100 интерфейс шлюза GW2).

Для GW2:

vif tap0bridge br0capture eth0remote 192.168.10.1mssfix 1400passtos

Настраиваю параметры IKE/IPsec. Для GW1:
Шлюзы будут использовать в качестве идентификаторов hostname, задам предопределенный ключ для аутентификации (Правилам Пользования для аутентификации нужно использовать цифровые сертификаты, поменяю потом):

GW1(config)#crypto isakmp identity hostnameip host GW2 192.168.10.2crypto isakmp key KEY hostname GW2

Настраиваю параметры dead peer detection (DPD):

GW1(config)#crypto isakmp keepalive 10 2crypto isakmp keepalive retry-count 5

Задаю параметры IPsec Phase I:

GW1(config)#crypto isakmp policy 1  encr gost  hash gost3411-256-tc26  auth pre-share  group vko2

Задаю параметры IPsec Phase II:

GW1(config)#crypto ipsec transform-set TSET esp-gost28147-4m-imit   mode tunnel

Поскольку перехваченные PROMISC интерфейсом L2 фреймы инкапсулируются в UDP, то список доступа, определяющий трафик для шифрования:

GW1(config)#ip access-list extended LIST   permit udp host 192.168.10.1 host 192.168.10.2

Создаю криптокарту и привязываю ее к Gi0/1.100:

GW1(config)#crypto map CMAP 1 ipsec-isakmp  match address LIST  set transform-set TSET  set peer 192.168.10.2interface gi0/1.100  crypto map CMAP

Указываю маршрут по умолчанию через IP адрес IPsec пира:

GW1(config)#ip route 0.0.0.0 0.0.0.0 192.168.10.2 

Конфигурация шлюза GW2:

GW2(config)#crypto isakmp identity hostnameip host GW1 192.168.10.1crypto isakmp key KEY hostname GW1crypto isakmp keepalive 10 2crypto isakmp keepalive retry-count 5crypto isakmp policy 1  encr gost  hash gost3411-256-tc26  auth pre-share  group vko2crypto ipsec transform-set TSET esp-gost28147-4m-imit  mode tunnelip access-list extended LIST  permit udp host 192.168.10.2 host 192.168.10.1crypto map CMAP 1 ipsec-isakmp  match address LIST  set transform-set TSET  set peer 192.168.10.1interface gi0/1.100  crypto map CMAPip route 0.0.0.0 0.0.0.0 192.168.10.1

Получилось?

С устройства R1 запускаю ping до R2:

R1#ping 10.10.205.2 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 10.10.205.2, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 2/2/3 ms</code>R2 отвечает на ICMP. Неужели получилось? Проверяю ARP таблицы устройств R1 и R2:<source>R1#show arp Protocol  Address          Age (min)  Hardware Addr   Type   Interface Internet  10.10.205.1             -   aabb.cc00.5020  ARPA   GigabitEthernet0/2 Internet  10.10.205.2            54   aabb.cc00.6020  ARPA   GigabitEthernet0/2R2#show arp Protocol  Address          Age (min)  Hardware Addr   Type   Interface Internet  10.10.205.1            52   aabb.cc00.5020  ARPA   GigabitEthernet0/2 Internet  10.10.205.2             -   aabb.cc00.6020  ARPA   GigabitEthernet0/2

Устройства R1 и R2 считают, что находятся в одной broadcast подсети.

Устройства SW1 и SW2 считают, что соединены друг с другом двумя линками:

sw1#show cdp neighborsDevice ID    Local Intrfce   Holdtme     Capability  Platform  Port ID sw2          Gi0/0           146             R S I  Linux Uni Gi0/0 sw2          Gi0/3           146             R S I  Linux Uni Gi0/3 R1           Gi0/2           156              R B   Linux Uni Gi0/2sw2#show cdp neighborsDevice ID    Local Intrfce   Holdtme     Capability  Platform  Port ID sw1          Gi0/0           140             R S I  Linux Uni Gi0/0 sw1          Gi0/3           140             R S I  Linux Uni Gi0/3 R2           Gi0/2           156              R B   Linux Uni Gi0/2

Пробую подключиться к GW2 по SSH с устройства SW1:

sw1#ssh l root 10.76.76.138Password:S-Terra Gate 4.2.18201 (amd64)root@GW2~#

Вывод: площадки 1 и 2 прозрачно связаны в единый broadcast домен. Проверю, есть ли в канале шифрование:

Статистика IPsec туннеля на устройстве GW1:

root@GW1:~# sa_mgr show ISAKMP sessions: 0 initiated, 0 respondedISAKMP connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd 1 2 (192.168.10.1,500)-(192.168.10.2,500) active 31378 31502IPsec connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd 1 2 (192.168.10.1,*)-(192.168.10.2,*) 17 ESP tunn 508224 27672

Поднят IPsec туннель между 192.168.10.1 и 192.168.10.2.

Проверил, между устройствами SW1 и SW2 передается только ESP трафик, не считая STP. Вот дамп трафика с интерфейса gi0/3 устройства SW1:

В итоге

Выпил три кружки кофе потом не спал всю ночь, но не пришлось покупать новое железо и обновляться. Может и стоило, в версии 4.3 вендор довел L2 до ума. Думаю взять версию 4.3 на тестирование.

Анонимный инженер
t.me/anonimous_engineer

Ситуация

Я получил демоверсию продуктов С-Терра VPN версии 4.3 на три месяца. Хочу разобраться, станет ли моя инженерная жизнь легче, после перехода на новую версию.
Сегодня не сложно, одного пакетика растворимого кофе 3 в 1 должно хватить. Расскажу, как получить демоверсии. Попробую собрать схемы GRE-over-IPsec и IPsec-over-GRE.

Как получить демоверсию

Из рисунка следует, чтобы получить демоверсию нужно:

• Написать письмо на presale@s-terra.ru с корпоративного адреса;
• В письме указать ИНН вашей организации;
• Перечислить продукты и их количество.

Демоверсии действуют три месяца. Вендор не ограничивает их функциональность.

Разворачиваю образ

Демоверсия шлюза безопасности это образ виртуальной машины. Я использую VMWare Workstation. Полный список поддерживаемых гипервизоров и сред виртуализации размещен на сайте вендора.
Перед началом активных действий, обратите внимание, что в образе виртуальной машины по умолчанию нет сетевых интерфейсов:



Логика ясна, пользователь должен добавить столько интерфейсов, сколько ему нужно. Добавлю сразу четыре:



Теперь запускаю виртуальную машину. Сразу после запуска шлюз требует логин и пароль.

В С-Терра Шлюз несколько консолей с разными учетными записями. Посчитаю их количество в отдельной статье. А пока:
Login as: administrator
Password: s-terra

Инициализирую шлюз. Инициализация это последовательность действий: ввод лицензии, настройка биологического генератора случайных чисел (клавиатурный тренажер мой рекорд 27 секунд) и создание карты сетевых интерфейсов.

Карта сетевых интерфейсов. Стало легче

Версия 4.2 приветствовала активного пользователя сообщениями:

Starting IPsec daemon.. failed
ERROR: Could not establish connection with daemon

Активный пользователь (по версии анонимного инженера) пользователь, способный настроить что угодно быстро и без документации.

Что-то шло не так, еще до попыток настроить IP адрес на интерфейсе. Все дело в карте сетевых интерфейсов. Нужно было выполнять:

/bin/netifcfg enum > /home/map
/bin/netifcfg map /home/map
service networking restart

В результате создается карта сетевых интерфейсов, которая содержит маппинг имен физических интерфейсов (0000:02:03.0) и их логических обозначений в операционной системе (eth0) и Cisco-like консоли (FastEthernet0/0):

#Unique ID iface type OS name Cisco-like name

0000:02:03.0 phye eth0 FastEthernet0/0

Логические обозначения интерфейсов называются алиасами. Алиасы хранятся в файле /etc/ifaliases.cf.
В версии 4.3 при первом запуске виртуальной машины карта интерфейсов создается автоматически. Если вы меняете количество сетевых интерфейсов в виртуалке, то будьте добры создать карту интерфейсов заново:

/bin/netifcfg enum > /home/map
/bin/netifcfg map /home/map
systemctl restart networking

Схема 1: GRE-over-IPsec

Разворачиваю два виртуальных шлюза, коммутирую так, как показано на рисунке:



Шаг 1. Настраиваю IP адреса и маршруты

VG1(config) #
interface fa0/0
ip address 172.16.1.253 255.255.255.0
no shutdown
interface fa0/1
ip address 192.168.1.253 255.255.255.0
no shutdown
ip route 0.0.0.0 0.0.0.0 172.16.1.254

VG2(config) #
interface fa0/0
ip address 172.16.1.254 255.255.255.0
no shutdown
interface fa0/1
ip address 192.168.2.254 255.255.255.0
no shutdown
ip route 0.0.0.0 0.0.0.0 172.16.1.253

Проверяю IP связность:

root@VG1:~# ping 172.16.1.254 -c 4
PING 172.16.1.254 (172.16.1.254) 56(84) bytes of data.
64 bytes from 172.16.1.254: icmp_seq=1 ttl=64 time=0.545 ms
64 bytes from 172.16.1.254: icmp_seq=2 ttl=64 time=0.657 ms
64 bytes from 172.16.1.254: icmp_seq=3 ttl=64 time=0.687 ms
64 bytes from 172.16.1.254: icmp_seq=4 ttl=64 time=0.273 ms

--- 172.16.1.254 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3005ms
rtt min/avg/max/mdev = 0.273/0.540/0.687/0.164 ms

Шаг 2. Настраиваю GRE

Пример настройки GRE беру из официальных сценариев. Создаю файл gre1 в директории /etc/network/interfaces.d с содержимым:
Для VG1:

auto gre1
iface gre1 inet static
address 1.1.1.1
netmask 255.255.255.252
pre-up ip tunnel add gre1 mode gre remote 172.16.1.254 local 172.16.1.253 key 1 ttl 64 tos inherit
pre-up ethtool -K gre1 tx off > /dev/null
pre-up ip link set gre1 mtu 1400
post-down ip link del gre1

Для VG2:

auto gre1
iface gre1 inet static
address 1.1.1.2
netmask 255.255.255.252
pre-up ip tunnel add gre1 mode gre remote 172.16.1.253 local 172.16.1.254 key 1 ttl 64 tos inherit
pre-up ethtool -K gre1 tx off > /dev/null
pre-up ip link set gre1 mtu 1400
post-down ip link del gre1

Поднимаю интерфейс в системе:
root@VG1:~# ifup gre1
root@VG2:~# ifup gre1

Проверяю:

root@VG1:~# ip address show
8: gre1@NONE: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1400 qdisc noqueue state UNKNOWN group default qlen 1
link/gre 172.16.1.253 peer 172.16.1.254
inet 1.1.1.1/30 brd 1.1.1.3 scope global gre1
valid_lft forever preferred_lft forever

root@VG1:~# ip tunnel show
gre0: gre/ip remote any local any ttl inherit nopmtudisc
gre1: gre/ip remote 172.16.1.254 local 172.16.1.253 ttl 64 tos inherit key 1

В С-Терра Шлюз есть встроенный пакетный сниффер tcpdump. Запишу дамп трафика в pcap файл:

root@VG2:~# tcpdump -i eth0 -w /home/dump.pcap

Запускаю ping между GRE интерфейсами:

root@VG1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=0.918 ms
64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=0.850 ms
64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=0.918 ms
64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=0.974 ms

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 0.850/0.915/0.974/0.043 ms

GRE туннель активен и работает:



Шаг 3. Шифруем ГОСТом GRE

Задаю тип идентификации по адресу. Аутентификация по предопределенному ключу (по Правилам Пользования нужно использовать цифровые сертификаты):

VG1(config)#
crypto isakmp identity address
crypto isakmp key KEY address 172.16.1.254

Задаю параметры IPsec Phase I:

VG1(config)#
crypto isakmp policy 1
encr gost
hash gost3411-256-tc26
auth pre-share
group vko2

Задаю параметры IPsec Phase II:

VG1(config)#
crypto ipsec transform-set TSET esp-gost28147-4m-imit
mode tunnel

Создаю список доступа для шифрования. Целевой трафик GRE:

VG1(config)#
ip access-list extended LIST
permit gre host 172.16.1.253 host 172.16.1.254

Создаю криптокарту и привязываю ее к WAN интерфейсу:

VG1(config)#
crypto map CMAP 1 ipsec-isakmp
match address LIST
set transform-set TSET
set peer 172.16.1.253
interface fa0/0
crypto map CMAP

Для VG2 конфигурация зеркальная, отличия:

VG2(config)#
crypto isakmp key KEY address 172.16.1.253
ip access-list extended LIST
permit gre host 172.16.1.254 host 172.16.1.253
crypto map CMAP 1 ipsec-isakmp
set peer 172.16.1.254

Проверяю:

root@VG2:~# tcpdump -i eth0 -w /home/dump2.pcap

root@VG1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=1128 ms
64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=126 ms
64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=1.07 ms
64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=1.12 ms

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 1.077/314.271/1128.419/472.826 ms, pipe 2


Статистика ISAKMP/IPsec:

root@VG1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 1 (172.16.1.253,500)-(172.16.1.254,500) active 1086 1014

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 1 (172.16.1.253,*)-(172.16.1.254,*) 47 ESP tunn 480 480

В дампе трафика GRE пакетов нет:


Вывод: схема GRE-over-IPsec корректно работает.

Схема 1.5: IPsec-over-GRE

Использовать IPsec-over-GRE в сети я не планирую. Собираю, потому что хочется.



Чтобы развернуть схему GRE-over-IPsec наоборот нужно:

• Исправить список доступа для шифрования целевой трафик из LAN1 в LAN2 и наоборот;
• Настроить маршрутизацию через GRE;
• Повесить криптокарту на GRE интерфейс.

По умолчанию в Cisco-like консоли шлюза нет GRE интерфейса. Он существует только в операционной системе.
Добавляю GRE интерфейс в Cisco-like консоль. Для этого редактирую файл /etc/ifaliases.cf:

interface (name="FastEthernet0/0" pattern="eth0")
interface (name="FastEthernet0/1" pattern="eth1")
interface (name="FastEthernet0/2" pattern="eth2")
interface (name="FastEthernet0/3" pattern="eth3")
interface (name="Tunnel0" pattern="gre1")
interface (name="default" pattern="*")
где gre1 обозначение интерфейса в операционной системе, Tunnel0 обозначение интерфейса в Cisco-like консоли.

Пересчитываю хэш файла:

root@VG1:~# integr_mgr calc -f /etc/ifaliases.cf

SUCCESS: Operation was successful.

Теперь интерфейс Tunnel0 появился в Cisco-like консоли:

VG1# show run
interface Tunnel0
ip address 1.1.1.1 255.255.255.252
mtu 1400

Корректирую список доступа для шифрования:

VG1(config)#
ip access-list extended LIST
permit ip 192.168.1.0 0.0.0.255 192.168.3.0 0.0.0.255

Настраиваю маршрутизацию через GRE:

VG1(config)#
no ip route 0.0.0.0 0.0.0.0 172.16.1.254
ip route 192.168.3.0 255.255.255.0 1.1.1.2

Снимаю криптокарту с Fa0/0 и привязываю к GRE интерфейсу:

VG1(config)#
interface Tunnel0
crypto map CMAP

Для VG2 аналогично.

Проверяю:

root@VG2:~# tcpdump -i eth0 -w /home/dump3.pcap

root@VG1:~# ping 192.168.2.254 -I 192.168.1.253 -c 4
PING 192.168.2.254 (192.168.2.254) from 192.168.1.253 : 56(84) bytes of data.
64 bytes from 192.168.2.254: icmp_seq=1 ttl=64 time=492 ms
64 bytes from 192.168.2.254: icmp_seq=2 ttl=64 time=1.08 ms
64 bytes from 192.168.2.254: icmp_seq=3 ttl=64 time=1.06 ms
64 bytes from 192.168.2.254: icmp_seq=4 ttl=64 time=1.07 ms

--- 192.168.2.254 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 1.064/124.048/492.972/212.998 ms

Статистика ISAKMP/IPsec:

root@VG1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 2 (172.16.1.253,500)-(172.16.1.254,500) active 1094 1022

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 2 (192.168.1.0-192.168.1.255,*)-(192.168.2.0-192.168.2.255,*) * ESP tunn 352 352

В дампе трафика ESP пакеты, инкапсулированные в GRE:


Вывод: Psec-over-GRE работает корректно.

Итоги

Одной чашки кофе хватило. Набросал инструкцию по получению демоверсии. Настроил GRE-over-IPsec и развернул наоборот.
Карта сетевых интерфейсов в версии 4.3 автоматическая! Тестирую дальше.

Анонимный инженер
t.me/anonimous_engineer

Ситуация

Выходной. Пью кофе. Студент настроил VPN соединение между двумя точками и исчез. Проверяю: туннель действительно есть, но трафика в туннеле нет. На звонки студент не отвечает.

Ставлю чайник и погружаюсь в траблшутинг. Делюсь своим опытом и методологией.

Исходные данные

Две территориально разделенные площадки связаны GRE туннелем. GRE нужно зашифровать:



Проверяю работоспособность GRE туннеля. Для этого запускаю ping с устройства R1 до GRE интерфейса устройства R2. Это целевой трафик для шифрования. Ответа нет:

root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3057ms

Смотрю логи на Gate1 и Gate2. Лог радостно сообщает, что IPsec туннель успешно поднялся, никаких проблем:

root@Gate1:~# cat /var/log/cspvpngate.log
Aug 5 16:14:23 localhost vpnsvc: 00100119 <4:1> IPSec connection 5 established, traffic selector 172.17.0.1->172.16.0.1, proto 47, peer 10.10.10.251, id "10.10.10.251", Filter
IPsec:Protect:CMAP:1:LIST, IPsecAction IPsecAction:CMAP:1, IKERule IKERule:CMAP:1

В статистике IPsec туннеля на Gate1 вижу, что туннель действительно есть, но счетчик Rсvd обнулен:

root@Gate1:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1070 1014

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 3 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 480 0

Я траблшучу С-Терру так: ищу, где теряются целевые пакеты на пути от R1 до R2. В процессе (спойлер) найду ошибку.

Траблшутинг

Шаг 1. Что получает Gate1 от R1

Использую встроенный пакетный сниффер tcpdump. Запускаю сниффер на внутреннем (Gi0/1 в нотации Cisco-like или eth1 в нотации ОС Debian) интерфейсе:

root@Gate1:~# tcpdump -i eth1

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 262144 bytes
14:53:38.879525 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 1, length 64
14:53:39.896869 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 2, length 64
14:53:40.921121 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 3, length 64
14:53:41.944958 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 4, length 64

Вижу, что Gate1 получает от R1 GRE пакеты. Двигаюсь далее.

Шаг 2. Что Gate1 делает с GRE пакетами

Утилитой klogview смотрю, что происходит с GRE пакетами внутри VPN драйвера С-Терра:

root@Gate1:~# klogview -f 0xffffffff

filtration result for out packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 4 "IPsecPolicy:CMAP", filter 8, event id IPsec:Protect:CMAP:1:LIST, status PASS
encapsulating with SA 31: 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0
passed out packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: encapsulated


Вижу, что целевой GRE трафик (proto 47) 172.16.0.1 -> 172.17.0.1 попал (PASS) под правило шифрования LIST в криптокарте CMAP и зашифровался (encapsulated). Далее пакет смаршрутизировался (passed out). Ответного трафика в выводе klogview нет.

Проверяю списки доступа на устройстве Gate1. Вижу один список доступа LIST, который определяет целевой трафик для шифрования, значит правил МЭ не настроено:

Gate1#show access-lists
Extended IP access list LIST
10 permit gre host 172.16.0.1 host 172.17.0.1

Вывод: проблема не на устройстве Gate1.

Дополнительно о klogview
VPN драйвер обрабатывает весь сетевой трафик, не только тот, который должен шифроваться. Вот такие сообщение видны в klogview, если VPN драйвер обработал сетевой трафик и передал его в незашифрованном виде:

root@R1:~# ping 172.17.0.1 -c 4

root@Gate1:~# klogview -f 0xffffffff

filtration result for out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: chain 4 "IPsecPolicy:CMAP": no match
passed out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: filtered

Вижу, что ICMP трафик (proto 1) 172.16.0.1->172.17.0.1 не попал (no match) в правила шифрования криптокарты CMAP. Пакет смаршрутизировался (passed out) в открытом виде.

Шаг 3. Что получает Gate2 от Gate1

Запускаю сниффер на WAN (eth0) интерфейсе Gate2:

root@Gate2:~# tcpdump -i eth0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
16:05:45.104195 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x1), length 140
16:05:46.093918 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x2), length 140
16:05:47.117078 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x3), length 140
16:05:48.141785 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x4), length 140

Вижу, что Gate2 получает ESP пакеты от Gate1.

Шаг 4. Что Gate2 делает с ESP пакетами

Запускаю утилиту klogview на Gate2:

root@Gate2:~# klogview -f 0xffffffff
filtration result for in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: chain 17 "FilterChain:L3VPN", filter 21, status DROP
dropped in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: firewall


Вижу, что ESP пакеты (proto 50) были дропнуты (DROP), правилом (L3VPN) межсетевого экрана (firewall). Убеждаюсь, что к Gi0/0 действительно привязан список доступа L3VPN:

Gate2#show ip interface gi0/0
GigabitEthernet0/0 is up, line protocol is up
Internet address is 10.10.10.252/24
MTU is 1500 bytes
Outgoing access list is not set
Inbound access list is L3VPN

Проблему обнаружил.

Шаг 5. Что не так со списком доступа

Смотрю, что из себя представляет список доступа L3VPN:

Gate2#show access-list L3VPN
Extended IP access list L3VPN
10 permit udp host 10.10.10.251 any eq isakmp
20 permit udp host 10.10.10.251 any eq non500-isakmp
30 permit icmp host 10.10.10.251 any

Вижу, что разрешены ISAKMP пакеты, поэтому устанавливается IPsec туннель. А вот разрешающего правила для ESP нет. Видимо, студент перепутал icmp и esp.
Правлю список доступа:

Gate2(config)#
ip access-list extended L3VPN
no 30
30 permit esp host 10.10.10.251 any

Шаг 6. Проверяю работоспособность

Первым делом убеждаюсь, что список доступа L3VPN верный:

Gate2#show access-list L3VPN
Extended IP access list L3VPN
10 permit udp host 10.10.10.251 any eq isakmp
20 permit udp host 10.10.10.251 any eq non500-isakmp
30 permit esp host 10.10.10.251 any

Теперь с устройства R1 запускаю целевой трафик:

root@R1:~# ping 1.1.1.2 -c 4
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=35.3 ms
64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=3.01 ms
64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=2.65 ms
64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=2.87 ms

--- 1.1.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 2.650/10.970/35.338/14.069 ms

Победа. GRE туннель установился. Счетчик входящего трафика в статистике IPsec не нулевой:

root@HUB2:~# sa_mgr show
ISAKMP sessions: 0 initiated, 0 responded

ISAKMP connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd
1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1474 1350

IPsec connections:
Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd
1 4 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 1920 480

На шлюзе Gate2 в выводе klogview появились сообщения, что целевой трафик 172.16.0.1->172.17.0.1 успешно (PASS) расшифрован (decapsulated) правилом LIST в криптокарте CMAP:

root@Gate3:~# klogview -f 0xffffffff
filtration result for in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 18 "IPsecPolicy:CMAP", filter 25, event id IPsec:Protect:CMAP:1:LIST, status PASS
passed in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: decapsulated

Итоги

Студент подпортил выходной.
Аккуратнее с правилами МЭ.

Анонимный инженер
t.me/anonimous_engineer

Привет! Как и обещал, в этом посте я расскажу про комбинацию наших сервисов MultiSIM Резервирования и IPVPN через IPSec.



Сами по себе сервисы по IPSec это хорошо, сервис работает через кабельный интернет провайдера, но хотелось бы как-то зарезервировать включение или же предоставлять сервис там, где нет кабельного интернета, а есть только по LTE.

В классическом варианте работы MultiSIM Резервирования при подаче сервисов IPVPN по двум мобильным сетям есть следующие проблемы:

1. Для каждого клиента нужно создавать свой закрытый APN, настраивать в нем BGP или статическую маршрутизацию, сразу рассчитывать необходимое количество хостов для корректного плана ip-адресации.
2. Сеть каждого оператора связи на устройстве также нужно настраивать отдельно, с учетом того, что у каждого из операторов есть свои особенности.
3. Траблшутить такую архитектуру сложнее (намного).
4. Метки трафика IPVPN на входе в сети LTE обнуляются, то есть, если у вас в сети на всех объектах маркируется трафик телефонии или видео то при включении IPVPN с чистого LTE метки трафика будут выставляться в ноль.

С другой стороны, у нас есть IPSec, в котором все вопросы маршрутизации и клиентских настроек абстрагированы от транспорта, будь то проводной интернет-канал или LTE разных операторов, а ещё метки трафика можно сохранить внутри туннеля, хоть и без обеспечения SLA, так как интернет и особенно LTE/3G это довольно непредсказуемые среды для передачи данных.

Поэтому у нас и появилась идея А почему бы не использовать IPsec еще и поверх LTE?. В роутеры ставить типовые SIM-карты с заранее созданными APN и уже через них строить IPSEC до нашего VPN HUB и выпускать клиента в его VRF. А если есть и проводной канал, то использовать в качестве основного транспорта проводное соединение, а при аварии на нем переключать трафик на LTE.

Таким образом, схема сети стала выглядеть следующим образом:


Кликабельно

У клиента получается сразу до трёх WAN-каналов, которые будут выполнять роль underlay для трафика IPSec:

1. Проводной канал доступа Интернет.
2. Первая (Основная) LTE-сеть.
3. Вторая (Резервная) LTE-сеть (если нужна).

Теперь осталось выбрать и настроить роутер для такого варианта предоставления сервиса.

Настраиваем роутер

При выборе роутера нас заинтересовали две модели от Huawei это AR161 и AR129. В них есть поддержка IPSec, LTE модем с поддержкой двух SIM-карт, 4 Ethernet порта LAN + 1 Ethernet WAN, а в модели AR129 еще и WiFi, то есть все, что нужно для работы нашей схемы, и даже немного больше.

А вот с настройкам все оказалось намного сложнее.

Еще во время настройки роутеров для Multisim Резервирования мы столкнулись с проблемой приоритетов между проводными WAN и двумя LTE-сетями для выбора наилучшего маршрута трафика.

В Huawei AR161/129 для этого есть два инструмента:

• Функциональность Network Quality Analysis(aka NQA-test).
  Проводит базовое тестирование icmp-запросами на указываемый хост для определения его доступности.
• Функциональность Open Programmability System(OPS) + Python.
  Очень мощный инструмент, дает возможность сохранять информацию в логах и проводить интеллектуальное переключение, основываясь на статистике icmp, но и сложный для освоения.

Для решения нашей задачи мы выбрали функциональность OPS+Python для включения только двух SIM LTE-включения, и смешанный режим для Интернет + двух SIM LTE-включения.

Примерная конфигурация на роутерах получается такая:

В случае только 2x Sim LTE-включения

#Настройка динамического IP адреса на проводном WAN интерфейсе (получение по DHCP)
interface GigabitEthernet0/0/4
ip address dhcp-alloc

#Настройка APN профилей, Cellular0/0/0 интерфейса
apn profile [APN #1]
apn [APN 1 NAME]
apn profile [APN #2]
apn [APN 2 NAME]
sim-id 2

#Настройка Cellular0/0/0 интерфейса
interface Cellular0/0/0
dialer enable-circular
apn-profile [APN #1] priority 120
apn-profile [APN #2]
dialer timer autodial 60
profile create lte-default [APN #1] sim-id 1
profile create lte-default [APN #2] sim-id 2
ip address negotiate
modem reboot

#Настройка IPSec имени
ipsec authentication sha2 compatible enable
ike local-name [IPSEC_LOGIN]

#Настройка параметров шифрования IPSec туннеля
ipsec proposal ipsec
esp authentication-algorithm sha2-256
esp encryption-algorithm aes-256
ike proposal 1
encryption-algorithm aes-256
dh group2
authentication-algorithm sha2-256
authentication-method pre-share
integrity-algorithm hmac-sha2-256
prf hmac-sha2-256

#Настройка аутентификации IPSec туннеля
ike peer ipsec_1
pre-shared-key simple [IPSEC_PASSWORD]
ike-proposal 1
local-id-type fqdn
remote-id-type ip
dpd type periodic
dpd idle-time 10
dpd retransmit-interval 2
remote-address 100.64.0.100
route accept
config-exchange request
config-exchange set accept
config-exchange set send
ipsec profile ipsecprof_1
ike-peer ipsec_1
proposal ipsec

#Настройка IPSec -туннеля
interface Tunnel0/0/0
tunnel-protocol ipsec
ip address [туннельный IP адрес на марш-ре Huawei] 255.255.255.252
source Cellular0/0/0
ipsec profile ipsecprof_1

#Настройка маршрутов
ip route-static 0.0.0.0 0.0.0.0 Tunnel0/0/0
ip route-static [VPN HUB INTERNAL ADDRESS] 255.255.0.0 Cellular0/0/0

В случае Интернет + 2x Sim LTE-включения

#Настройка динамического IP адреса на проводном WAN интерфейсе (получение по DHCP)
interface GigabitEthernet0/0/4
ip address dhcp-alloc

#Настройка APN профилей, Cellular0/0/0 интерфейса
apn profile [APN #1]
apn [APN 1 NAME]
apn profile [APN #2]
apn [APN 2 NAME]
sim-id 2

#Настройка Cellular0/0/0 интерфейса
interface Cellular0/0/0
dialer enable-circular
apn-profile [APN #1] priority 120
apn-profile [APN #2]
dialer timer autodial 60
profile create lte-default [APN #1] sim-id 1
profile create lte-default [APN #2] sim-id 2
ip address negotiate
modem reboot

#Настройка IPSec имени
ipsec authentication sha2 compatible enable
ike local-name [IPSEC_LOGIN]

#Настройка параметров шифрования IPSec туннеля
ipsec proposal ipsec
esp authentication-algorithm sha2-256
esp encryption-algorithm aes-256
ike proposal 1
encryption-algorithm aes-256
dh group2
authentication-algorithm sha2-256
authentication-method pre-share
integrity-algorithm hmac-sha2-256
prf hmac-sha2-256

#Настройка аутентификации IPSec туннеля
ike peer ipsec_1
pre-shared-key simple [IPSEC_PASSWORD]
ike-proposal 1
local-id-type fqdn
remote-id-type ip
dpd type periodic
dpd idle-time 10
dpd retransmit-interval 2
remote-address 81.211.80.50
route accept
config-exchange request
config-exchange set accept
config-exchange set send
ipsec profile ipsecprof_1
ike-peer ipsec_1
proposal ipsec

ike peer ipsec_2
pre-shared-key simple [IPSEC_PASSWORD]
ike-proposal 1
local-id-type fqdn
remote-id-type ip
dpd type periodic
dpd idle-time 10
dpd retransmit-interval 2
remote-address [VPN HUB INTERNAL ADDRESS]
route accept
config-exchange request
config-exchange set accept
config-exchange set send
ipsec profile ipsecprof_2
ike-peer ipsec_2
proposal ipsec

#Настройка IPSec-туннеля
interface LoopBack32
ip address [туннельный IP адрес на марш-ре Huawei] 255.255.255.252

interface Tunnel0/0/0
ip address unnumbered interface LoopBack32
tunnel-protocol ipsec
source GigabitEthernet0/0/1
ipsec profile ipsecprof_1

interface Tunnel0/0/1
ip address unnumbered interface LoopBack32
tunnel-protocol ipsec
source Cellular0/0/0
ipsec profile ipsecprof_2

#Настройка статической маршрутизации (в направлении сети Билайн)
nqa test-instance [username] inet
test-type icmp
destination-address ipv4 81.211.80.50
source-interface GigabitEthernet0/0/4
frequency 16
probe-count 2
start now

#Настройка маршрутов
ip route-static 81.211.80.50 255.255.255.255 GigabitEthernet 0/0/4 dhcp track nqa [username] inet
ip route-static [VPN HUB INTERNAL ADDRESS] 255.255.255.255 NULL0 track nqa [username] inet
ip route-static [VPN HUB INTERNAL ADDRESS] 255.255.0.0 Cellular0/0/0 preference 70
ip route-static 80.240.216.155 255.255.255.255 GigabitEthernet 0/0/4 dhcp
ip route-static 194.67.0.206 255.255.255.255 GigabitEthernet 0/0/4 dhcp


Всё, настроенный роутер можно ставить клиенту.

Планы

Из планов по развитию этого решения:

1. Сделать то же самое, но уже на роутерах от Cisco/Mikrotik.
2. Перевести всю логику переключения только на OPS + Python

В следующих статьях расскажем, как мы подружили сервисы Мультисим Резервирования с нашей Облачной АТС, сделали на тех же хуавеях режим L2-over-L3 с помощью x-connect, выложим скрипты переключения SIM-карт на Python и расскажем про USB-Deployment на роутерах.

Благодарю моих коллег из RnD, особенно Дениса Зинченко (Dzinch) и Андрея Воронова в подготовке этих технических решений и помощи написании статьи!

PS Первая часть поста вот здесь.