Блог компании atos

Привет, Хабр! Мы постоянно проводим тесты различных софтверных решений на нашем оборудовании, и иногда простая, казалось бы, задача разворачивается на недели. Как раз о таком случае сегодня и пойдет речь. Главный герой нашего рассказа - Павел, технический консультант компании Atos в России.

Рыцари Постгрес тестируют

Итак, на сервере Atos BullSequana S1600 (16 процессоров Intel Platinum 8260), разделенном логически на 2 половинки по 8 сокетов, установлено 4 HBA Emulex LPe31002-M6 (2х-портовые, 16 Гбит), по 2 на каждой половине. FC-линки подключены через 2 MDS-свитча производства Cisco, и с помощью multipath предоставляют системе один диск объемом 6 Тб. В самом начале тестов каждая карта была подключена всего одним линком, но потом, в ходе диагностики, для большей надежности и вообще повышения крутизны подключили все порты. Итого, на каждой половинке сервера оказалось по 4 FC-линка. Во время тестов работы с диском не было.

ОС на обеих половинках на момент старта нашего повествования CentOS Linux release 7.7.1908 с ядром: 3.10.0-1062.12.1.el7

Версия FW карт - 12.6.240.40 (рекомендованная Atos, обновлялась в процессе работ).

Версия драйвера lpfc (судя по всему, родная, из коробки ОС) 12.0.0.13.

Объём доступной памяти всего-навсего 4096 Гб на каждой половинке, с учетом резервирования части памяти под нужды железа под ОС остается 3968 Гб.

Все началось с того, что специалисты по СУБД Postgres решили протестировать железо с помощью stress-ng пакета, в попытке доказать, что наше оборудование не выдерживает нагрузки (у них были инциденты, в рамках расследования которых всё и завертелось).

Параметры стресс-теста взяты "замечательные", вот команда запуска

stress-ng --vm-rw 1000 --vm-rw-bytes 2500G --verify --metrics-brief -t 60m

По документации, такие параметры означают, что стартовали 1000 процессов (start N workers that transfer memory to/from a parent/child), дали по 2500Гб оперативной памяти каждому (mmap N bytes per vm-rw worker) и сказали обмениваться с помощью функций Линукса process_vm_writev и process_vm_readv, а результат обмена проверять на ошибки, и так час. Ошибок при передаче данных не возникало, но вот проблемы с ОС и FC-линками были.

Позже, надо сказать, тестировали с еще более забавными параметрами stress-ng --vm-rw 2000 --vm-rw-bytes 3500G --verify --metrics-brief -t 10m.

Линукс крут. Такие параметры означают, что почти все время Линукс тратил на переключение процессов, обращения к памяти и передачу данных между NUMA-нодами, и сам по себе не падал, но люто тормозил. После небольшой настройки наше оборудование тоже стало справляться с такой нагрузкой без падений (Тормоза? Кто сказал тормоза?), но вот FC-линкам действительно становилось плохо они отваливались, один за другим, и победить это настройками не удавалось.

Со стороны свитчей это выглядело примерно так:

MDS1

2021 Feb 15 23:43:57 dn-MDS-C9148S-1 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 2221%$ Interface fc1/15 is down (Link failure loss of signal)

2021 Feb 15 23:45:24 dn-MDS-C9148S-1 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 2221%$ Interface fc1/27 is down (Link failure loss of signal)

MDS2

2021 Feb 15 23:21:54 dn-MDS-C9148S-2 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 2222%$ Interface fc1/27 is down (Link failure loss of signal)

2021 Feb 16 00:00:02 dn-MDS-C9148S-2 %PORT-5-IF_DOWN_LINK_FAILURE: %$VSAN 2222%$ Interface fc1/15 is down (Link failure loss of signal)

Техподдержка врёт (ну или добросовестно заблуждается).

Разумеется, последнее терпеть было никак нельзя, и за дело принялся знающий человек наш военком техподдержка Emulex.

Сначала, по просьбе Паши, заказчик поставил Emulex OneCommand Manager Command Line Interface и попробовал некоторые команды, например, получить список HBA, проверить статус портов, принудительно включить порт, перезагрузить HBA-карту.

Ничего из этого не помогло, но стало известно, что точный статус порта User Offline, позже, проанализировав выводы команд, техподдержка Emulex дала вот такой ответ по поводу статуса порта User Offline:

The Port state goes to User-offline, when the port bring-up fails even after reset. This is done by FC Driver. The reason for port bring-up failure could be due to various reasons (May be link issue (or) switch F-Port issue (or) HBA N-Port issue (or) authentication issue etc.)..

Перезагрузить сервер пока не удавалось (тесты), заказчик попробовал разные решения, но отключенные порты так и не поднимались, зато свежеподключенные порты работали. Все проверки показали, что проблема с одним из портов каждой HBA-карточки, всё остальное (свитчи, SFP, кабели) полностью исправно.

Первым делом в техподдержку отправили здоровенный кусок информации в виде логов, собранных специальным инструментом OneCapture. Поскольку карты были более-менее здоровы (за минусом портов), набор логов собрался (хотя и поразил объемами два пакета логов, в 9 и 36 ГИГАБАЙТ), и меньший из них послали доблестным специалистам техподдержки.

Логов не хватило.

Позволим себе процитировать:

The issue here is that the link state went to LPFC_HBA_ERROR state because of which board_mode is showing port status output as error.

Driver will not be able to post mailbox if link state is in error state and it will start throwing errors.

To debug further, our Development team needs more driver logs with log-verbosity set to 0x1ffff on the errored port.

*Steps to follow to collect logs:

==============

1. set the verbosity log level using HBACMD # hbacmd setDriverParam 10:00:00:10:**:**:**:** L P log-verbose 0x1ffff

2.Reset the port so that the port initialization events start # hbacmd reset 10:00:00:10:**:**:**:** (In case the boot mode is enabled, disable it using below command and then retry 2) (((#hbacmd EnableBootCode 10:00:00:10:**:**:**:** D) ))

3. After few seconds if collect the onecapture again using below options to skip Linux crash dump collection. This will give compelete faster and less file size, as crash dump is skipped.

#./OneCapture_Linux.sh --FullCapture --Adapters=all --NoCrashDump

4. After this Please collect HBA dump as well. Reason, onecapture failed to collect dump in previous attempt.

# hbacmd dump 10:00:00:10:**:**:**:**

Затем произошла перезагрузка, и линки восстали из мертвых (и даже не пахли). FW карт обновили до версии в описании, а техподдержка Emulex обрадовалась.

Но потом тестирование продолжили и линки начали вновь падать. Стало ясно, что трабл не решен, и логи пришлось собирать заново.

Заказчик, которому переслали инструкции выше, ухмыляясь и хмыкая (а вы бы не ухмылялись?), собрал новые логи... Но и тут не обошлось без проблем выставить флаг более подробных логов не получилось, потому что:

Это, кстати, удалось победить командой echo 0x1ffff > /sys/class/scsi_host/host16/lpfc_log_verbose.

"Не хочешь таблетку вот тебе свечка. Организм тот же пути разные..."

Логи были собраны, и техподдержка Emulex удалилась. Надо сказать, что на анализ логов они потратили всего лишь день.

Ответ был прекрасен:

Our Development team has analyzed the logs and gav below analysis:

====

Below sequence of events have forced the port to offline state:

1. IOCB time out error occurred and the IO abort was issued.

2. SCSI layer issued Device Reset of the LUN.

3. Bus reset performed by driver.

4. After the reset, driver failed to port sgl with -EIO error and brought the port offline.

There were also some kernel traces as well regarding tainted kernel (oracle linux)

wn2pynn00db0022 kernel: Tainted: G OE 4.14.35-1818.3.3.el7uek.x86_64 #2

=====

Our development team believes that, these logs indicate a possible scsi midlayer issue and not LPFC-driver or HBA-Firmware issue. Proper kernel upgrade may be required to resolve this issue.

Конечно, были попытки понять, о чем они пишут, но успехом это не увенчалось. Да, этими заклинаниями только Ктулху будить...

На попытку выяснить а есть ли обходное решение? сказали, что нет.

Делать было нечего, и пришлось идти куда послали к заказчику, просить обновить ядро.

Заказчик, ядро и уже наша техподдержка

Заказчик отзывчив ядро обновили, до версии 3.10.0-1160.15.2.el7. И запустили тест. Линки упали. Доблестные рыцари Постгреса радостно потирали лапки (это было видно по письмам, хотя, это могли быть галлюцинации от неумеренного общения с техподдержкой разных уровней).

Итак, линки все еще падают непонятно от чего, поддержки ОС нет (CentOS же), разобраться в настройках драйвера самостоятельно это угробить кучу времени без шансов на успех (вы видели тот талмуд?! - Вот он).

Наша глобальная поддержка (да, мы обратились еще и к нашим глобалам), тоже не сказала ничего нового железо в порядке, карты в порядке, идите в техподдержку ОС, но можете попробовать обновить все до последних версий. Или установить корпоративную ОС с поддержкой, и тогда пойти в техподдержку ОС...

Что забыли потрогать

Паша достаточно долго работает в техподдержке, и что он выучил, так это то, что часто источником глюка бывает то, что забыли потрогать.

За всё время этой проблемы пошатали и потрогали всё саму ОС, FW, прошивку HW сервера, настройки HW сервера, параметры GRUB, настройки фабрики, свитчей и линков...

Всё, кроме драйвера lpfc.

Терять было уже нечего, и помимо рекомендации перейдите на другую ОС мы попросили еще и обновить драйвер, до последней версии на сайте Emulex до 12.8.340.9.

И это помогло! После обновления драйвера FC-линки больше не падали. От выдоха облегчения чуть не свалился монитор, а сам Паша (реактивный эффект, ага) чуть не упал со стула.

Заказчик подтвердил, что с тех пор проблем с падениями линков уже не было, даже под стресс-нагрузкой.

Возможно, под поверхностью все еще притаился монстр какой-нибудь упущенный фактор, но пока (уже больше 3-х месяцев) все тихо.

Итоги

1. Удалось победить проблему падения FC-линков обновлением FW, драйвера и ядра до последних (или рекомендованных) версий.

2. Техподдержка врёт (ну или добросовестно заблуждается), поэтому приходится старательно все проверять самому.

3. Трогать и шатать при траблшутинге надо всё!

Современным финансовым организациям уже недостаточно видеть, что происходит на их территории: важно мгновенное реагирование на возникающие события. Например, в отделении банка появился человек с оружием. Есть ли время и возможность у сотрудников воспользоваться тревожной сигнализацией? Это процесс необходимо автоматизировать. Видеосистемы должны не только разглядеть злоумышленника, но и обнаружить в его руках оружие, оповестить ответственных сотрудников и (при необходимости) автоматически совершить звонок в экстренные службы. Важна каждая секунда.

Другой пример обеспечение безопасности банкоматов. Системы видеонаналитики помогают отследить нетипичное поведение посетителей непосредственно рядом с банкоматами.

Или более приятная ситуация: в отделение банка заходит клиент со статусом VIP. Видеосистемы идентифицируют его и моментально передают информацию сотрудникам банка для своевременного обслуживания и предложения специальных условий.

Таким образом происходит переход от парадигмы видеонаблюдения к парадигме персонализированной видеоаналитики. Рынок технологии Edge Computing, обеспечивающей внедрение видеоаналитики, ежегодно растет на 32%.

Варианты видеоаналитики в финансовом секторе

Условно всех их можно разделить на 3 категории:

1. Повышение лояльности заказчиков;

2. Предотвращение мошенничества;

3. Обеспечение безопасности.

Первая категория подразумевает различные сценарии, при которых осуществляется повышение уровня предоставляемого сервиса, прямо или косвенно повышающие доходность организации:

• Анализ алгоритма деятельности сотрудников отделения при работе с клиентами;

• Типологический анализ посетителей (Отслеживание количества и времени пребывания посетителей, распределение посещаемости отделения, классификация по разным фильтрам: пол, возраст и т.д.);

• Отслеживание VIP-клиентов (мгновенная идентификация с возможностью оперативного предоставления услуг и персонализированных предложений);

• Управление очередями (отслеживание количества людей в очереди и дистанции между ними с возможностью оповещения ответственного сотрудника);

• Мониторинг ношения элементов корпоративной униформы (галстук, бейджик и т.д.);

• Оптимизация парковочного пространства (отслеживание наличия свободных парковочных мест с целью максимальной утилизации парковочного пространства).

Вторая категория подразумевает различные сценарии, при которых осуществляется сокращение рисков, связанных с мошенническими действиями:

• Недопущение проникновения посторонних лиц в рабочее пространство (повышение безопасности путем ограничения доступа посторонних людей паровозиком за сотрудником с одобренным доступом);

• Распознавание сотрудников и посетителей с возможностью бесконтактного доступа в помещения;

• Повышение безопасности за счет распознавания нетипичного поведения (с возможностью автоматического оповещения).

Третья категория подразумевает различные сценарии, при которых осуществляется обеспечение физической безопасности филиала организации изнутри и снаружи:

• Обнаружение признаков дыма и пожара (изнутри и снаружи зданий с возможностью оповещения ответственного сотрудника и звонка в противопожарные службы);

• Детекция попыток взлома банкоматов;

• Отслеживание нештатных ситуаций (например, неадекватное поведение или человек с оружием);

• Обеспечение безопасности по периметру (наружное видеонаблюдение с оповещением в случае обнаружения подозрительного поведения или потенциальных правонарушений);

• Обнаружение оставленных предметов: получение оповещений о потенциально опасных объектах (например, оставленных сумках) и отслеживание оставившего предмет человека с использованием видеокамер;

• Мониторинг ношения средств индивидуальной защиты (мониторинг ношения СИЗ сотрудниками и посетителями финансовой организации с автоматическим оповещением оператора);

• Бесконтактная СКУД (идентификация сотрудника по лицу. В случае фиксации лица сотрудника с одобренным доступом подается сигнал на открытие двери или турникета).

Данный список задач не является окончательным. Это лишь небольшой шорт-лист из часто выбираемых заказчиками сценариев. В зависимости от конкретно ваших задач мы можем подобрать ту или иную модель видеоаналитики.

Проблема

Само понятие видеоаналитика уже содержит в себе слово видео и подразумеват наличие как минимум нескольких камер в рамках организации. Но даже одна камера способна генерировать гигабайты данных ежеминутно. Возникает проблема узкого горлышка, связанная с низкой пропускной способностью каналов передачи данных: отправить весь поток в ЦОД и вернуть результат исполнения алгоритма задача очень непростая для различных протоколов, будь то 4G или, к примеру, Bluetooth.

Чтобы уменьшить задержку и оптимизировать пропускную способность сети, применяется подход децентрализации аналитики, который лежит в основе концепции периферийных вычислений (Edge Computing). Вычисления на каждой площадке производятся отдельно, после чего результаты в виде истории событий и видеофиксации (например) направляются в единый центр мониторинга, где возможна ролевая настройка доступа к базе событий и видеофрагментам (к примеру, администратор сети имеет доступ ко всем событиям; сотрудники, отвечающие за противопожарную безопасность к списку событий, связанных с возникновением пожара и т.д.).

Другая частая проблема при использовании систем видеоаналитики заключается в обслуживание и управление распределенным стеком серверов. В самом деле, децентрализация вычислений приводит к появлению обширного стека вычислительных узлов. Каким образом можно безопасно и быстро обновлять прошивку серверов, версии программного обеспечения, производить обслуживание оборудования из единого окна?

Решение Atos подразумевает возможность выбора инструмента управления стеком серверов в зависимости от текущего окружения заказчика.

На выбор предоставляются встроенные возможности управления:

• OpenBMC - пользовательский интерфейс для настройки на голое железо, доступа к виртуальной консоли и мониторинга оборудования;

• Redfish - стандарт DMTF, предоставляющий интерфейс RESTful для управления серверами, хранилищами, сетевыми и конвергентными инфраструктурами;

• Ansible - инструмент для автоматизации поставки программного обеспечения, управления конфигурацией и развертывания приложений.

Так же при внедрении систем видеоаналитики возникает вопрос, связанный со сроками внедрения решения в эксплуатацию. Раздельные процедуры закупок, различные бюджеты, разные сроки поставки все это безусловно усложняет процесс внедрения аналитики видеопотока. На практике встречались даже случаи, когда заказчик уже активировал лицензии ПО, но в процессе конфигурации сервера и установки ПО возникали проблемы, вследствие чего средства уже были потрачены, а решение все еще не использовалось по назначению и не приносило ценности заказчику.

Для предотвращения подобных эксцессов Atos поставляет заказчикам готовый программно-аппаратный комплекс, в рамках которого происходит предконфигурация вычислительной части и установка золотого образа на фабрике. Это позволяют существенно минимизировать cроки на ввод всего решения в эксплуатацию.

Решение

Решение Atos представляет собой готовый программно-аппаратный комплекс, включающий в себя:

• Программную часть;

• ОС и/или виртуализацию;

• Вычислительные ресурсы;

• Дополнительные сервисы для поддержки комплекса в течении всего жизненного цикла: внедрение, управление, обновление и т.д.(опционально).

Основные преимущества такого комплекса:

A. Кратчайший срок ввода в эксплуатацию (преднастройка программной части и ОС осуществляется на фабрике, что позволяет оптимизировать затраты на ручную интеграцию на каждой площадке);

B. Возможность масштабирования (в рамках одного сервера можно размещать несколько моделей за счет использования 2 карт Nvidia T4);

C. Поддержка в ходе всего жизненного цикла видеоаналитики (дополнительные сервисы);

D. Поддержка из единого окна.

Что по части видеоаналитики

Аппаратную часть дополняет платформа видеоаналитики LUNA компании VisionLabs, одного из мировых лидеров в области компьютерного зрения и машинного обучения.

С помощью нейронных сетей LUNA Platform может распознать человека, а также определять его эмоции, пол, возраст, элементы поведения и атрибуты одежды. В основе платформы собственные алгоритмы VisionLabs. Они признаны одними из самых точных и быстрых в мире, это подтверждается лидирующими позициями в международных конкурсах и независимых тестированиях. В этом году VisionLabs стала лучшей из российских компаний в общем зачёте независимого тестирования алгоритмов распознавания лиц Национального института стандартов и технологий США (NIST).

В распознавании лиц обычно надо решить одну из двух задач верификация или идентификация человека. В первом случае мы сравниваем два изображения между собой, а во втором одно с целой базой фотографий. Принцип работы алгоритма распознавания следующий:

Для пользователя все события с распознаванием отображаются в удобном интерфейсе. Есть возможность поиска по ним с различными фильтрами.

Также в системе реализован функционал с загрузкой различных списков. Это актуально, например, для использования в кредитном конвейере банков. Если человек из черного списка попытается получить услугу, то ему будет отказано.

Возможности платформы используются для оплаты по лицу в магазинах или общественном транспорте, в городском видеонаблюдении для повышения уровня безопасности, системах контроля доступа на социально значимых и промышленных объектах.

Помимо биометрических сервисов в LUNA Platform также встроены модули для получения необходимой аналитики по дополнительным атрибутам, без распознавания лиц.

Распознавание СИЗ

На производственных предприятиях, стройках, нефтегазовых объектах вопрос обеспечения охраны труда один из ключевых. Немаловажную роль в этом играет постоянное наличие средств индивидуальной защиты. Однако мониторинг СИЗ вручную далеко не так эффективен. Проблемы, возникающие при контроле ношения СИЗ:

• необходимость визуального анализа видеопотока со всех камер предприятия;

• усталость и невнимательность операторов, анализирующих видеопоток;

• скорость уведомления ответственного служащего зависит от человеческого фактора.

Использование продуктов на основе CNN (свёрточные нейронные сети) позволяет в режиме реального времени автоматически отслеживать соблюдение ношения СИЗ и при их отсутствии отправлять оповещение в ситуационный центр или другие ответственные службы.

Видео с распознаванием СИЗ:

Алгоритмы VisionLabs отслеживают следующие атрибуты: каска, капюшон, перчатки, жилет. Они являются базовыми и встречаются практически на всех предприятиях. При необходимости нейронные сети быстро дообучаются под конкретного заказчика и распознавание других СИЗ - например, очков, защитных ботинок, сварочных масок и прочих специальных элементов одежды. Также есть возможность использования смежного функционала распознавания по лицу, что обеспечивает фиксацию нарушения по каждому сотруднику предприятия. Это помогает исключить нарушения правил безопасности и существенно снизить уровень производственного травматизма.

Мультикамерный трекинг

Еще одна разработка VisionLabs, востребованная в отраслевых решениях мультикамерный трекинг. All-Targets All-Cameras tracking (ATAC) технология для отслеживания перемещений людей по сети камер видеонаблюдения, которая не требует обязательной идентификации по лицу и тем самым работает с деперсонифицированной информацией. Как пример, появляется возможность отследить время нахождения конкретного человека в отделении банка.

Мультикамерный трекинг позволяет решать широкий спектр задач. Среди которых:

• аналитика клиентских потоков: маркетинг, мерчандайзинг;

• анализ взаимодействия клиентов и персонала: улучшение клиентского опыта, увеличение продаж;

• регламенты сотрудников, оптимизация перемещений;

• отслеживание маршрута выбранного человека: безопасность (поиск преступника, пресечение правонарушений), поиск потерявшихся людей;

• антиковидные меры: мониторинг соблюдения социальной дистанции, подсчет людей на объекте.

Что по части вычислительных мощностей

В качестве вычислительной платформы комплекса выступает сервер для перфийных вычислений BullSequana Edge. Главное отличие наших серверов от стандартных стоечных серверов возможность установки вне дата-центра в непосредственной близости от источника данных (на столе / на кронштейны на стену / в DIN-рейку /...).

В сравнении со стоечными серверам BS Edge не требует специальных условий установки, таких как определенный температурный режим, наличие хорошей вентиляции и установки в стойку.

• Монтаж

  BullSequana Edge создан для работы вдали от ЦОД. Обеспечивает низкий уровень шума: 39 дБа в нормальном режиме, что более чем в два раза ниже чем у rack-серверов

• Безопасность и защита данных

  При установке вне центра обработки данных риск физического проникновения существенно возрастает. Поэтому BullSequana Edge был оснащен целым рядом мер защиты, которые помогают защитить устройство от различных видов атак

  Физическая защита

  Нет физического консольного порта / порта монитора. Датчик проникновения отключает систему при снятии крышки

  Защита микрокода

  Отдельная прошивка для BIOS и BMC гарантирует, что обновления происходят от Atos, а не от третьей стороны

  Защита загрузки

  Защищает от манипуляций с загрузочной цепью. По умолчанию система поддерживает безопасную загрузку UEFI, поскольку теперь она становится стандартным механизмом защиты, поддерживаемым поставщиками ОС и гипервизора. Система также способна поддерживать индивидуально проверенные и измеренные стратегии загрузки, включая использование TPM в качестве безопасного хранилища ключей

  Шифрование диска

  Ключевой механизм защиты, обеспечивающий надежную защиту данных, хранящихся на диске. Стандартные механизмы шифрования диска требуют, чтобы администратор вводил ключ после перезагрузки/сбоя питания. Поскольку Edge-серверы часто устанавливаются в удаленных местах без физического доступа, сервер BullSequana Edge поддерживает блочное шифрование на основе LUKS с возможностью безопасного хранения ключа в доверенном платформенном модуле, поэтому система может перезагружаться без ручного вмешательства. Также возможно реализовать сетевые механизмы восстановления ключей, такие как Clevis и Tang

  Безопасное удаленное управление системой и обновление прошивки

  Сервер BullSequana Edge оснащен сервисным процессором на базе OpenBMC, который обеспечивает безопасное низкоуровневое управление системой на основе RestAPI. Это позволяет реализовать автоматизированное наблюдение и обеспечение узлов на основе Ansible. Atos предоставляет готовые шаблоны для общих задач, таких как включение/выключение узла, перезагрузка, сборка датчиков, а также обновление прошивки через сайт Atos GitHub. Гораздо менее безопасный протокол IPMI по умолчанию отключен на сервере BullSequana Edge. В случае необходимости администратор может включить и отключить входной и исходящий IPMI

Масштабируемость комплекса

Одним из главных преимуществ комплекса является возможность его масштабирования. Вычислительных мощностей сервера BullSequana Edge с 1 графической картой Nvidia T4 хватает примерно на 25 камер (в зависимости от сложности аналитики). В случае добавления дополнительных моделей и камер, достаточно лишь добавить вторую графическую карту вместо закупки второго полноценного сервера, что помогает заказчику оптимизировать стоимость решения, сократить звуко- и тепловыделение, уменьшить занимаемое решением место. Для обеспечения отказоустойчивости применяется собственное программное решение Evidian SafeKit.

* В зависимости от требований программного обеспечения** ПО для балансировки, репликации данных и отказоустойчивости приложений*** Одна карта Nvidia A100 по производительности примерно равна 5 картам Nvidia T4

• Апгрейд комплекса;

• Обновление версий ПО;

• Обновление прошивки вычислительных мощностей;

• Поддержка любого количества камер и площадок.

  

Вывод:

Прекрасно понимаем, что не всегда у заказчиков есть возможность полноценного приобретения решения на баланс. Для такой ситуации мы предусмотрели возможность поставки комплекса по модели подписке.

Кстати, наши решения доступны для тестирования уже сегодня. Достаточно описать задачу на наш рабочий ящик. Будем рады помочь вам!

Не наблюдать, а действовать (С)