Видеоаналитика

Как проходит наблюдение за экзаменом

12.10.2020 16:11:28 |

Автор: admin

Привет! Как вы знаете, мы являемся провайдером видеонаблюдения на различных значимых событиях, в том числе и ЕГЭ.

В этом посте мы хотим рассказать про наши платформы видеонаблюдения и видеоаналитики, о том, как устроено наблюдение за экзаменами, какие тут есть сложности и как наш алгоритм помогает выявлять нарушения на экзаменах.

Обычно за ходом экзамена следят специальные люди наблюдатели. Они отмечают на портале видеонаблюдения smotriege.ru подозрительное поведение участников ЕГЭ и передают обнаруженные нарушения на модерацию в Рособрнадзор. Если модераторы считают, что нарушение действительно было, то его передают дальше на отработку в пункт проведения экзаменов (ППЭ). Сотрудники ППЭ проверяют каждое такое обращение и решают, как поступить с нарушителем. Например, удалить с экзамена, если он использовал телефон или шпаргалку.

2020 год не стал исключением, и за государственной аттестацией следили онлайн-наблюдатели. Правда, в этот раз у них был помощник специально обученный алгоритм. Он анализирует последовательность изображений, которые поступают с видеокамер в режиме реального времени или из архивных записей, и находит среди них возможные нарушения: использование шпаргалок, телефона и других девайсов.

Технология видеоаналитики просматривала видеопоток из аудитории в режиме онлайн, а между экзаменами архивные видео из офлайна. Для сравнения: один наблюдатель может следить максимум за четырьмя аудиториями одновременно, а алгоритм может обрабатывать видео из более чем 2000 аудиторий за один экзаменационный день.

Главная цель такой видеоаналитики помогать наблюдателям находить нарушения во время экзамена, обращать внимание на подозрительное поведение участников ЕГЭ во время экзамена и устранять человеческий фактор в процессе наблюдения.

Как работает алгоритм

Технология находит возможное нарушение, фиксирует его в своей памяти и передает сигнал на портал видеонаблюдения. Наблюдатели просматривают уведомление в разделе Потенциальное нарушение. Уведомление представляет собой отрывок видеозаписи, в котором отражается информация о том, в каком ППЭ зафиксирована активность, его аудитория. А красным квадратом выделяется та часть экрана, на которую нужно обратить внимание. Просмотрев отрывок, наблюдатель решает, принять или отклонить нарушение.

Обучение и сложности

Чтобы алгоритм точно распознавал поведение участников ЕГЭ и корректно фиксировала нарушения, его нужно было обучить на большом массиве данных. Что мы и сделали, собрав видеозаписи с уже зарегистрированными нарушениями на экзаменах за 2018-2019 годы.

Процесс обучения состоял из нескольких этапов. На первом видеозаписи прогонялись через алгоритм детектирования людей с использованием нейросети Yolo. В результате получалось видео с маркированными участками, где люди находились в течение долгого времени. Это было нужно, чтобы отсечь преподавателей, которые ходят по коридорам, и т.д. Каждому региону с человеком присваивался идентификатор, и обработанное видео с отмеченными регионами и идентификаторами сохранялось.

Затем это видео просматривал человек, который отмечал как можно более точно моменты начала и конца нарушения (если оно, конечно, было), а также идентификаторы нарушителей. Также сохранялись моменты отсутствия нарушений как примеры нормального поведения, которые тоже нужны для обучения алгоритма. Так мы выявили еще и типичные нарушения использование шпаргалок и телефонов, фотографирование материалов.

Нам очень помогла открытая библиотека OpenPose, которая используется для определения положения людей в кадре, их поз и координат ключевых точек, относящихся к разным частям тела.

В процессе обучения у нас возник ряд сложностей с алгоритмической точки зрения. Во-первых, качество видео. Со многих камер картинка приходит в разрешении 320х240. И в таких случаях различимы только люди, которые находятся непосредственно близко к камере. А вот люди на задних партах превращаются в кучку пикселей, и анализировать поведение, особенно его мелкие нюансы, становится очень сложно.

Во-вторых, ракурс. Видеосъемка проходит с разных ракурсов: спереди, сзади и сбоку. Это усложняет обучение модели, а некоторые нарушения видны либо очень плохо, либо вовсе не видны. В-третьих, из-за отсутствия размеченных датасетов в публичном доступе, возникла необходимость вручную собирать и размечать данные для обучения алгоритма. И в-четвертых, нет четкой грани между нарушением, подозрительным поведением и нормальным поведением. Это осложняет ручную разметку видео и обучение алгоритма.

Результаты и планы

Первая версия алгоритма была построена на использовании RandomForest классификатора, обученного на результатах работы OpenPose. Но у нее был существенный недостаток: большая часть потенциально полезных данных просто выбрасывалась. Например, по ключевым точкам можно определить некоторые жесты и движения, но невозможно увидеть, что у человека в руке ручка или шпаргалка.

Сейчас проводятся исследования по улучшению качества работы алгоритма с использованием нейросетевых технологий Human Activity Recognition, архитектур SlowFast, I3D и C3D. Кроме того, мы работаем над увеличением точности алгоритма, его производительности и удобства эксплуатации. Мы уже расширили датасет и добавили данные за 2020 год это поможет нам существенно увеличить точность алгоритма.

Расширение датасета и добавление данных за 2020 год существенно увеличат точность алгоритма

Теперь перед нами стоит задача по ускорению работы алгоритма. О чем мы тоже, скорее всего, расскажем в следующих постах

Подробнее..

Категории: Работа с видео , Алгоритмы , Машинное обучение , Обработка изображений , Блог компании ростелеком , Видеонаблюдение , Видеоаналитика , Random forest , Экзамены , Егэ , Openpose

Бесполезное видеонаблюдение или принцип Чабудо китайских производителей

03.12.2020 20:22:40 |

Автор: admin

Легендарная пыль

Однажды я спросил у своего знакомого: Что это у тебя за устройство все в пыли? Это видеорегистратор - ответил мой приятель. Пробовал настроить запись с камер по детекции движения, но в нужный момент ничего не писалось. А если и происходила запись, то, в основном, когда было не нужно - из-за изменений освещения, погодных условий, комаров и насекомых возле камеры. В общем, включил этот видеорегистратор в режим непрерывной видеозаписи и забыл про него. Надо проверить пишет ли он до сих пор ? Знакомая ситуация?

Если посмотреть на большинство крупных брендов, то на деле все они использует OEM поставки от одних и тех же китайских производителей почти с одним и тем же софтом внутри (Dahua и Hikivision).

Объединяет их всех одно крайне неудобный и пыльный интерфейс программного обеспечения в стиле 90-х. Тем не менее, рынок таких систем огромен, а спецы-слаботочники крайне непритязательны. Если монтажник системы сказал, что для видеонаблюдения нужен белый IP адрес и танец с бубном вокруг роутера, то без них никак. Результат хорошо известен большое количество взломанных IP камер и замечательные пранки над их владельцами.

Итак, приготовьте лупу. Выглядит китайский софт на современном компьютере с хорошим разрешением примерно так:

Скриншот программы SmartPSS

Скриншот программы CMS

Большие системы

На рынке существует множество тяжеловесных дорогостоящих систем для корпоративных пользователей. Чтобы удовлетворить запросы клиентов, такие продукты постепенно превращаются в монстров, для которых нужны выделенные дорогостоящие сервера и лицензии, внедрение, подробная документация и обучение. Все это делает систему тяжеловесной и недоступной для SOHO пользователей.

Видеоаналитика

Современное программное обеспечение позволяет использовать компьютерное зрение в онлайн-режиме. Появление видеоаналитики положительно повлияло на ситуацию. Однако, она тоже имеет ряд недостатков, обусловленных высокой стоимостью обслуживания, сложными настройками и необходимостью содержания серверов с GPU картами.

Многие компании предлагают облачную видеоаналитику. Но этот подход имеет существенный недостаток - высокую стоимость трафика и самих сервисов.

Представленный на рынке софт для видео наблюдения можно разделить на следующие категории:

Небольшие программы, open source и подручные самописные средства.
Сложные дорогие программы, разработанные для корпоративных заказчиков. Они эффективно работают, но требуют больших затрат в обслуживании и специальной инфраструктуры.
Используемые по наследству морально устаревшие hardware-решения, неудобные в использовании и обладающие ограниченными возможностями. Они функционируют на основе старых алгоритмов видео-кодирования.
VSaaS (video surveillance as a service) - Облачные решения для записи и хранения видеозаписей с облачными сервисами. Такие сервисы часто предлагают уже преднастроенные ip камеры, привязанные к собственным облачным сервисам.

Cиний туман похож на ...

VSaaS значительно упрощает подключение устройств, но в этом случае приходится ежемесячно оплачивать услуги для каждой из ip камер. Эти услуги не дешевы и стоимость сильно зависит от желаемого срока хранения видеозаписей на сервере. Если вы хотите использовать, например, 10 камер, то стоимость выльется в существенную сумму - от 1000 до 30000 долларов в год в зависимости от срока хранения архива без учета стоимости оборудования. Т.е. каждый ежемесячный платеж может быть больше, чем стоимость самого оборудования. Стоимость облачных камер, как правило, существенно выше рыночных аналогов, несмотря на одинаковое железо внутри. Узким местом VSaaS является пропускная способность канала передачи данных.

При круглосуточной трансляции видео 1920х1080 (HD) в течение одного месяца каждая ip камера может съесть до 648 Гб интернет-трафика. При большой нагрузке провайдер может понижать скорость вашего соединения. Одна камера с высокой четкостью изображения, использующая продвинутые алгоритмы сжатия, например, H.264, генерирует поток данных со скоростью 2 - 10 Мбит/с. С другой стороны, средняя скорость исходящего канала в мире сейчас составляет только 5 Мбит/с.

Получается разрыв между текущими запросами пользователей VSaaS и возможностями каналов интернет провайдеров. Использование нескольких камер становится проблематичным, особенно для камер высокого разрешения. Суммарный поток данных при использовании 150 видеокамер разрешением 2 Мп (30 fps) для охраны периметра, имеет нагрузку на канал связи более 1 Гб/с. Удаленный просмотр, запись видео становятся ненадежными и невозможными. В итоге, облачное видеонаблюдение может превратиться в туманное с потерей важных данных. Многие пользователи уже успели разочароваться в таких сервисах из-за потери важных кадров.

Нейронные сети или из тумана снова в облако

Простой детектор движения сокращает поток. Однако, детектор может реагировать на случайные изменения картинки. Эту проблему решает технология интеллектуальной видеоаналитики в режиме реального времени, функционирующей на стороне абонента.

Нейросетевые технологии позволяют производить детекцию объектов, обнаружение людей и распознавание лиц, определение номеров автомобилей. Таким образом, в сравнении с обычным детектором движения, видеоаналитика может сократить нагрузку на канал связи и облачное хранилище в десятки раз. Очевидно, что облачная инфраструктура оказывается неэффективной для первичной обработки сырого видеоматериала. Чем лучше видеоаналитика, тем меньше нагрузка на каналы передачи данных.

С другой стороны, облачная инфраструктура может быть эффективно использована для горизонтального масштабирования системы видеонаблюдения - для хранение видео и данных видеоаналитики, для подключения новых объектов наблюдения, для обслуживания большого числа пользователей. Локальное хранилище NVR позволяет буферизовать данные. Оно увеличивает отказоустойчивость системы видеонаблюдения. Срабатывание по событию активирует запись и данные передаются в облачное хранилище в зависимости от загруженности канала.

Необходимо учитывать ограничения по скорости передачи, а также наличие сложных топологий с трансляцией адресов (NAT) и сетевыми экранами. Как правило, большинство технологий, которые для этого используются, требуют присвоения камере или видеорегистратору дорогостоящего белого IP адреса, сложной процедуры настройки с использованием сервисов VPN, UPnPct или DDNS.

Боль пользователей

Интернет провайдеры предоставляют услуги подключения к сети интернет на основании динамически изменяющихся IP адресов из определенного массива. При каждом входе в сеть этот адрес для пользователя изменяется, что требует систематической перенастройки камер системы видеонаблюдения. Провайдер может предоставлять внутренний IP адрес подсети, который будет отличаться от внешнего адреса. Белый статический IP адрес провайдер выделяет на платной основе и стоит эта услуга недешево. Как известно, общее количество IPv4 - адресов в мире ограничено и все они были розданы уже много лет назад. IPv6 - адреса многие камеры до сих пор не поддерживают. Но главная проблема использование внешнего IP адреса для IP камеры крайне небезопасно. IP камера - это простенький и малозащищенный микрокомпьютер, что приводит к большому количеству взломов и утечек информации.

Децентрализация без политики

В последнее время благодаря новым решениям и технологии P2P (peer to peer) можно установить и настроить удаленное видеонаблюдение самостоятельно и очень легко.

Технология эта уже не нова, она, например, широко используется многими популярными мессенджерами. В основе технологии лежит алгоритм, согласно которому устройства общаются между собой напрямую децентрализованно без выделенных ip адресов. Пиринговый протокол отличается от привычной клиент-серверной архитектуры отсутствием выделенного сервера, так как каждый узел одновременно выполняет функции, как клиента, так и сервера.

Основная часть затрат в содержании сервисов облачных решений складывается из расходов на оплату трафика, а также содержание серверов кодировки и декодирования потоков видеосигнала. P2P технологии исключают подобные расходы для поставщика сервиса. Для соединения используются сигнальные сервера, которые всего лишь соединяют между собой камеры и удаленные устройства.

В итоге, Р2Р отличается более эффективным использованием полосы пропускания канала. В этом случае не требуется дополнительная облачная ретрансляция и обработка видеопотока (кодирование/декодирование) и пользователь не зависит от бутылочного горлышка возможностей облачного провайдера. Сервер в данном случае выступает только в качестве посредника, пробивающего NAT, связывающего вашу IP-камеру и устройство пользователя напрямую. Видеопоток передается напрямую от одного вашего устройства к другому вашему компьютеру или мобильному устройству.

Простота настроек сетевого оборудования - основное преимущество Р2Р технологии перед другими способами передачи сигнала. Возможность работы с серыми и динамическим IP позволяет установить видеонаблюдения в местах, где нет доступа к проводному интернету. Достаточно будет приобрести 3G/4G модем с поддержкой Wi-Fi и настроить программное обеспечение.

Зачем платить облаку, если можно наблюдать бесплатно?

P2P видеонаблюдение совмещает в себе систему удаленного доступа к компьютеру и программу получения изображений с видеокамер. Введя определенный код и пароль (аналогично тому, как это делается в приложениях для удаленного доступа к компьютеру), вы можете вести видеонаблюдение и управление системой.

Подробнее можно посмотреть на видео.

Для осуществления мониторинга системы видеонаблюдения вы можете использовать как стационарный ПК или ноутбук, так и мобильные устройства: планшеты, смартфоны. Качество изображения зависит только от ширины канала и стабильной работы связи.

Почему китайские производители камер создают программы с интерфейсом в стиле Чабудо?

У некоторых китайских производителей камер сейчас есть свои облачные и P2P сервисы. Однако, такие сервисы имеют очень специфический интерфейс, нестабильны и медленны, рассчитаны на крайне непритязательных китайских пользователей. Как правило, требуется установка ActiveX расширений и использование определенных версий браузеров и flash-плагинов, а сервера могут располагаться за великой китайской стеной.

Облачный сервис для камер Hikivision

Для китайцев характерен принцип Чабудо. В переводе с китайского в буквальном смысле это означает - да вроде же ничего, и так сойдет, совсем небольшая разница. Он может проявляться в том, что вам, например, скажут, что onvif протокол на ip камере не нужен, так как он уже устарел, или вам поставят розетку неправильного размера, унитаз установят на балконе и т.д..

Чабудо полная противоположность позыву сделать свое дело качественно и с полной отдачей. Дверь не подходит к раме? Чабудо, можно привыкнуть закрывать ее пинком. Алиэкспресс прислал ip камеру, которая глючит? Чабудо же, она хоть и криво, но работает, на что ты жалуешься? Интерфейс неудобный, не рассчитан на крупные шрифты и высокое разрешения монитора? не проблема, китайские пользователи вполне cмогут использовать, поменяв разрешение экрана.

Мнимая свобода выбора

Удивительно, но до сих пор обычный пользователь или небольшая компания практически не имеют возможности купить недорогой и качественный продукт с искусственным интеллектом. Если вы попробуете найти решение, которое можно установить на домашний компьютер для видеонаблюдения на основе искусственного интеллекта, вы обязательно столкнетесь с так называемыми лэндингами или дорвеями. Они представляют собой небольшие сайты, красиво описывающие преимущества какой-либо системы. Однако, на сайте в реальности отсутствует возможность протестировать рекламируемый продукт, и даже нет конкретной цены владения. Вам будет предложено заполнить стандартную форму со своими данными для дальнейшей связи. Вероятнее всего их система еще не готова, либо компания проводит предварительное исследование потребительского спроса для очередного стартапа.

Куда мы идём? Что будет дальше?

Сочетание искусственного интеллекта и Р2Р технологией дает возможность быстрого построения эффективной системы видеонаблюдения без привлечения дорогостоящих специалистов. Простота настройки и эксплуатации не требуется знаний протоколов связи и каких-либо особых требований. В этом случае не нужна дополнительная облачная ретрансляция и обработка видеопотока (кодирование/декодирование) и вы не зависите от бутылочного горлышка возможностей облачного провайдера. Сервер в данном случае выступает только в качестве посредника, связывающего вашу IP-камеру и устройство пользователя напрямую. Видеопоток передается напрямую от одного вашего устройства к другому вашему компьютеру или мобильному устройству.

Для осуществления детекции объекта применяются оптимизированные алгоритмы нейронных сетей на стороне клиента. Они способны работать на относительно дешевых чипах и процессорах микрокомпьютеров. Данные передаются посредством пиринговых соединений в обход облачных сервисов без излишнего кодирования и декодирования. Р2Р отличается более эффективным использованием полосы пропускания канала для передачи видео потока.

Новая бесплатная программа

Web Camera Pro - бесплатная программа, которая написана на Qt, С++ как мультиплатформенное решение. Вы можете использовать любую ip или usb камеру для полноценной системы видеонаблюдения с удаленным доступом из любой точки мира и с минимальными затратами.

Интерфейс Web Camera Pro:

Для детекции предусмотрен встроенный модуль распознавания лиц и номеров автомобилей. За счет умной детекции программа может отличать людей от домашних питомцев и отправлять вам видео в Telegram или в мобильное приложение, только в том случае, если в кадре появится человек.

Видеоинструкция:

https://www.youtube.com/watch?v=OvSQ1C5Lsd8

https://www.youtube.com/watch?v=CreFNidJqZI

https://www.youtube.com/watch?v=fRJdZATpixg

Скачать бесплатную версию Web Camera Pro можно здесь:

http://free-video-surveillance.com/home-security-camera

Подробнее..

Категории: Работа с видео , Искусственный интеллект , Машинное обучение , Обработка изображений , Облачные сервисы , Видеоконференцсвязь , Ip камера , P2p , Видеонаблюдение , Программное обеспечение , Видеоаналитика , Облачный сервис , Вебкамера , P2p видео , Удалённый просмотр

Предельно дешёвая видеоаналитика для детских футбольных школ

01.02.2021 10:05:55 |

Автор: admin

Привет, Хабр! Ещё до продажи Мосигры мы полезли в образование. Там оказалось чуть интереснее, чем могло показаться сначала, и на сегодня мы успели открыть 124 футбольных школы, киберспортивные секции, танцы, шахматы и всё такое. Карантин слегка подрезал нам работу до 70 активных точек. Тут надо сказать, что с учётом опыта розницы, в ДНК проекта сразу закладывали очень быструю масштабируемость, чтобы по возможности построить межгалактическую сеть дополнительного образования. А один из самых больших вопросов в такой ситуации как контролировать качество этого самого образования.

Вот футбольные тренировки. С одной стороны, конечно, у нас есть методология, которая частично на базе испанской, а потом нам её очень сильно доработали умные дядьки в РГУФК. По идее, она даёт некий стандарт, как и чему тренеры будут учить детей, но этого мало. Каждый тренер яркая индивидуальность. Это круто, но опасно: нужно как-то следить за прогрессом. Более того, это не только наша хотелка как организации, но и прямая хотелка родителей.

Родители в образовании обычно не чувствуют прогресса ребёнка. Есть, конечно, всякие турниры, отчётные концерты и годовые экзамены, но обратная связь длиной в полгода плохой план. Мы решили, что нужно автоматически генерировать отчёты с каждой тренировки. И вот тут мы подходим к тому, что обычно делается руками для профессиональной футбольной команды видеоаналитике действий игроков на поле. Садится человек и примерно за 50-100 долларов за час расшифровывает происходящее. Схема не масштабируемая: вот у нас в январе 2020 занималось 165 групп в среднем по 9 раз в месяц это будет от 75 до 150 тысяч долларов в месяц.

Но, поскольку мы живём в веке свёрточных нейросеток, можно сделать всё с дешманской камерой (но всё же fullHD 30 FPS) прямо на школьной тренировке. И, более того, мы это уже сделали до стадии беты.

Поскольку история началась в бедном на события 2018-м, сначала мы рассматривали носимые устройства. Получилось обсудить варианты с руководителем отдела носимых устройств Интела. Спецы сказали, что для масштабирования лучше подходит видеоаналитика, которая на момент начала 2019 смотрелась ещё немного подозрительно, но уже уверенно завоёвывала рынок. Я не представляю себе квартал в Омске или где-то на задворках Рио-де-Жанейро, где дети берут браслеты или жилеты по 100-200 долларов и играют в них. Зато очень хорошо представляю, как они крепят телефон в углу дворовой площадки, чтобы потом получить много интересной аналитики.

Примеры носимых жилеты Catapult PLAYR или браслеты за 20-25 долларов. Браслеты опираются на GPS, а мы тренируем в помещениях. Плюс устройства дают из-за этого самого GPS большую погрешность тестовые профессиональный PLAYR, полупрофессиональный браслет и любительский Zepp после пробежки в 5 километров показали разброс в примерно 20%. И это на улице. Ставить опорную станцию в помещении точно вообще никто не будет из-за сложности и цены. Забегая вперёд, скажу, что граница проходит очень чётко: поставить камеру на стойку 3,5 метра уже большая проблема для тренера, а вот на 2,5 м (мобильная фотостойка) уже вполне дело.

В общем, если хочется расти в сто или тысячу раз, то носимые устройства проигрывают видеопотоку. На этом этапе сразу же появился драфт технического задания, который мы показали трём разным подрядчикам в СНГ. Оказалось, в Омске есть очень хорошая компания ISS Art, но победила в нашем мини-тендере всё же Exposit из Гродно (РБ). Общая цель исследования была в том, чтобы понять, что можно вообще получить с одной камеры. Опять же, по результатам выяснилось, что камер всё же надо две, потому что иначе не получается нормально разбирать пересечения игроков и куча-малу на поле. Сейчас объясню. Теперь давайте перейду, собственно, к тому, как всё это работает.

Как всё это работает

Тренер берёт стойку и ставит на неё камеру. Сейчас высота между 2,5 и 3,5 метра.

Дальше важно откалибровать камеру по полю, чтобы фокус был направлен примерно в середину своей половины автофокусировка на близко играющих детях может привнести проблем с отъездом фокуса назад.

Затем камера снимает матч. Тренер выгружает видеопоток на сервер и делает две важные вещи: размечает игроков и поле. На поле просто ставит координаты для привязки:

А вот с игроками интереснее. На первом этапе алгоритма на вход поступает единичный кадр видео, который пропускается через офигенную YOLOv4 (вот пост про неё), обученную на огромном датасете. Ёла умеет распознавать разные объекты 80 разных классов и рисовать вокруг них прямоугольники. Нам нужны люди, и их фигуры Ёла умеет искать быстро при достаточно высокой точности. Сразу скажу, что мы не дообучали сеть на отдельный подвид людей футболистов. Почему чуть позже, но сделать это ещё предстоит. Проблем с точностью нет, если камера имеет как минимум FullHD-разрешение.

Дальше у нас есть прямоугольники, каждый из которых обладает координатами. Точнее, мы можем с помощью OpenCV получить преобразование поля к проекции сверху и привязать нижнюю центральную точку прямоугольника к относительным координатам на этом поле. Отношение вычисляет просто тренер показал границы поля в начале видеопотока и задал размеры поля. Дальше просто вычисляется относительный сдвиг, преобразовываемый в метры.

То есть мы можем находить людей на единичном кадре и определять их координаты. Дальше нужно трекать игроков, чтобы понимать, как они двигались. Нам нужно получить на выходе пакет с координатами каждого игрока, расписанный в виде лога по времени. Из этого уже можно вычислять вообще всё, начиная от скорости, с которой игрок бегает стометровку и заканчивая уровнем его утилизации (у хороших тренеров на тренировках и матчах дети почти не стоят на месте, и это важный показатель).

Вот так это примерно выглядит:

id,model,time,x,y

1,Player #1,1,720.6555699,116.3949013

1,Player #1,2,717.6837681,103.9404428

1,Player #1,3,699.1052595,58.58709532

1,Player #1,4,690.485308,33.3260856

1,Player #1,5,682.9340908,10.84806003

1,Player #1,6,674.9020647,-7.132002268

1,Player #1,7,676.235805,-6.452270864

1,Player #1,8,676.7274432,-6.460374907

1,Player #1,9,663.3592791,-29.10869212

1,Player #1,10,647.6801409,-52.19268234

1,Player #1,11,623.5022147,-90.13981343

1,Player #1,12,612.7593122,-109.9416432

1,Player #1,13,610.0347813,-108.9674604

1,Player #1,14,597.8952811,-121.5757764

Первая мысль была достаточно простой: мы же знаем, как движутся игроки, и можно пробовать считать их вектора движения. Мысль разбилась о пересечения игроков, поскольку они там иногда уверенно взаимодействуют корпусами, что не позволяет разобраться, кто и куда побежал после пересечения.

Тут надо сказать, что эта часть алгоритмов трекинга (до коллизии) тоже уже хорошо отработана человечеством. В камерах есть следящий автофокус, который умеет примерно ловить нужные объекты и вести их, даже если это велосипедист, который скрывается за столбами. В камеры эти алгоритмы, кстати, перекочевали из железных самонаводящихся ракет, то есть вычислительной мощности там не очень много. Мы же используем пакет DeepSORT (вот прекрасный пост про него). Если игрок бежит по полю один и не отнимает мяч, эта связка работает почти идеально. На практике в среднем раз в 3-4 секунды игрок теряется, потому что происходит пересечение на поле.

В первой задумке мы находили игрока по номеру на майке и вели дальше отсюда и до забора. Но это не сработало. То есть Google Tesseract OCR отлично ищет цифры, но дети не всегда спиной, плюс часто используют манишки.

После пересечения нужна реидентификация игрока. В идеальном мире для этого нужно, чтобы все игроки имели какой-то свой отличительный признак, который видно с любого ракурса. Специалисты заметили, что сзади у игрока номер и фамилия на спине, а спереди лицо на голове. Опять же, двадцать первый век, и быстро померить лицо по Бертильоновой системе вообще не проблема. Мы теперь называем это идентификация по лицу. На всякий напомню, что до появления фотографий было непонятно, как опознавать людей, поэтому им делали измерения вроде расстояния между зрачками и так далее, что подходило для идентификации, но не для аутентификации. С появлением первых серебряных фотопластин начали снимать, но преступники отчаянно сопротивлялись, корчили рожи и рыпались, что на выдержке около 30 минут вначале и 15 секунд уже на мокром процессе всё равно создавало море искажений. Тем не менее, технологии семнадцатого-восемнадцатого века отлично прижились в FaceID.

Но оказалось, что есть способ куда проще. Цветовая гистограмма игроков почти всегда разная. Как с 30-го ряда Лужников номер не видно, но можно опознать игрока по форме и цвету волос, комплекции и цвету кожи, так и у нас легко построить цветовой профиль и просто понять, кто и куда побежал после пересечения. Точнее, цветовая гистограмма позволяет создать и сравнить цветовой слепок игрока. А вот уже человекочитаемые комплекция, формы, поворот и прочие такие характеристики не играют роль в распознавании в алгоритме. Цвет волос, например, занимает слишком незначительную часть в итоговой гистограмме. Ещё цветовая гистограмма помогает группировать похожие визуально треки DeepSORTа на основании общей цветовой палитры. Это дало трекинг длиной 10-12 секунд непрерывно. И это для детской тренировки, а не для матча старшаков. В ситуации, когда на поле много агрессивно играющих людей, длительность трека куда ниже. Гистограмма служит поверхностным уровнем для DeepSORT'а, то есть обеспечивает контроль того, как отработала нейросеть. Ещё можно дополнять её последующей оценкой местом игрока на поле, поскольку те же защитники склонны играть ближе к своим воротам в среднем. Дальше планируем использовать обученную на размеченных данных Resnet для увеличения точности реидентификации.

Но 10-12 секунд это всё равно мало, потому что сейчас эти коллизии разбирает тренер вручную после тренировки. Именно поэтому нужно две камеры: если получать поток с этой и с той стороны столкновения, то можно очень точно сказать, что же произошло. Связано это с тем, что игроки непрозрачные, иначе бы DeepSORT легко справлялся бы. В общем, сейчас поддержка второй камеры у нас только на уровне она отвечает за другую часть поля, но дальше мы будем совмещать потоки, чтобы разбирать ситуации. Всё это планируется допилить к лету (но ничего конкретно не обещаю)

Вот нормальный трекинг, коллизия разобрана хорошо:

А вот проблема:

Собственно, если раньше тренер снимал каждого игрока для распознавания перед матчем, то теперь достаточно просто обозначить, где кто на стриме один раз, и ПО само разберётся.

Тут надо сказать пару слов про, собственно, про Exposit. Начали они с того, что принимали участие в стартапе Wizart, который можно увидеть в Петровиче или Wallpops в США. Снимаете комнату, нейросети распознают полы, стены и кошку, и можно дальше примерять разную отделку. Второй крупный проект у них был с фотографией бумажной ЭКГ и поиском критичных диагнозов. То есть они сначала приводили из плохой фотографии ЭКГ к норме, а потом искали паттерны заболеваний. Точность была выше 80%, то есть алгоритм вполне пригодный для клинического применения (и это на очень маленьком датасете). Но ближе всего им была история с торговым центром в Гродно, где они переделали счётчики посетителей на видеоаналитике. Для начала для теплокарт. Теплокарты, кстати, есть и в футболе, и часто содержат информацию о стиле игры. Вот пример.

Простите.

^{Тепловая карта Интера во
втором тайме матча с Удинезе}

Я ещё лет пять назад писал, что за видеоаналитикой в рознице будущее, и вот оно наступило в отдельно взятом случае. Парни повысили точность статистики, получили статистику по зонам (магазинам), научились хранить хэши лиц для определения того, постоянный посетитель или нет. Несколько оригинальных алгоритмов живо отдают началом романа Кори Доктороу с прогуливанием школы.

Так вот. Если к лету у нас будет более-менее точный трекинг детей на футбольном поле, то мы получим инструмент контроля тренировок и игр. Более-менее точный это если алгоритм будет терять ребёнка раз в 3 минуты, уже подходит для практического применения, но мы надеемся с кросс-камерного алгоритма получить качество выше. Ну и надо немного допилить интерфейсы, потому что тренеру должно быть удобно.

Сейчас уже выгружается вот такое:

Да, сам пакет поставляется в докер-образе, разворачивается в k8s-среде с S3 для видео и картинок нарезки. Видео сейчас обрабатывается со скорость x3, то есть 10 минут видео обсчитывается со скоростью 30 минут на одной мощной виртуалке (GeForce GTX 1050 для YOLOv4 и DeepSORT, Intel Core i5-8300H 2.30Ghz (8 cores), ADATA SX6000LNP SSD). Очевидно, это тоже точка роста.

Много всё ещё зависит от камеры: сначала мы хотели использовать панорамные объективы с полем зрения почти 180 градусов, но сейчас смотрим в сторону 60-градусных (84-градусных) из-за падения качества и искажений при восстановлении до обычной картинки (нужно для привязки координат и распознавания).

^{SJCAM SJ4000 покрывает поле в две камеры с низкой опоры.
Распознавание дальше 10 метров страдает, поэтому мы перешли сейчас
к камерам с более узким полем зрения.}

^{Вот это идеальное состояние, но при деградации до 2 камер по
диагонали можно получить почти такой же по качеству результат, а
ставить их куда проще.}

Следующие шаги отснять порядка сотни игр, вручную разметить их на предмет правильности разбора коллизий (один матч тренер обрабатывает около 3 часов), чтобы получить обучающий корпус. Там же будут изображения игроков именно поэтому мы не делали выборку для Ёлы на первом этапе.

К чему всё это приведёт?

Во-первых, родитель будет видеть физический прогресс ребёнка. Речь про ту самую историю бегает быстрее, например. Это прям победа-победа, потому что выросшее на RPG поколение будет наблюдать, как их дети качаются от занятия к занятию. И я представляю, какое горение разных мест такой подход сквозных метрик может вызвать в обычном образовательном процессе, да.
Во-вторых, есть статистика матча. Если вы когда-нибудь играли в лазертаг, то знаете, как в конце матча мотивирует получить статистику и процент попаданий. Дети смогут получать эту выгрузку в формате, позволяющем гордиться и хвастаться. Для этого ещё нужно трекать мяч. К счастью, он сильно отличается от всего на поле. К несчастью, он довольно вёрткий. Мяч мы пока не трогали, планируем летом.
В-третьих, можно выделять паттерны упражнений, что важно для проверки соответствия тренировки методологии (до таких детекторов ещё далеко, но это вполне реалистичный запрос). То есть можно проверять, делает ли тренер то, что нужно. В сочетании со статистикой, это открывает нам огромные возможности от АБ-тестов разных методологий тренировки до подбора оптимальных упражнений под конкретных людей и команды.
Где-то не сильно далеко от детекторов (но очень далеко от текущего состояния) маячит автовыгрузка 1-минутного клипа с лучшими моментами матча конкретного ребёнка для родителей.
Ну и статистика по прогрессу каждого игрока от матча к матчу в перспективе поменяет систему скаутинга про-игроков. Мы же ещё в прошлом году замахивались на быстрое развитие, и развились бы, если бы не пандемия.

В общем, просто знайте, что то, что ещё лет пять назад казалось космосом, сейчас можно сделать дёшево и сердито для тренера. Нам в Метеоре, в отличие от профессиональных команд, не нужна 100% точная статистика, достаточно условных 90%, потому что это уже позволяет даже при игре во дворе получать внятную обратную связь очень быстро. Глядя на это всё, могу сказать, что потихонечку сбывается моя давняя мечта залезть в систему образования со здравым смыслом. Правда, пока до этого ещё далеко, и не факт, что прям точно получится. Но много чего точно можно заменить на скрипт )

Подробнее..

Категории: Работа с видео , Образование , Управление проектами , Машинное обучение , Футбол , Видеоаналитика , Распознавание , Тренировки , Блог компании орбита

Motion Amplification или диагностика состояния промышленного оборудования и сооружений с помощью видеоаналитики

10.05.2021 12:10:00 |

Автор: admin

Motion Amplification (англ.) усиление движения.

Прямых доказательств, связывающих рождение технологии Motion Amplification с силовыми ведомствами США, у нас нет, но косвенных достаточно. Не случайно среди примеров использования есть немало кейсов из аэрокосмической и оборонной отраслей. Измерение уровня вибрации вертолета во время полета важная, но очень непростая задача. С Motion Amplification она решается довольно быстро и просто

Диагностика состояния вертолета во время полета - YouTube

Не менее важно знать и состояние инфраструктурных объектов и промышленных активов - оборудования, резервуаров, трубопроводов и т.д. Как можно оперативно оценить состояние моста, чтобы гарантировать безопасное перемещение техники по нему? Оказалось, что без инноваций решить эту задачу проблематично.

История

В конце 2014 года изобретатель Jeff Hay (основатель компании RDI Technologies) получил два патента под названием Бесконтактный мониторинг состояния мостов и гражданских сооружений и Аппарат и метод визуализации периодических движений механических компонентов. Пытливые умы могут почитать подробные материалы по ссылке, а для остальных кратко расскажем в чем заключается основная идея изобретения.

Если взять дорогую высокочастотную камеру и записать видео (например, тысячу кадров в секунду), то даже за 5 секунд мы получим внушительный массив данных. При движении объекта в объективе камеры происходят изменения пикселей изображений во время записи. Зная частоту съемки (fps), фокусное расстояние объектива и расстояние от камеры до объекта, можно выполнить точные измерения амплитуды движения. Фиксируя даже незначительное движение объекта в кадре, проприетарные алгоритмы при обработке видео усиливают это движение, делая его заметным каждому.

Воплощение идеи потребовало серьезных научных и практических изысканий, и первое решение под названием IRIS M появилось на рынке только в сентябре 2016 года. Функционал программного обеспечения версии 1.0 был прост запись видео и усиление движения. Только в декабре 2016 года (v.1.1) появилась возможность делать измерения. Несмотря на ограниченный функционал, экспертное сообщество и крупные корпоративные заказчики в США встретили новинку с большим энтузиазмом. Решение получило признание American Society of Civil Engineers в 2016г., а также было отмечено вторым призом престижного конкурса Vision Systems Design в 2017г.

Секрет успеха

Получить признание у консервативной и взыскательной аудитории, тем более в короткие сроки, рядовому изобретению явно не по силам. IRIS M объединил в себе плюсы динамично развивающихся технологий видеоаналитики и достоинства традиционной вибродиагностики. Возможность бесконтактным способом оценить состояние объекта, оперативно выполнить измерения и показать реальную картину окружающим оказалась востребованной заказчиками.

Давайте сравним процесс оценки состояния обычного насоса традиционным способом и с помощью IRIS M. Сбор данных традиционным способом осуществляется обычно с помощью виброанализатора по ограниченному набору точек контроля.

Затем специалист по вибродиагностке выгружает данные в специальное ПО для анализа. По результатам анализа специалист формирует отчет и представляет его коллегам, отвечающим за техническое обслуживание и ремонты.

При наличии проблем могут возникать серьезные дискуссии относительно степени их развития и влияния на работоспособность оборудования. Отсутствие живой картинки, иллюстрирующей неисправности, существенно усложняет коммуникации.

Motion Amplification (МА) сочетает в себе преимущества традиционной вибродиагностики, фазового анализа и использования специализированного программного обеспечения ODS (Operational Deflection Shape) для анимации:

можно собрать в тысячи раз больше данных, чем традиционным способом;
все данные собираются одновременно, а не последовательно
данные для анализа фаз собираются за одну съемку, а не отдельно (как при традиционном подходе)
каждая точка изображения может быть использована для измерения уровня вибрации
обработанное видео является наглядным отчетом, понятным людям даже без специализированных знаний и опыта.

На видео для наглядности показаны обычная и обработанная видеозаписи. Давайте посмотрим на видеоотчет о диагностике состояния насоса с помощью МА

Диагностика насоса - YouTube

Решение IRIS M не только позволило увидеть, то что кажется невидимым человеку, но и помогло определить первопричину проблем с оборудованием трещину в раме. Короткое и наглядное видео выглядит гораздо убедительнее традиционных бумажных отчетов.

Чувствительность системы 0,25 микрона с расстояния 1 метр при использовании объектива с фокусным расстоянием 50 мм. Пара человеческих глаз не выдерживает конкуренцию.

Варианты решений

Помимо первого решения IRIS M, которое закрывает основные потребности заказчиков, на рынок были выпущены решение IRIS MX в 2018г. и IRIS CM в 2019г.

IRIS M делает 120 кадров в секунду в HD-разрешении и до 1300 в сокращенном, что позволяет уверенно диагностировать проблемы в частотном диапазоне от 0 до 520 Гц.

IRIS MX расширяет возможности базового решения и позволяет работать и в более высокочастотной области до 11600 Гц (1400 fps при HD-разрешении и 29000 fps при сокращенном разрешении), что позволило успешно диагностировать турбомашины.

Решение IRIS CM (continuous monitoring) хорошо подходит для мониторинга состояния активов на удаленных объектах, на которых нет специалистов по вибродиагностике. Несколько видеокамер можно объединить в сеть, чтобы получать видеоданные с разных ракурсов. Пользователи могут инициировать запись видео и данных на основе внешних триггеров (например, данных с акселерометров) при достижения пороговых значений вибрации.

Даташиты решений можно найти по ссылке РЕШЕНИЯ VIMS (motionamplification.ru)

Интерфейсы

Пакет приложений решений RDI, установленных на ноутбуке, содержит 4 программы. По ссылкам можно увидеть их интерфейсы:

1. Motion Explorer хранение и менеджмент файлов

Управление контентом Motion Explorer - YouTube

2.RDI Acquisition запись видео

Программа для записи видео RDI Acquisition - YouTube

3. MotionAmplification аналитика и измерения

Аналитическое приложение MotionAmplification - YouTube

4. Motion Studio редактор видео

Редактор видео Motion Studio - YouTube

Как видите, для любого пользователя windows интерфейсы достаточно привычные и удобные. Даже не имея квалификацию вибродиагноста, можно стать сертифицированным оператором системы.

Возможности решения

Подробную информацию о функционале программного обеспечения и его развитии в 2016-2020 гг. можно найти по ссылке

Обзор программного обеспечения MotionAmplification v1.0-3.0 - YouTube

Диагностика насосов это типовая задача для традиционной диагностики. Но что делать, если перед нами большой резервуар, трубопровод или большая конструкция? Motion Amplification открывает специалистам по диагностике новые возможности по решению этих сложных задач.

Диагностика состояния огромных конструкций - YouTube

Периодически мы слышим новости о технологических авариях. Особенно печально, что в результате аварий страдают не только люди, но и окружающая природа. Целостная диагностика крупных активов и наглядная картинка по ее итогам позволяют намного быстрее принимать верные решения, чтобы не допустить возникновения аварий. Уже никто не осмелиться сказать, что с этим резервуаром все в порядке

Диагностика резервуаров - YouTube

Добывающие отрасли исторически развиты в России, используется много дорогого оборудования. Давайте посмотрим на состояние этой мачты буровой установки

(1) Диагностика мачты буровой установки - YouTube

А вот пример диагностики состояния фрагмента трубопровода на нефтеперерабатывающем заводе. А ведь будешь мимо проходить и даже не подумаешь, что есть столько проблем

Вибрация трубопровода на НПЗ - YouTube

Часто важно измерить показатели вибрации во время изменения нагрузочного или скоростного режима работы оборудования. Посмотрите на изменение состояния прокатного стана на металлургическом предприятии при прокатке металла.

Диагностика состояния прокатного стана - YouTube

Теперь понятны причины быстрой деградации подшипниковых узлов.

Бывает так, что сложное оборудование имеет несколько неисправностей на разных узлах. Чтобы разобраться с этим пригодится функция частотной фильтрации видео.

Диагностика виброгрохота и насоса. Частотная фильтрация видео. - YouTube

Функциональные возможности решения быстро расширялись последние годы. Так в версии 3.0 программного обеспечения в 2020 году появились:

усиление движения в режиме реального времени (Live MA), которое отлично подходит для быстрого сканирования состояния активов
векторы движения
тепловая карта движения (по частотам)
измерения движущихся объектов

Важно, что производитель в самом начале разработки успешно решил вопрос стабилизации видео, записанного в условиях повышенной вибрации. Это существенно расширило возможности практического применения решения на реальных производственных площадках.

Заключение

Если все так хорошо, то почему эти решения не используются на каждом крупном российском предприятии? Причин тут видится несколько:

запрет в США на продажу решений двойного назначения в Россию, под который до 2021г. попадали и решения Motion Amplification
даже успешным на западных рынках решениям необходимо время, чтобы зарекомендовать себя на новом рынке
длительные циклы принятия решений и выделения бюджетов в корпорациях
в России по-прежнему доминирует планово-предупредительное обслуживание оборудования, диагностику на производствах во многих отраслях недооценивают и недофинансируют.

В последние годы много сказано и написано про цифровизацию на промышленных предприятиях. В романтическом порыве некоторые авторы провозглашают скорое наступление эры полностью автоматизированных и даже безлюдных производств. При этом часто остается без ответа один важный вопрос а кто будет нести ответственность за принятие решений и последствия.

Мне представляется, что спрос на квалифицированных экспертов в узких предметных областях, таких как диагностика, будет по-прежнему высоким в ближайшие годы. Экспертно-ориентированные решения Motion Amplification существенно расширяют возможности по диагностике промышленных активов. Спектр применения и количество отраслей, использующих решения семейства IRIS, постоянно растут. С помощью этих решений процессы диагностики, технического обслуживания и ремонты на предприятиях становятся более эффективными и прозрачными.

Подробнее..

Категории: Работа с видео , Алгоритмы , Обработка изображений , Видеотехника , Промышленность , Машинное зрение , Видеоаналитика , Металлургия , Диагностика оборудования , Диагностика электродвигателей , Диагностика генераторов , Промышленное оборудование , Промышленное зрение , Промышленная безопасность

Наша огромная гордость мирные советские роботы-комбайны убрали первый урожай в южных регионах

11.08.2020 14:11:07 |

Автор: admin

А ведь в прошлом году это делали senior-разработчики.

Возможно, вы помните, что мы говорили про то, как можно сильно улучшить работу обычного сельскохозяйственного комбайна, если использовать нейросетки для распознавания культур и препятствий и робота для автопилотирования. Всё это (кроме процессоров Nvidia и ещё части железа) наша разработка. А радость в том, что в некоторых южных регионах страны закончилась уборочная страда, и наши комбайны показали себя лучше, чем ожидалось. Слава роботам!

В этом году мы поставили несколько сотен блоков из мощного графического ядра (для нейросетей), камер, гидравлических насосов или CAN-модулей для подруливания. Если в прошлом году агропилоты были в опытной эксплуатации, то сейчас речь идёт уже про серийные модели. И они справились.

Более того, они справились лучше, чем мы ждали. Кроме того, в релиз вошли далеко не все фичи. В релизе осталось, по сути, ядро, но одно только это позволило получить очень заметный экономический эффект.

Конечно, обошлось не без сюрпризов. Но давайте расскажу более конкретно, с числами и примерами.

Можно разглядеть камеру 2 Мп сверху. NVIDIA TX2 в специальном кожухе и с огромным радиатором монтируется внизу в подкабинном пространстве. Экран в кабине.

О чём идёт речь

Сельскохозяйственный комбайн по сложности управления похож на церковный орган. Когда в кабине комбайнёр и помощник, то один рулит (держит кромку), а второй управляет мотовилом, ветрами, барабанами и вообще следит за сбором. Третий в это время может делать отгрузку на ходу в грузовик, едущий рядом. Четвёртый следит за препятствиями. В эпоху СССР в кабине было двое, потом остался один. В итоге он или рулит, или собирает зерно нормально. Стоя на месте, собирать зерно нормально не выходит, поэтому он рулит. Про то, как там всё хитро закручено и почему комбайны регулярно перемалывают людей, врезаются в тракторы и бегущие через поле столбы ЛЭП, наш первый пост.

Вторая особенность каждая из ролей, даже если выполнять её не отрываясь, очень монотонная и требует постоянной бдительности. Это как смотреть на трассу 10 часов в день при условии, что нужно поймать буквально два момента за сутки, когда нужна быстрая реакция.

Третья особенность комбайнёры часто предпочитают убирать быстрее с меньшим КПД (поскольку оплата идёт за отгруженные тонны), а не получать максимум зерна с гектара.

В серию вошли фичи удержания кромки (комбайн сам следит за тем, как едет, и сам рулит) и предотвращения столкновений (комбайн внимательно смотрит по сторонам и прогнозирует движение всего, что видит, от людей до тракторов). Тут наработки беспилотного трамвая после езды вокруг ВДНХ очень пригодились. В поле куда спокойнее с препятствиями. Про видеоаналитику есть вот здесь.

Отдельное подразделение занимается обучением нейросетей (фотографированием ситуаций и разметкой данных), чтобы определять, где какая культура, как выглядит полёгшая пшеница и так далее. Поскольку обучающих выборок нет, мы ездим в поля и снимаем сами. Это важно, потому что одна и та же культура от сорта к сорту и от климата к климату отличается визуально.

Ещё одно подразделение занимается разработкой железа. У нас есть радар собственной разработки для тепловозов и трамваев, но на комбайне только камеры, потому что оснащать их нужно как можно дешевле. Сложная история это разбор протоколов управления (иногда утерянных вместе с производителем, и тогда нужно реверсить) или же установка гидравлики для подмешивания нашего сигнала в руление. Вычислительные модули на каждом комбайне автономные.

Что случилось в этом году

В поля вышли не инженеры и специально обученные испытатели, а обычные работяги, для которых всё это и разрабатывалось. Они убирали реальный урожай. И да, они проверяли нашу систему на прочность, как в том анекдоте про бензопилу.

Больше всего мы боялись, что именно конечные пользователи (комбайнёры) станут мешать внедрению, потому что почувствуют угрозу своей работе. Но всё обошлось успешно. Они понимают ограничения автопилота, понимают, что нужны в кабине, понимают, как он их разгружает и что именно они могут делать лучше. У них увеличивается выработка, а значит, увеличивается заработок за уборочную. Причём значительно: примерно на 1015 %. Они хотят работать с нашим роботом в паре. В одном хозяйстве они бились за машины с ним.

Человек полностью разгружен. Он включает систему, отпускает руль, в лучшем случае контролирует работу машины, в худшем сидит в телефоне. Недели уборочной для комбайнёров это работа-сон-работа-сон-работа. Сил ни на что не бывает в принципе, потому что за месяц нужно заработать на полгода. Наши пилоты стали рассказывать, что у них остаются силы для домашней работы. Машины стали лучше смотреть, потому что после работы хотелось не упасть и уснуть, а можно было заняться техобслуживанием. Те, кто осознанно выбирал больший рабочий день, говорили, что можно легко работать на два часа больше. Они и работали бы больше, но совсем ночью нельзя: роса.

Вот пара картинок, которые соседние механизаторы увидели из своих машин и потом полезли смотреть, как всё устроено:

Сидит там, чай пьёт, гад! *** [зачем] теперь механизатор нужен?. Потом смотрели, что робот всё же может далеко не всё, и понимали, что это просто как новый комбайн с парой особенностей. И успокаивались.

Есть числа:

Увеличилась производительность смены по времени комбайнёр не устаёт. Это может показаться численным преимуществом в 1015 %, но там всё гораздо интереснее. Дело в том, что это даёт три дополнительных дня на уборку. Это значит, что если будет плохая погода (проливные дожди, в которые зерно прорастает или осыпается), то урожай не пропадёт, а будет убран целиком с куда большей вероятностью.
Комбайнёр разгружен. Он может смотреть за функционалом комбайна, высотой подъёма жатки и забивкой жатки всё время. Это работа на чувствительность и навык, и раньше она не могла быть качественной из-за постоянного поворота головы в другую сторону, где кромка. Теперь мастера могут вытаскивать из машины 100 % возможной производительности. Это уменьшает себестоимость зерна.
Внимания начало вполне хватать для выгрузки на ходу. Это важно, потому что не нужно ездить куда-то на край поля опустошать бункер в грузовик. Грузовик может ехать за комбайном, а комбайнёр будет сгружать в него урожай меньше простоев, меньше пробег, больше производительность смены.
Поскольку комбайн контролирует режим, наш робот защищает от ошибок. Владельцы сельхозхозяйств говорят, что теперь можно смело сажать менее опытных комбайнёров. Обычно нужно три сезона, чтобы человек набил руку (это примерно 1,6 единицы убитой техники).
Меньше зазоры: раньше промежутки контролировал человек, и они брались с допуском на усталость (к концу смены получались очень большие непрокошенные участки). А роботу плевать, он держит норматив в любое время смены.

Получается механизаторы и руководители в один голос говорят, что работа стала проще. У кого не было перегрузчиков зерна, задумались, чтобы их докупить. В разных хозяйствах разные дневные нормы, обычно это 2025 гектаров. Мы видели, что спокойно ставят 30, и люди на этом не выматываются. Для кого-то это оказалось возможностью сократить парк комбайнов на следующий год: не нужно будет закупать две-три машины. Знаю, звучит очень странно, но два хозяйства (примерно из сотни) сказали, что сделают именно так.

Уборочная началась с того, что Герман Греф попробовал в Песчанокопской аграрной группе (на крупной серийной партии) и сказал, что освоил за три минуты. Мы гордимся этим видео. Если президент банка справился, то работяги в полях справятся точно.

Ну и если вдруг у кого-то освободится в регионе несколько сотен чиновников, то можно быстро переквалифицировать их в операторов техники. Вы задумайтесь: Русагро подписала контракт на 240 машин. Многие хозяйства дозаказали на следующий год комплекты на весь парк.

Не без сюрпризов

К слову о том, как мужики быстро освоили технику. Хозяйство взяло четыре комплекта протестировать, мы приехали, установили их на машины, сделали пусконаладку. Не до конца откалибровали одометрию, потому что для этого нужен дневной свет. Решили сделать с утра. Утром приходят установщики, а мужики на этих машинах на дефолтных настройках уже вышли в поле, всё инициализировали и снимают из кабины, что творит робот. Возможно даже, это был стрим в Инстаграме для остальных на поле. С одной стороны, конечно, хотелось сделать калибровку, а с другой приятно, что мужики всё сами запустили и всё поднялось на настройках по умолчанию.

После первых дней во многих хозяйствах в нашего робота то ли начинали верить, как во всемогущий интеллект вроде Терминатора, то ли просто тестировали на прочность. Так или иначе, в одном хозяйстве решили попробовать убирать ночью. Иногда люди думают, что робот должен думать, как человек. Были несколько разочарованы тем, что ночью он справляется хуже. Дело в том, что в боевом релизе нет ночной уборки: это требует дообучения и немного других алгоритмов обработки данных. Пока мы гарантируем нормальную ночную работу только при достаточно широком освещении (оно такое на иностранных комбайнах трёх-четырёхлетней давности почти везде), а здесь наши испытатели вышли в поле на отечественном комбайне 16-летней давности с узким мерцающим конусом света впереди. Поскольку ночную уборку большая часть хозяйств не практикует, мы отложили эту фичу на следующий год.

Второе место, где были завышенные ожидания, это сложные условия по пыли. Например, комбайны, когда идут друг за другом, поднимают облака пыли. Ветер иногда такой, что порывом тучу пыли сносит на комбайн, который сзади. Поскольку ориентируется он не по дорогущему радару, а по обычной камере, ему не видно, что впереди. Видимость в облаках пыли бывает шесть метров. В такие моменты наша система перестаёт видеть: она сигнализирует механизатору и отпускает управление. Нам даже говорили, что лидар отказал. Но лидара на комбайне нет. Механизаторы ругались: Ну как он не видит?. В итоге именно это почему-то их успокоило насчёт работы. Человек-то помнит и понимает: до комбайна метров 10, мы едем с такой-то скоростью, порыв пронесёт через минуту, ничего не случится, если дольше надо вставать. И Пётр Михалыч впереди точно не встанет. Наверное. Система жизненным опытом не обладает и с Михалычем годами не бухала, поэтому она в таком случае останавливает машину и отпускает управление. Так в очередной раз человеческий интеллект побеждает бота.

В релиз не вошли автоповороты. Это та фича, которая невероятно поражала всех комбайнёров, но она же оказалась самой сложной по тестированию: при огромной ширине жатки нужно строить очень много гипотез про то, что выпадает из поля зрения. На каждой машине свои особенности. Плюс это же требует сложной системы управления с тем, чтобы задавать маршрут заранее или как-то его программировать. Мы за естественное управление: щёлкнул рубильником робота, ведёшь машину, выходишь на поле, начинаешь убирать. Робот говорит: Мужик, дай я порулю, щёлкаете вторым рубильником и он рулит. Нужно повернуть просто делаете это, ко-пилот отпускает управление, потом ищет новую кромку. Когда находит снова просит вернуть управление. Всё интуитивно понятно и просто. В итоге поворачивать между проходами мы доверили людям. С автоматизацией ждём конца тестов на сложном рельефе. Обычно проходка длиной до пяти километров, то есть сами повороты занимают меньше 1 % времени работы комбайнёра.

Камера на комбайне одна, потому что приоритет цена. Вторая не очень увеличивает цену, но очень увеличивает нагрузку на вычисления, а вычислительный блок на 4 Tflops большая часть стоимости железа. Камера смотрит влево на жатку. Есть несколько экзотических схем (редко используемых в РФ), когда всё интересное происходит не только слева, но и справа. Вообще у нас две основные системы уборки: загонкой и челноком. Работа загонкой: отрезается кусок поля, и вокруг него всё обкашивают по сужающемуся прямоугольнику или кругу, стремясь к центру. Соответственно мы это делаем против часовой стрелки. Челноком: с одной стороны заезжают и ездят туда-сюда как на принтере. Образуются пустые прогоны между проходками, но зато можно взять участок любой формы. Так вот, для полей сложной формы есть более оптимизированные схемы, которые требуют смотреть в обе стороны. Возможно, в одном из следующих релизов предложим переключение между камерами.

Канадская схема.

Потом монтаж. В середине лета в самый разгар карантина наши комбайны впервые с прошлого года вдруг все увидели и заметили. Точнее, наверное, заметили ещё в том году, но заказывать комплекты стали прямо перед уборочной (это связано, возможно, с кредитованием хозяйств с короткими сроками). В итоге мы ездили по стране в условиях карантина, что наложило неповторимый отпечаток на работу специалистов по нейросетям. Установщики где-то сидели 14 дней, где-то ходили чуть ли не в скафандрах, но получилось справиться с 50 хозяйствами (и предстоит ещё столько же).

Сталкивались с техсложностями: на некоторых зарубежных моделях (и одной российской) компоновка отсеков крайне плотная. Разница как между заглянуть под капот Жигулей и заглянуть в Макбук. Из полей присылали размеры, мы срочно заказывали новые кронштейны или новые системы крепления под конкретную модель.

Из-за пандемии сменили поставщика оборудования. Гидроблоки были от немецкого производителя. Они нам в марте сказали: Приходите через четыре месяца. Это была паника, потому что от этого зависела вся история. Нашли российского производителя, они всё поняли, оказались лёгкими на подъём и сделали нам гидравлику. Оперативно, но тоже не без сюрпризов да и не без нервов при постановке задачи, конечно. Но до этого года мы не верили, что это вообще возможно в России.

Что дальше

Роботы убирали злаковые: пшеницу, ячмень, овёс, рожь в южных регионах. Ещё не было серийной эксплуатации на кукурузе и подсолнечнике (это позже по агрономическим срокам). Нам интересны ещё рапс и соя. Рапс это Центральная Россия, пока там ждём уборки. Соя Сибирь, Алтай, юг Сибири, Хабаровский край, это уже совсем скоро.

Сарафанное радио не стоит на месте. За последние месяца полтора пришло около десятка очень крупных холдингов из первых 50 со своими кастомными запросами. Какие-то уже приобретают комплекты для тестирования на эту уборочную. Кто-то делает для нас собственное ТЗ и особые хотелки мы будем думать в межсезонье. Задачи стоят подвязать мониторинг урожайности (комбайн же считает зерно в телеметрии и видит координаты, то есть можно снимать данные по урожайности участков почв до метра), мониторинг работы комбайна (отправка телеметрии в центр). Какие-то хозяйства приходят только к цифре, многим для севооборота важно, чтобы были отмечены критические точки на полях. Важно понимать годовую среднюю урожайность и оценивать каждый год живые деньги. Аналитика нужна для того, чтобы примерно понимать загрузку тракторов и технику: докупить или убавить. Там много нюансов вплоть до заказа ГСМ перед сезоном: это всё неприятные предоплаты. Как сказал крупный руководитель крупного хозяйства: Мы работаем с рынком. Рынок мы не контролируем. Чтобы больше зарабатывать, можем только уменьшать себестоимость. Если не уменьшать нас съедят тупо.

Срок жизни комбайна пишут 1012 лет (но мы часто видим 2005 год, ставили в этом году даже на 2001-й). Мы их все дооснащаем. Потому что, пока лошадка живая, на ней ездят. Когда починка становится дороже стоимости нового, берут новый. Кончается, кстати, тем, что старый комбайн становится донором запчастей для других таких же. Да, это просаженная печень и сломанные ноги, но год-два они работают. Потом всё это сгнивает.

И ещё замечательное отзывы о том, что с этой экономикой комбайн окупается быстрее. Стоит машина, например, 25 миллионов рублей (зависит от производителя и модели). В хозяйстве считают: пять лет на отечественные машины, иномарка окупается за восемь лет. Теперь минус год примерно.

Сейчас мы закончим уборку в этом году на серийных моделях и ещё нескольких экспериментальных, сведём экономику и будем публиковаться в международных экономических обзорах. Наши модули будут ставиться как в таком виде отдельной коробки на комбайны, так и войдут в виде интегрированных устройств в новые комбайны, если всё кончится хорошо. У нас получилось. Два с половиной года жизни команды, кажется, немного меняют мир.

Подробнее..

Категории: Управление проектами , Оптимизация , Автоматизация , Обработка изображений , Робототехника , Будущее , Комбайн , Роботы , Блог компании cognitive pilot , Автопилот , Автономная уборка зерновых , Беспилотные технологии , Беспилотная сельхозтехника , Сельское хозяйство , Уборка урожая , Видеоаналитика , Ко-пилот , Cognitive agro pilot

Как мы первыми в мире роботизируем кормоуборочные комбайны

18.08.2020 14:15:47 |

Автор: admin

Недавно мой коллега рассказал как мы роботизируем зерноуборочные комбайны и чему научились за этот сезон.

Начинается уборка кормовых культур и мы активно осваиваем кормоуборочную технику.
Кормоуборочный комбайн технически более сложная и мощная машина. В связке с ним идут сразу несколько транспортных средств для сбора урожая (трактора с прицепом, грузовики, силосовозы). К работе на такой технике допускаются только опытные механизаторы, у которых за спиной несколько лет работы.

Работа на комбайне во время уборки кормовой кукурузы похожа на езду в машине в густом тумане, только вместо тумана на протяжении всего пути высокая зеленая стена из растений, из которой может выскочить кабан, столб или человек. Перемолов человека (история есть в моей прошлой статье), комбайнеры седеют и больше не могут работать. Кроме этого, в этом зеленом тумане надо суметь не врезаться в рядом едущий силосовоз, следить за точностью загрузки силоса с хоботом длиной до 7 метров, из которого вылетает по 50-60 кг силоса в секунду, и равномерно заполнять фургон, чтобы он не гонял полупустым туда сюда.

Фактически один комбайнёр работает за троих, следит за процессом уборки кукурузы (одно рабочее место), ведёт технику (второе рабочее место), загружает силосовоз (третье рабочее место). В итоге что-то страдает. Если плохо вести, можно сломать дорогую технику (минимальная цена кормоуборочного комбайна 16 млн рублей, есть модели и по 50 миллионов), поэтому обычно ухудшается качество уборки и загрузки.

Большую часть работы мы автоматизируем, сейчас расскажу какие сложности мы преодолеваем и что делаем.

Отсутствует видимость

Высота спелой кукурузы в среднем 2-2,5 метра, высота комбайна 2,5 метра, механизатор находится чаще всего на уровне чуть выше стоящего на земле человека и видит перед собой только растения, дальше своего носа он по сути уже не видит и так на протяжении всего рабочего дня, а это 12 часовая смена, немногие могут выдержать такое напряжение на глаза и держать темп сборки, а еще на пути могут выскочить кабанчики или столб!

Существуют комбайны, например KRONE, с телескопической кабиной, которая поднимается на высоту до 3 метров, или Acros RSM-142 высотой 4 метра, но это скорее исключение из правил.

Поэтому работать за таким комбайном могут только опытные комбайнеры, которые проработали уже 3-4 сезона.

Потери во время работы

В отличии от зерноуборочных, кормоуборочный комбайн не может хранить урожай в бункере, а сразу выдает его через выгрузной хобот в едущее рядом транспортное средство. Как я говорил, скорость выброса силоса может достигать 50 кг в секунду, в зависимости от модели комбайна, длина хобота при этом 5-7 метров. Немного отъехал от машины вбок или притормозил и потерял полтонны силоса за 10 секунд. В среднем до 7-10% урожая остается на поле. Потерянный силос никто уже не собирает, потери на ГСМ будут гораздо больше. На видео видно как высыпается силос, если немного сдвинуть хобот.

Равномерное заполнение фургона

В бригаде с одним комбайном до 7 машин, заполняется одна машина примерно за 20 минут. За день они могут совершить свыше 10 рейсов до силосной ямы. Все зависит от длины плеча доставки. Если поле рядом с ямой, то плечо короткое и можно совершить больше рейсов для выгрузки, если дальше, рейсов становится меньше и здесь становится очень важным правильное заполнение фургона (силосовоза), чтобы не возил воздух. Привез половину прицепа, считай потерял на топливе, комбайнер должен максимально правильно направлять хобот, чтобы равномерно наполнить силосовоз.

Что мы можем автоматизировать в кормоуборочных комбайнах?

Как уже говорилось выше, для работы на таких комбайнах допускаются только опытные комбайнеры. Почти все эффективные механизаторы обучались при СССР, после чего технологические секреты этой цивилизации были утеряны. Конкретно ослабло обучение, и приходящие молодые, естественно, работают хуже. Это нормально почти для всех рабочих профессий, но конкретно здесь наш робот как нельзя больше востребован в первую очередь из-за этого эффекта.

Второе, наш робот видит кромку, препятствия на поле, видит другую технику. Работа комбайнера максимально упрощается, теперь он может следить за техническим состоянием комбайна, за калибровкой фракции кукурузы, которая наиболее подходит для данного типа скота.

Также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю.

Нормой считается потеря на уборке 7% урожая, если их свести к нулю, то поскольку силос делается в основном не для продажи, а для корма своего скота, мы можем уменьшить засев под кукурузу на 7% и отдать его под пшеницу, что более выгодно. Скажем если выделено 1000 га на кукурузу, из них 70 га отдать под пшеницу, то даже по минимальным оценкам при урожае в 30 центнер с 1 Га мы соберем 210 тонн, а это примерно 1,5 млн рублей прямой прибыли. При этом за счет более полной сборки уменьшается расход ГСМ за счет сокращения числа поездок от силосной ямы до поля.

Как мы обучаем нейронные сети для анализа сцен уборки кукурузы

Уборка кукурузы ведется с помощью специальных приставок для пропашных культур. Для этого случая предусмотрен режим работы, при котором комбайн пытается удержать жатку посередине междурядья. Получив карту сегментации кадра (сцены) и зная положение жатки, можно найти так называемую vanishing point и рассчитать отклонение зуба жатки от необходимого положения.

В отличие от пшеницы, где мы следим за краем убранного поля и ведем комбайн по кромке, здесь задача нейронной сети увидеть междурядье между растениями. Нейронная сеть прекрасно видит ряды между кукурузой, в отличии от человека, камера находится над культурой, и при этом она не устает.

Изображения приходят к нам в формате видео потока, либо отдельными изображениями. Данные обрабатываются и хранятся в Сognitive Agro Data Factory. Кроме сырых данных с камеры, здесь также присутствуют и целевые размеченные кадры, которые при необходимости можно добавить в обучающий датасет.

Для более точного подбора возможных сцен уборки урожая необходимо правильно скомпоновать обучающий датасет. Кроме реальных изображений, полученных с камеры в процессе уборки культур, используется подход генерации синтетических изображений с помощью процедуры аугментации на основе естественных изображений.

На вход сеть принимает 3-хканальное RGB изображение. Далее в процессе обучения нейронной сети к входному тензору применяются яркостные/цветовые искажения в HSV пространстве, локальные искажения каналов в HSL пространстве процедура добавления искусственных теней, геометрические искажения и добавление шумов. Подбор параметров аугментации нетривиальная процедура, требующая детального анализа сцен, полученных в реальных условиях.

Обученная сеть способна выдавать сегментационные карты, определяющие междурядное пространство.

Уборка сенажа

Помимо силоса, кормоуборочные комбайны используют также для сбора сенажа, с помощью приставки подборщика. Процесс сбора аналогичный кукурузе, разница только в том, что комбайн идет по валку. Валок может не отличаться по цвету от общей массы и комбайнер часто может ехать в холостую.

Например, на видео выше видно, что валок практически не отличим от травы и насколько точно надо комбайнеру вести машину по валку и при этом постоянно наблюдать за процессом загрузки сенажа в грузовик. Работа очень напряженная, к концу 12 часовой смены, комбайнеры просто валятся с ног, с полной сменой справляются только при опыте от 3-4 сезонов работ.

Если комбайнер неопытный, то работа в холостую это потери на ГСМ. Кормоуборочный комбайн в отличие от зерноуборочного только 10% ГСМ тратит на движение самого комбайна, остальные 90% уходят на прорезку, измельчение, протяжку, швыряние силоса или сенажа. Поэтому очень важно работать с полной загрузкой комбайна.

Нейронная сеть отлично справляется с валком, пример того как сеть видит валки.

Здесь наша система может помочь комбайнеру в ведении комбайна по валку, также наш робот может полно и равномерно, а главное точно заполнить силосовоз, это уменьшает потери на ГСМ и сводит потери на уборке к нулю, комбайнер становится уже оператором комбайна, а всю работу берет на себя автопилот.

Сейчас осваиваем кормовую кукурузу, подсолнечник, сенаж. По окончании сезона, если интересно, расскажем как наши роботы справились с кормобурочными комбайнами.

P.S. Если вашего агронома нет на Хабре, а ему это интересно, то можно тут найти контакты: promo.cognitivepilot.com и предметно обсудить, для какого комбайна какой конкретно набор техники нужен, сколько примерно стоит, и как это можно быстро посмотреть-испытать.

Подробнее..

Умный пляж или как обеспечить комплексную безопасность людей на водоеме?

07.10.2020 12:08:05 |

Автор: admin

Ежегодно в мире от утопления погибает порядка 320 тысяч человек. Это третья по значимости причина смерти, на долю которой приходится около 7% смертей связанных с травмами. В прибрежных городах по всему миру проживает около 60% населения Земли. Мужчины и дети этой части населения подвергаются наибольшему риску утопления из-за расширенного доступа к воде. В таких развитых странах как Китай и США утопление является, соответственно, первой и второй по значимости причиной смерти от травм среди детей в возрасте 1-14 лет.

Россия входит в число мировых лидеров по объему водных ресурсов: 2,7 млн. озер, 2,8 млн. рек общей длиной 12,4 млн. км и 30 тысяч водохранилищ. Близость населенных пунктов к водоемам и расширенный доступ людей к воде является существенным фактором риска смерти от утопления для значительной части населения нашей страны. Следует отметить, что ежегодно количество смертей от утопления в России по данным Росстата снижается. Так, за период с 2011 по 2019 год количество смертей снизилось более чем вдвое (с 8272 до 3935 фактов утопления соответственно). Для предотвращения утопления в основном используются такие организационные мероприятия как установление специальных знаков и ограждений вокруг мест для плавания, обучение детей плаванию, проведение тренингов по спасению жизни, информирование о глубине водоема и толщине льда, своевременное предупреждение о шторме или наводнении (голосовое, и смс-оповещение).

Достаточно ли принимаемых мер по обеспечению безопасности на водоемах

Проведем оценку потенциала для улучшения уровня безопасности на водных объектах, путем сравнительного анализа действенности мер по обеспечению безопасности на автомобильных дорогах (10,8 тысяч постов фото-видеофиксации, стационарные посты, а также мобильные экипажи) и безопасности акваторий (12 тысяч постов и спасательных станций). Соотношение количества погибших в 2019 году от утопления (около 4 тысяч человек) к погибшим в ДТП (13,3 тысячи человек) составляет 1:3; тогда как соотношение зарегистрированных маломерных судов (1,5 млн.) к объектам автотранспорта (53 млн.) составляет 1:35. При этом, соотношение количество зафиксированных нарушений правил пользования водными объектами (34 тыс.) к нарушениям ПДД (106 млн.) составляет 1:3000, что характеризует незначительность профилактических мер по снижение смертности на водных объектах. Спасательные посты и станции не оборудованы специальными техническими комплексами мониторинга, позволяющими фиксировать нарушения правил эксплуатации водных объектов (аналогично комплексам фото-видеофиксации). Мониторинг безопасности на водных объектах полностью возложен на спасателей (исключительно человеческий фактор).

Следует признать, что общая тенденция по оснащению территорий общего пользования средствами мониторинга является оправданной. Так, использование систем видеонаблюдения в парках и скверах позволяет снизить количество совершаемых правонарушений и повысить их раскрываемость, а развитие систем фото-видеофиксации, направленных на профилактику нарушений ПДД, позволило снизить число смертей в ДТП в России за пять лет на 26%. Цифры статистики показывают, что количество погибших на водных объектах в удельном сравнении на порядок выше, чем на автомобильных дорогах. Это дает основания полагать, что при повсеместном внедрении и оборудовании акваторий специальными техническими средствами мониторинга и развитии у населения культуры ответственного отношения к правилам эксплуатации водных объектов, имеется значительный потенциал по уменьшению числа утоплений. Эти предложения уже поддержали Профессиональный Союз моряков и Совет Федерации.

По оценкам экспертов основными причинами происшествий на водоемах, приводящих к утоплению сегодня являются:

Купание в состоянии наркотического и алкогольного опьянения;
Нарушение правил эксплуатации судов;
Чрезмерная самонадеянность;
Не информированность людей о потенциальной опасности;
Купание в необорудованных местах;
Оставление детей без присмотра.

По Указу президента РФ до 2030 года необходимо снизить количество происшествий на водных объектах по сравнению с показателем 2019 года не менее чем на 20 %, а число погибших на водных объектах, должно быть снижено не менее чем на 18%. Для достижения поставленных задач потребуется значительное техническое оснащение спасателей и специальных служб.

Исходя из доступности и функциональности, существующие решения по обеспечению безопасности на водных объектах, как правило, базируются на использовании видеоаналитики.

Классификация алгоритмов видеоаналитики

По сложности реализации алгоритмов видеоаналитики, условно их можно разделить на три класса задач мониторинга:

1 Стандартные средства видеоаналитики, которые теоретически могут быть реализованы большинством умных камер популярных вендоров (Hikvision, Dahua, Axis и т.д.):
1.1 Купание в запрещенных местах и заплыв человека за буйки;
Данная видеоаналитика, в теории, является частным случаем от события пересечение человеком запрещенной зоны, но поскольку системы, основанные на общих моделях обучения детекции людей не предназначены для обнаружения человека по части изображения, то фактическая применимость общих алгоритмов остается под вопросом.
1.2 Опасное приближение судна к зоне купания;
1.3 Нахождение людей на перилах мостов, набережных, причалов.

Для разбора ограничений применимости разберем последние, на момент выхода статьи интеллектуальные системы видеонаблюдения. Например, Hikvision DeepinView. Для целей охраны периметра камеры DeepinView 7 серии используют интеллектуальные алгоритмы видеоанализа, которые позволяют снизить количество ложных тревог, а также настроить сигналы тревоги с помощью классификации целей. Можно настроить срабатывание тревоги только на людей или только на транспортные средства, которые попадают в поле зрения камеры. Другой вариант настроить исключение, чтобы камера реагировала, например, только на автомобили.

Дополнительная функция Auto Tracking предназначена для сценариев с низкой активностью. Камера будет реагировать только на движущиеся объекты, фокусируясь на конкретной цели, тем самым повышая эффективность работы системы безопасности и позволяя экономить место в хранилище. Как показывает анализ функций, система здраво разделяет фазы детекции и следования, используя для последнего алгоритмы типа отслеживание без обнаружения (DFT) в которой обнаружение новых объектов происходит непостоянно, а ограничения по размеру объектов детекции и используемая модель делает это решение применимым, в основном в зонах полного запрета или для контроля, например в запрещенные часы.

Примерно этим же характерны все вендоры, выпустившие в 2020 году накамерные аналитики на нейронных сетях, но минусы накамерных аналитик все те же это низкая производительность процессоров камер, что приводит к ограничениям по количеству одновременных аналитик и накладывает ограничения по использованию определенных моделей камер, стоимость которых заведомо дороже.

2 Видеокамеры с видеоаналитикой на основе технологий DEEPMIND (например: IVA Bosch) которые формально являясь накамерной аналитикой по факту работают при участии ресиверов, обладающих достаточной мощностью для одновременного запуска нескольких вендорных аналитик на канал и занимающихся внутренним проксированием:
2.1 Падение (прыжок) человека с моста, набережной или причала;
2.2 Выход человека на лёд;
2.3 Пожар (взрыв) на водном объекте;
2.4 Плавание на надувных и других, не предназначенных для этих целей средствах;

3 Задачи, требующие частного решения:
3.1 Человек, терпящий бедствие на воде (риск утопления);
3.2 Проваливание человека под лёд;
3.3 Столкновение судов, посадка судна на мель, кораблекрушение;
3.4 Подозрительное поведение человека.

Решение задач третьего класса сложности базируется на обеспечении непрерывного трекинга объекта мониторинга в сочетании с некоторыми частными метриками.

Реализация функционала непрерывного трекинга человека является достаточно сложной задачей даже в лабораторных условиях, а в водной среде или в формате накамерной аналитики выглядит практически нереализуемой. И это даже если вынести за скобки задачу идентификации уникальных объектов по сочетанию их характерных признаков (одежда, габариты, особенности движения и т. д.)

Средство отслеживания объектов обычно состоит из трех частей: модели внешнего вида, модели движения и модели обновления. Общий поток алгоритма отслеживания объекта описывается следующим образом: каждый отслеживаемый объект представлен путем моделирования, и модель внешнего вида устанавливается на основе исходной информации. Модель внешнего вида используется для определения местоположения объекта в текущем кадре. На основе результатов отслеживания по отношению к текущему кадру, стратегия обновления используется для обновления модели внешнего вида, чтобы позволить ей адаптироваться к изменениям в объекте и окружающей среде, основной проблемой непрерывности трекинга является обеспечение его в водной среде при нырянии или плавании под водой, когда человек временно пропадает в зоне мониторинга.

Рассмотрим способы решения этой задачи на примере типового водоема, условно разделенного на 3 участка:

зона пляжа (отлогий берег, предназначенный для солнечных ванн и входа в воду для купания), представляющая прямоугольный участок порядка 30 х 200 метров;
зона купания (разрешенный для плавания людей участок акватории, ограниченный сигнальными буями), представляющая прямоугольный участок порядка 50 х 200 метров;
зона акватории (участок водной поверхности, находящийся за пределами зоны купания), представляющий открытое пространство водной поверхности водоема ограниченное естественными границами объекта.

Человек на берегу: объект с характерными размерами от 100 до 200 см по высоте и от 30 до 70 см по ширине и характерными скоростями от 2 до 6 км/час.

Человек на воде: пловец: объект с характерными размерами от 20 до 50 см по высоте и ширине и характерными скоростями от 1 до 4 км/час.

В среднем комфортная продолжительность пребывания под водой обычного человека при нырянии составляет около 10 секунд. Разумеется, исключением являются профессионалы и любители подводного плавания, количество которых относительно числа отдыхающих невелико и может быть отнесено к ошибкам системы измерения (на этапе обучения модели).

Главным принципом размещения видеокамер на пляже является необходимость полного обзора (охвата) зоны пляжа и зоны купания. Для исключения слепых зон, избыточного размещения камер, ошибок трекинга при переходе между зонами мониторинга (при использовании нескольких камер), рекомендуется использовать камеры видеонаблюдения панорамного типа c несколькими сенсорами и горизонтальным углом обзора от 180, что обеспечивает предоставление единого изображения с контролируемого участка при помощи только одной видеокамеры.

Например, при размещении на рассматриваемом нами водном объекте камеры Hikvision DS-2CD6944G0-IHS (4МП x 6mm х 4) на опоре на высоте 4 метра на удалении 40 метров от линии берега: на пляже и в зоне купания будет обеспечен показатель точности порядка более 50 пиксел/метр, что достаточно для трекинга человека как на суше, так и в воде.

Подобные камеры мультисенсорного типа предоставляют для системы компьютерного зрения единое изображение с участка пляжа и зоны купания. При покадровом анализе изменения трекинга людей на изображении, алгоритм обеспечивает ведение онлайн статистики объектов в зоне мониторинга и позволяет выявить аномальные объекты, то есть те, которые пропали или появились относительно предыдущих и последующих кадров. Отделение аномальных объектов от основного пула объектов в воде осуществляется за счет использования совокупности алгоритмов, характерных для поведения человека в воде, таких как скорость, инерция и вектор движения пловца, а также комфортное и допустимое время нахождения пловца под водой, что позволяет с определенной долей вероятности прогнозировать выныривание пловца в определенном радиусе от точки ныряния и верифицировать его идентификацию. Аномальные события также могут происходить и в зоне пляжа. Например, кратковременное загораживание одного объекта другим является нормальным событием и просто должно пройти обучение алгоритма для исключения ложных сигналов, а оставленный без присмотра предмет уже должен вызвать подозрения у специальных служб.

Для чего нужно решать столь нетривиальную задачу? Выше уже было рассмотрено, что для обеспечения безопасности на водных объектах не достаточно только существующих на рынке решений и необходимо разработать специальные алгоритмы и технологии компьютерного зрения. Но существует и другая веская причина для выполнения таких разработок это тренд цифровизации отрасли пляжного туризма. Развитие туристической индустрии и конкуренция постоянно повышают требования к комфорту и безопасности отдыхающих в России и мире. Все большую популярность обретает концепция умный пляж, которая уже начала внедряться на Пхукете, в Дубае и Хайфе. Сюда входит обеспечение посетителей wi-fi, камерами хранения, автоматическая уборка мусора, развитая система информирования и безопасности. Современные мировые тренды также начали поддерживаться в некоторых российских городах, например в Москве, Сочи и Иркутске. Муниципальные власти начали устанавливать на пляжах умные камеры, детекторы металла и другие средства для обеспечения безопасности людей на пляже.

Умный пляж это зона беспрецедентного комфорта и комплексной безопасности. Трекинг людей в сочетании с данными о погодных условиях, получаемых от метеостанции или из открытых источников, открывает доступ к измерению продолжительности нахождения человека в воде и на солнце. В дополнение к данным о температуре воды, воздуха, давления атмосферного воздуха и солнечной активности система может предоставлять как общие, так и индивидуальные рекомендации (например, в формате голосовых оповещений) для посетителей пляжа во избежание рисков переохлаждения, перегрева или обострения сердечных заболеваний.

Высокий уровень внимания к посетителям пляжа это целый комплекс организационно-технических мероприятий, в котором нет мелочей. Оставленный у воды без присмотра малолетний ребенок или взрослый человек, походка которого выдает болезненное состояние, должны быть обнаружены системой компьютерного зрения, которая оповестит спасателя или воспроизведет голосовое оповещение по определенному сценарию. Именно забота о безопасности и комфорте людей вот что движет развитием сегодня, вне зависимости от того где мы находимся: на суше, воздухе или на море.

Подробнее..

Категории: Безопасность , Искусственный интеллект , Мониторинг , Компьютерное зрение , Видеоаналитика

OpenVINO Toolkit залог успешного внедрения видеоаналитики для качественной скоринговой оценки недвижимости

08.12.2020 04:14:55 |

Автор: admin

Всем привет! Сегодня расскажем и покажем, как машинное обучение и компьютерное зрение в очередной раз помогают в решении различных задач. В этот раз наша команда приняла участие в кейсе от ООО Финкейс в рамках конкурса Цифровой прорыв Северо-Кавказского IT-хаба.

Нам предложили разработать прототип интеллектуальной системы по определению качества ремонта квартир на основе алгоритмов компьютерного зрения с использованием инструментария Intel OpenVINO (Open Visual Inference & Neural Network Optimization).

Кейс:

При оценке любого объекта недвижимости мы сталкиваемся с задачей определения качества ремонта квартир. Качество отделки является одним из важных параметров ценообразования, который, к сожалению, часто не указывают в информации об объекте. Требуется разработать алгоритм оценки, позволяющий по фотографии определить наличие ремонта и качество отделки для последующего использования результата при оценке стоимости объектов.

Для решения задачи было реализовано два классификатора: первый для определения типа ремонта (без отделки, косметический ремонт, стандартный ремонт и ремонт класса люкс), второй для определения типа помещения. Для обучения классификатора по типу ремонта использовалась модель нейронной сети Resnet50. Для ее обучения мы собрали датасет из 50 тысяч изображений, по 12500 изображений для каждой категории. Обучили и сконвертировали её в ONNX, а из ONNX уже в OpenVINO.

Для конвертации нашей ONNX модели в формат OpenVINO при помощи инструмента Model Optimizer использовалась следующая команда:

python3 mo.py --input_model <INPUT_MODEL>.onnx

Затем реализовали код для запуска модели в фреймворке OpenVINO. По итогу точность распознавания составила 93%. Исследования продолжаются, поэтому на данный момент собираемся для классификаций помещений по типу ремонта взять модель Resnet152 (если хотите узнать результат, напишите в комментариях, поделимся).

Для второго классификатора, то есть для определения типа помещения использовался инструментарий Monk. Они имеют огромную базу предобученных моделей. Искренне советуем заглянуть и познакомиться!

Для более детальной оценки стоимости недвижимости было решено проводить дополнительно оценку стоимости мебели и предметов декора в квартире. Для этого была использована предобученная модель на наборе данных для анализа сцен MIT ADE20K.

Сегментированные объекты

В результате в качестве функционала был реализованы 2 классификатора, определяющие с точностью 93% тип помещения (спальня, кухня, ванная комната, гостиная) и тип ремонта (люкс, стандартный ремонт, косметический ремонт, без отделки). А для более детальной скоринговой оценки недвижимости реализована автоматическая оценка стоимости мебели и предметов декора в квартире. Для более детальной скоринговой-оценки недвижимости реализовали автоматическую оценку стоимости мебели и предметов декора в квартире. Для начала сегментируются все объекты на изображении и выделяются их контуры, можно рассмотреть это на представленном выше изображении. После чего формируется список найденных объектов для оценки. Стоимость каждого найденного объекта интерьера определяется с помощью API Яндекса, суммируя их, получается общая стоимость интерьера помещения.

По завершении выполнения алгоритма система выдает типы комнаты и ремонта, найденные объекты и их суммарная стоимость. Проект на данный момент дорабатывается: проводятся исследования в области применения и использования других нейросетевых алгоритмов для классификации объектов, дополняется интерфейс и его функциональность. Но система и сейчас имеет рабочую версию для демонстрации результатов.

В результате защиты проекта наша команда ISUvision (Божко Мария,Сторожева Ксения, Рязановский Владимир, Данилов Руслан, группа 19-ИСТ-1, ИРИТ) с руководителем команды Багировым Мираббасом Бахтияровичем была признана достойной участия в финале Всероссийского конкурса Цифровой прорыв.

Спасибо за внимание! Советуем заглянуть в другую нашу статью и познакомиться с нашим опытом использования инструментария Intel OpenVINO не только на хакатонах, но и для решения настоящих бизнес задач.

Подробнее..

Категории: Open source , Хакатоны , Хакатон , Искусственный интеллект , Машинное обучение , Обработка изображений , Блог компании intel , Видеоаналитика , Openvino , Open model zoo , Нгту , Miriteam , Openvino toolkit , Isuvision

Из песочницы Быстрый старт в видеоаналитику Опыт использования OpenVINO Toolkit в хакатонах

17.10.2020 18:18:02 |

Автор: admin

Всем привет! Мы активные студенты НГТУ им. Р.Е. Алексеева, и мы хотим рассказать о своем опыте участия в хакатонах и создании IT-решений с использованием набора инструментов Intel OpenVINO (Open Visual Inference & Neural Network Optimization) отличной палочки-выручалочки при разработке систем видеоаналитики.

Для начала расскажем немного о себе. Мы студенты 3 курса ИРИТ, кафедра Информатика и систем управления Татьяна Бородина, Тимофей Карклин, Александр Зенкин и Владимир Салтыков. С 1 курса мы активно участвуем в различных конкурсах IT-сферы, создав команду MirITeam^{[Прим. модератора: ссылка убрана,
чтобы не нарушать правила. Google it.]} команду молодых и целеустремленных ребят. Мы разрабатываем стартапы в области компьютерного зрения и видеоаналитики, выступаем на научных конференциях и очень любим Хакатоны, их атмосферу и дух соревнования, где быстро нужно разработать хорошее, качественное решение, привнести в него изюминку, и успешно (из опыта это очень и очень важно) защитить свой проект перед жюри. Это ценный опыт реализации инновационных идей, получения новых знаний и качеств и, конечно же, командного сотрудничества.

Поделимся впечатлениями о последнем хакатоне, где мы участвовали региональном этапе Всероссийского конкурса Цифровой прорыв, где в рамках кейса ПАО Ростелеком мы занялись разработкой системы мониторинга за поведением студента во время экзамена год назад и предположить не могли, что это будет актуально и даже прикольно сами выступаем в рамках испытуемых.

Итак, наш кейс и его защита выглядит так.

Все ушли на удаленку. И даже учебные заведения. Зачеты, экзамены и сессии никто не отменял. И если в оффлайн экзамене существует тысяча способов списать, чтобы преподаватель не заметил, то при сдаче экзамена онлайн способов списать в разы больше. Эту проблему мы и предлагаем решить в рамках хакатона с помощью машинного обучения и компьютерного зрения.

Наша система использует инструментарий Intel в виде моделей OpenVINO для видеоаналитики (о них мы расскажем чуть более подробно ниже), работу с процессами компьютера, контроль кликов и скроллингов, а также ближайшие соединения по протоколу Bluetooth. Использование последних методов исключает не только возможность использования таких сторонних ресурсов, как открытые вкладки браузера с подсказками, любые текстовые инструменты, но и использование дополнительных систем связи (Discord, Skype, Zoom и т.п.). Обнаружение всех этих аномалий поведения максимально исключает использование уловок и значительно повышает честность сдачи дистанционного экзамена.

После того, как мы поставили перед собой задачу, требующую решения, началось обсуждение способов анализа параметров студента и сразу всем в голову пришло одно и тоже это классный случай использования библиотеки OpenVINO и репозитория предварительно обученных моделей Open Model Zoo это наш помощник и даже преданный сообщник в кейсе по анализу параметров студента.
Мы использовали каскад из глубоких моделей (facial-landmarks-35-adas, head-pose-estimation-adas, open-closed-eye, gaze-estimation-adas), что в режиме реального времени позволило находить ключевые точки лица и анализировать такие параметры студента, как положение головы и направление движения его глаз. Кроме того, для аутентификации студента и исключения появления посторонних людей в кадре мы использовали Single Shot MultiBox Detector, а именно его Caffe реализацию для быстрого переобучения под конкретного человека и сравнения с полученным с камеры через метод опорных векторов (SVM алгоритм).

Сама система контроля процесса сдачи экзамена разработана в виде веб-сервиса с окном для фиксации нарушений, строкой иконок, подсвечивающихся при обнаружении аномалии поведения, а также непосредственно самого видео, полученного с веб-камеры или подключенной камеры телефона в режиме реального времени.

Не забыли мы и преподавателей смотреть на экран и запоминать значки нарушений им совсем не нужно, пусть лучше доброжелательно и внимательно слушают ответы студентов и объективно оценивают их поведение. В нашей системе мы разработали удобный для них инструмент после завершения работы система выдает отчет со статистикой по разным нарушениям, каждый из которых для удобства анализа подсвечен разными цветами, что даст возможность преподавателю также не ошибиться, рассмотреть каждое их них и принять итоговое решение по оценке знаний студента, убрав субъективность.

С нами согласятся многие для нас, студентов, в условиях конкуренции на рынке труда и желании реализоваться в профессии, главное получить знания, но при этом так же важно получить объективную оценку наших знаний. Кроме того, разработанная система позволяет в чем-то облегчить труд преподавателей, хотя бы на экзаменах.

По итогу наш проект вошел в шорт-лист и прошел во Всероссийский финал конкурса Цифровой прорыв, где мы еще поборемся за звание победителей. Сам проект на данный момент дорабатывается: дополняется интерфейс и его функциональность. Но система уже и сейчас является жизнеспособной. Надеемся в ближайшее время опробовать нашу систему на кафедре Информатика и системы управления, а позже, возможно, ранжировать на наш институт радиоэлектроники и информационных технологий и весь университет, город и даже страну.

По итогу разработчикам мы очень советуем заглядывать в репозиторий c готовыми демо-приложениями и моделями OpenVINO не только в рамках конкурсов с использованием компьютерного зрения и видеоаналитики, но и при построении серьезных приложений, ну а студентам напомним слова Бенджамина Франклина: Незнание не стыдно, стыдно не стремиться к знаниям.

Подробнее..

Категории: Хакатоны , Хакатон , Искусственный интеллект , Машинное обучение , Обработка изображений , Нейросети , Блог компании intel , Видеоаналитика , Openvino , Open model zoo , Нгту , Miriteam

Детектирование состояния светофоров на железнодорожных переездах для фиксации нарушений ПДД

25.08.2020 22:13:11 |

Автор: admin

Недавно столкнулись с любопытной, на вид простой, но неоднозначной, задачей детектирования состояний железнодорожных светофоров для фиксации нарушений ПДД. Проблема оказалась в том, что подключение к железнодорожной автоматике это сложная процедура, требующая большого количества согласований, а прокладка соответствующих кабелей требует капитальных затрат. Альтернатива детектировать состояние светофора с камеры видеонаблюдения и фиксировать факт нарушений ПДД по данным с камеры.

Предварительно поставив цель и согласовав план проведения испытаний программно-аппаратного комплекса детектирования нарушений ПДД на регулируемых железнодорожных переездах, в качестве объекта для тестирования мы выбрали Инженерный центр Октябрьской железной дороги. Там реализован полномасштабный макет железнодорожного переезда, на котором была установлена камера и комплекс для фиксации нарушений:

Процесс отладки и тестирования видеоаналитики при включенном на макете светофоре

Задачи:

детектирование состояния светофора на переезде в зоне видимости камеры
фиксация проездов ТС через переезд с распознаванием и записью номеров при красном сигнале светофора

Состав используемого аппаратно-программного комплекса:

IP-камера, 2 МП
Промышленный ПК Outdoor Box Micro, 2 Гб RAM, CPU Intel Atom x5, VPU Movidius
Коммутатор
ПО EDGE для детектирования и распознавания государственных регистрационных знаков транспортных средств

Алгоритм детектирования состояния светофора:

Получение RTSP-потока с камеры
Нарезка потока на фреймы
Кадрирование зоны детектирования состояния сигнальных ламп
Получение значения яркости для каждой ламны по N-фреймам/секундам
Бинаризация значений яркостей по порогу
Проверка на работу ламп в противофазе на всем анализируемом промежутке N-фреймов/секунд
Возврат состояния светофора с задержкой от реального времени в N-фреймов/секунд

До бинаризации проверка нахождения ламп в противофазе выглядит так:

После бинаризации:

0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1
1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0

Демонстрация работы детектора:

Детектирование состояния железнодорожного светофора при помощи объектной видеоаналитики

Проблемы, с которыми мы столкнулись при реализации:

Нельзя просто детектировать значение цвета или количество красного в зоне, так как в ночное время на камере включается ИК-подсветка, и изображение становится черно-белым.
Даже измеряя значение яркости, нельзя использовать данные только с одной лампы, так как мигание, например, сигналами аварийной остановки ТС или указателем поворота, будет фиксировать отражение в лампе и плавное изменение яркости в большую и меньшую сторону. Понятно, что можно привязываться к длине волны, но это не отменяет простой возможности удаленного воздействия на состояние светофора извне.
Иногда светофоры работают непредсказуемо и нужно минимизировать случайные выбросы после бинаризации, так, например, допустима ситуация, когда две лампы горят красным одновременно или значения яркостей меняются ступенчато с постоянным, но меньшим затуханием.

Ожидание и реальность в работе ж/д-светофора

Преимущества решения:

Отсутствие капитальных затрат и согласований на прокладку кабельных трасс
Отсутствие необходимости интеграции с железнодорожной автоматикой
Наличие возможности быстрого запуска на местах (монтаж камер, разметка зон, промышленная эксплуатация)
Наличие возможности постобработки данных по видеоархиву
Стабильность работы в разное время суток (при сравнении замеров по изменению яркостей за период и детектированию цвета)

Подробнее..

Категории: Искусственный интеллект , Машинное обучение , Транспорт , Переезд , Нейросети , Нейронные сети , Видеоаналитика , Пдд , Детектор , Классификатор , Светофор , Железнодорожный переезд

Видеоаналитика в финансовом секторе

02.06.2021 20:09:34 |

Автор: admin

Современным финансовым организациям уже недостаточно видеть, что происходит на их территории: важно мгновенное реагирование на возникающие события. Например, в отделении банка появился человек с оружием. Есть ли время и возможность у сотрудников воспользоваться тревожной сигнализацией? Это процесс необходимо автоматизировать. Видеосистемы должны не только разглядеть злоумышленника, но и обнаружить в его руках оружие, оповестить ответственных сотрудников и (при необходимости) автоматически совершить звонок в экстренные службы. Важна каждая секунда.

Другой пример обеспечение безопасности банкоматов. Системы видеонаналитики помогают отследить нетипичное поведение посетителей непосредственно рядом с банкоматами.

Или более приятная ситуация: в отделение банка заходит клиент со статусом VIP. Видеосистемы идентифицируют его и моментально передают информацию сотрудникам банка для своевременного обслуживания и предложения специальных условий.

Таким образом происходит переход от парадигмы видеонаблюдения к парадигме персонализированной видеоаналитики. Рынок технологии Edge Computing, обеспечивающей внедрение видеоаналитики, ежегодно растет на 32%.

Варианты видеоаналитики в финансовом секторе

Условно всех их можно разделить на 3 категории:

Повышение лояльности заказчиков;
Предотвращение мошенничества;
Обеспечение безопасности.

Первая категория подразумевает различные сценарии, при которых осуществляется повышение уровня предоставляемого сервиса, прямо или косвенно повышающие доходность организации:

Анализ алгоритма деятельности сотрудников отделения при работе с клиентами;
Типологический анализ посетителей (Отслеживание количества и времени пребывания посетителей, распределение посещаемости отделения, классификация по разным фильтрам: пол, возраст и т.д.);
Отслеживание VIP-клиентов (мгновенная идентификация с возможностью оперативного предоставления услуг и персонализированных предложений);
Управление очередями (отслеживание количества людей в очереди и дистанции между ними с возможностью оповещения ответственного сотрудника);
Мониторинг ношения элементов корпоративной униформы (галстук, бейджик и т.д.);
Оптимизация парковочного пространства (отслеживание наличия свободных парковочных мест с целью максимальной утилизации парковочного пространства).

Вторая категория подразумевает различные сценарии, при которых осуществляется сокращение рисков, связанных с мошенническими действиями:

Недопущение проникновения посторонних лиц в рабочее пространство (повышение безопасности путем ограничения доступа посторонних людей паровозиком за сотрудником с одобренным доступом);
Распознавание сотрудников и посетителей с возможностью бесконтактного доступа в помещения;
Повышение безопасности за счет распознавания нетипичного поведения (с возможностью автоматического оповещения).

Третья категория подразумевает различные сценарии, при которых осуществляется обеспечение физической безопасности филиала организации изнутри и снаружи:

Обнаружение признаков дыма и пожара (изнутри и снаружи зданий с возможностью оповещения ответственного сотрудника и звонка в противопожарные службы);
Детекция попыток взлома банкоматов;
Отслеживание нештатных ситуаций (например, неадекватное поведение или человек с оружием);
Обеспечение безопасности по периметру (наружное видеонаблюдение с оповещением в случае обнаружения подозрительного поведения или потенциальных правонарушений);
Обнаружение оставленных предметов: получение оповещений о потенциально опасных объектах (например, оставленных сумках) и отслеживание оставившего предмет человека с использованием видеокамер;
Мониторинг ношения средств индивидуальной защиты (мониторинг ношения СИЗ сотрудниками и посетителями финансовой организации с автоматическим оповещением оператора);
Бесконтактная СКУД (идентификация сотрудника по лицу. В случае фиксации лица сотрудника с одобренным доступом подается сигнал на открытие двери или турникета).

Данный список задач не является окончательным. Это лишь небольшой шорт-лист из часто выбираемых заказчиками сценариев. В зависимости от конкретно ваших задач мы можем подобрать ту или иную модель видеоаналитики.

Проблема

Само понятие видеоаналитика уже содержит в себе слово видео и подразумеват наличие как минимум нескольких камер в рамках организации. Но даже одна камера способна генерировать гигабайты данных ежеминутно. Возникает проблема узкого горлышка, связанная с низкой пропускной способностью каналов передачи данных: отправить весь поток в ЦОД и вернуть результат исполнения алгоритма задача очень непростая для различных протоколов, будь то 4G или, к примеру, Bluetooth.

Чтобы уменьшить задержку и оптимизировать пропускную способность сети, применяется подход децентрализации аналитики, который лежит в основе концепции периферийных вычислений (Edge Computing). Вычисления на каждой площадке производятся отдельно, после чего результаты в виде истории событий и видеофиксации (например) направляются в единый центр мониторинга, где возможна ролевая настройка доступа к базе событий и видеофрагментам (к примеру, администратор сети имеет доступ ко всем событиям; сотрудники, отвечающие за противопожарную безопасность к списку событий, связанных с возникновением пожара и т.д.).

Другая частая проблема при использовании систем видеоаналитики заключается в обслуживание и управление распределенным стеком серверов. В самом деле, децентрализация вычислений приводит к появлению обширного стека вычислительных узлов. Каким образом можно безопасно и быстро обновлять прошивку серверов, версии программного обеспечения, производить обслуживание оборудования из единого окна?

Решение Atos подразумевает возможность выбора инструмента управления стеком серверов в зависимости от текущего окружения заказчика.

На выбор предоставляются встроенные возможности управления:

OpenBMC - пользовательский интерфейс для настройки на голое железо, доступа к виртуальной консоли и мониторинга оборудования;
Redfish - стандарт DMTF, предоставляющий интерфейс RESTful для управления серверами, хранилищами, сетевыми и конвергентными инфраструктурами;
Ansible - инструмент для автоматизации поставки программного обеспечения, управления конфигурацией и развертывания приложений.

Так же при внедрении систем видеоаналитики возникает вопрос, связанный со сроками внедрения решения в эксплуатацию. Раздельные процедуры закупок, различные бюджеты, разные сроки поставки все это безусловно усложняет процесс внедрения аналитики видеопотока. На практике встречались даже случаи, когда заказчик уже активировал лицензии ПО, но в процессе конфигурации сервера и установки ПО возникали проблемы, вследствие чего средства уже были потрачены, а решение все еще не использовалось по назначению и не приносило ценности заказчику.

Для предотвращения подобных эксцессов Atos поставляет заказчикам готовый программно-аппаратный комплекс, в рамках которого происходит предконфигурация вычислительной части и установка золотого образа на фабрике. Это позволяют существенно минимизировать cроки на ввод всего решения в эксплуатацию.

Решение

Решение Atos представляет собой готовый программно-аппаратный комплекс, включающий в себя:

Программную часть;
ОС и/или виртуализацию;
Вычислительные ресурсы;
Дополнительные сервисы для поддержки комплекса в течении всего жизненного цикла: внедрение, управление, обновление и т.д.(опционально).

Основные преимущества такого комплекса:

A. Кратчайший срок ввода в эксплуатацию (преднастройка программной части и ОС осуществляется на фабрике, что позволяет оптимизировать затраты на ручную интеграцию на каждой площадке);

B. Возможность масштабирования (в рамках одного сервера можно размещать несколько моделей за счет использования 2 карт Nvidia T4);

C. Поддержка в ходе всего жизненного цикла видеоаналитики (дополнительные сервисы);

D. Поддержка из единого окна.

Что по части видеоаналитики

Аппаратную часть дополняет платформа видеоаналитики LUNA компании VisionLabs, одного из мировых лидеров в области компьютерного зрения и машинного обучения.

С помощью нейронных сетей LUNA Platform может распознать человека, а также определять его эмоции, пол, возраст, элементы поведения и атрибуты одежды. В основе платформы собственные алгоритмы VisionLabs. Они признаны одними из самых точных и быстрых в мире, это подтверждается лидирующими позициями в международных конкурсах и независимых тестированиях. В этом году VisionLabs стала лучшей из российских компаний в общем зачёте независимого тестирования алгоритмов распознавания лиц Национального института стандартов и технологий США (NIST).

В распознавании лиц обычно надо решить одну из двух задач верификация или идентификация человека. В первом случае мы сравниваем два изображения между собой, а во втором одно с целой базой фотографий. Принцип работы алгоритма распознавания следующий:

Для пользователя все события с распознаванием отображаются в удобном интерфейсе.

Есть возможность поиска по ним с различными фильтрами.

Также в системе реализован функционал с загрузкой различных списков. Это актуально, например, для использования в кредитном конвейере банков. Если человек из черного списка попытается получить услугу, то ему будет отказано.

Возможности платформы используются для оплаты по лицу в магазинах или общественном транспорте, в городском видеонаблюдении для повышения уровня безопасности, системах контроля доступа на социально значимых и промышленных объектах.

Помимо биометрических сервисов в LUNA Platform также встроены модули для получения необходимой аналитики по дополнительным атрибутам, без распознавания лиц.

Распознавание СИЗ

На производственных предприятиях, стройках, нефтегазовых объектах вопрос обеспечения охраны труда один из ключевых. Немаловажную роль в этом играет постоянное наличие средств индивидуальной защиты. Однако мониторинг СИЗ вручную далеко не так эффективен. Проблемы, возникающие при контроле ношения СИЗ:

необходимость визуального анализа видеопотока со всех камер предприятия;
усталость и невнимательность операторов, анализирующих видеопоток;
скорость уведомления ответственного служащего зависит от человеческого фактора.

Использование продуктов на основе CNN (свёрточные нейронные сети) позволяет в режиме реального времени автоматически отслеживать соблюдение ношения СИЗ и при их отсутствии отправлять оповещение в ситуационный центр или другие ответственные службы.

Видео с распознаванием СИЗ:

https://drive.google.com/file/d/1_hEzQbby9vrWTJrsWnZ27ppxkHgF9DBT/view

Алгоритмы VisionLabs отслеживают следующие атрибуты: каска, капюшон, перчатки, жилет. Они являются базовыми и встречаются практически на всех предприятиях. При необходимости нейронные сети быстро дообучаются под конкретного заказчика и распознавание других СИЗ - например, очков, защитных ботинок, сварочных масок и прочих специальных элементов одежды. Также есть возможность использования смежного функционала распознавания по лицу, что обеспечивает фиксацию нарушения по каждому сотруднику предприятия. Это помогает исключить нарушения правил безопасности и существенно снизить уровень производственного травматизма.

Мультикамерный трекинг

Еще одна разработка VisionLabs, востребованная в отраслевых решениях мультикамерный трекинг. All-Targets All-Cameras tracking (ATAC) технология для отслеживания перемещений людей по сети камер видеонаблюдения, которая не требует обязательной идентификации по лицу и тем самым работает с деперсонифицированной информацией. Как пример, появляется возможность отследить время нахождения конкретного человека в отделении банка.

Мультикамерный трекинг позволяет решать широкий спектр задач. Среди которых:

аналитика клиентских потоков: маркетинг, мерчандайзинг;
анализ взаимодействия клиентов и персонала: улучшение клиентского опыта, увеличение продаж;
регламенты сотрудников, оптимизация перемещений;
отслеживание маршрута выбранного человека: безопасность (поиск преступника, пресечение правонарушений), поиск потерявшихся людей;
антиковидные меры: мониторинг соблюдения социальной дистанции, подсчет людей на объекте.

Что по части вычислительных мощностей

В качестве вычислительной платформы комплекса выступает сервер для перфийных вычислений BullSequana Edge. Главное отличие наших серверов от стандартных стоечных серверов возможность установки вне дата-центра в непосредственной близости от источника данных (на столе / на кронштейны на стену / в DIN-рейку /...).

В сравнении со стоечными серверам BS Edge не требует специальных условий установки, таких как определенный температурный режим, наличие хорошей вентиляции и установки в стойку.

Монтаж

BullSequana Edge создан для работы вдали от ЦОД. Обеспечивает низкий уровень шума: 39 дБа в нормальном режиме, что более чем в два раза ниже чем у rack-серверов
Безопасность и защита данных

При установке вне центра обработки данных риск физического проникновения существенно возрастает. Поэтому BullSequana Edge был оснащен целым рядом мер защиты, которые помогают защитить устройство от различных видов атак

Физическая защита

Нет физического консольного порта / порта монитора. Датчик проникновения отключает систему при снятии крышки

Защита микрокода

Отдельная прошивка для BIOS и BMC гарантирует, что обновления происходят от Atos, а не от третьей стороны

Защита загрузки

Защищает от манипуляций с загрузочной цепью. По умолчанию система поддерживает безопасную загрузку UEFI, поскольку теперь она становится стандартным механизмом защиты, поддерживаемым поставщиками ОС и гипервизора. Система также способна поддерживать индивидуально проверенные и измеренные стратегии загрузки, включая использование TPM в качестве безопасного хранилища ключей

Шифрование диска

Ключевой механизм защиты, обеспечивающий надежную защиту данных, хранящихся на диске. Стандартные механизмы шифрования диска требуют, чтобы администратор вводил ключ после перезагрузки/сбоя питания. Поскольку Edge-серверы часто устанавливаются в удаленных местах без физического доступа, сервер BullSequana Edge поддерживает блочное шифрование на основе LUKS с возможностью безопасного хранения ключа в доверенном платформенном модуле, поэтому система может перезагружаться без ручного вмешательства. Также возможно реализовать сетевые механизмы восстановления ключей, такие как Clevis и Tang

Безопасное удаленное управление системой и обновление прошивки

Сервер BullSequana Edge оснащен сервисным процессором на базе OpenBMC, который обеспечивает безопасное низкоуровневое управление системой на основе RestAPI. Это позволяет реализовать автоматизированное наблюдение и обеспечение узлов на основе Ansible. Atos предоставляет готовые шаблоны для общих задач, таких как включение/выключение узла, перезагрузка, сборка датчиков, а также обновление прошивки через сайт Atos GitHub. Гораздо менее безопасный протокол IPMI по умолчанию отключен на сервере BullSequana Edge. В случае необходимости администратор может включить и отключить входной и исходящий IPMI

Масштабируемость комплекса

Одним из главных преимуществ комплекса является возможность его масштабирования. Вычислительных мощностей сервера BullSequana Edge с 1 графической картой Nvidia T4 хватает примерно на 25 камер (в зависимости от сложности аналитики). В случае добавления дополнительных моделей и камер, достаточно лишь добавить вторую графическую карту вместо закупки второго полноценного сервера, что помогает заказчику оптимизировать стоимость решения, сократить звуко- и тепловыделение, уменьшить занимаемое решением место. Для обеспечения отказоустойчивости применяется собственное программное решение Evidian SafeKit.

* В зависимости от требований программного обеспечения** ПО для балансировки, репликации данных и отказоустойчивости приложений*** Одна карта Nvidia A100 по производительности примерно равна 5 картам Nvidia T4

Апгрейд комплекса;
Обновление версий ПО;
Обновление прошивки вычислительных мощностей;
Поддержка любого количества камер и площадок.

Вывод:

Прекрасно понимаем, что не всегда у заказчиков есть возможность полноценного приобретения решения на баланс. Для такой ситуации мы предусмотрели возможность поставки комплекса по модели подписке.

Кстати, наши решения доступны для тестирования уже сегодня. Достаточно описать задачу на наш рабочий ящик. Будем рады помочь вам!

Не наблюдать, а действовать (С)

Подробнее..

Категории: It-компании , Периферия , Edge , Камеры наблюдения , Видеоаналитика , Блог компании atos , Atos

	Русский
	English

Видеоаналитика

Как работает алгоритм

Обучение и сложности

Результаты и планы

Легендарная пыль

Большие системы

Видеоаналитика

Cиний туман похож на ...

Нейронные сети или из тумана снова в облако

Боль пользователей

Децентрализация без политики

Зачем платить облаку, если можно наблюдать бесплатно?

Почему китайские производители камер создают программы с интерфейсом в стиле Чабудо?

Мнимая свобода выбора

Куда мы идём? Что будет дальше?

Новая бесплатная программа

Как всё это работает

К чему всё это приведёт?

История

Секрет успеха

Варианты решений

Интерфейсы

Возможности решения

Заключение

О чём идёт речь

Что случилось в этом году

Не без сюрпризов

Что дальше

Отсутствует видимость

Потери во время работы

Равномерное заполнение фургона

Что мы можем автоматизировать в кормоуборочных комбайнах?

Как мы обучаем нейронные сети для анализа сцен уборки кукурузы

Уборка сенажа

Достаточно ли принимаемых мер по обеспечению безопасности на водоемах

Классификация алгоритмов видеоаналитики

Варианты видеоаналитики в финансовом секторе

Проблема

Решение

Что по части видеоаналитики

Что по части вычислительных мощностей

Масштабируемость комплекса

Вывод:

Категории

Последние комментарии