Радары

Перспективы радарных систем на наноспутниках

13.01.2021 18:13:38 |

Автор: admin

Я раньше не очень интересовался cubesat. Они казались мне чем-то неземным, сложным, далеким. Но все изменилось, когда недавно нам пришел заказ на разработку одной подсистемы для наноспутника. Я стал интересоваться, а какое же радиооборудование люди умудряются ставить на этих малышей. К своему удивлению, я увидел даже примеры создания радарных систем на cubesat. Эта техника показалась мне настолько крутой, что мы c k_const составили себе труд присмотреться к некоторым примерам спутниковой радарной обработки с синтезированной апертурой.

Мы заранее скажемся новичками в этой области. Призываю специалистов к критике и обмену информацией по теме в комментариях.

Тема радаров обзора земной поверхности имеет большое значение для народного хозяйства. Приложения этой техники простираются от картографии и геологии до транспорта и сельского хозяйства. В России особо актуально управление лесным хозяйством и предупреждение природных катастроф. У нас существует группировка спутников дистанционного зондирования Земли (ДЗЗ), правда, радарные методы на действующих спутниках представлены мало. В основном на российских спутниках ДЗЗ, как я понял, используется оптическая съемка.

Повышению интереса к теме радарных систем на маленьких космических носителях способствует снижение стоимости их выведения на орбиту. Я не знаю цен выведения на орбиту в России, подскажите, кто знает. Но цены самих платформ известны, и они не космические. На западе все более открыто, информация есть здесь, например. Эти цены сильно ниже тех миллионов, которые нужно выложить за запуск "обычного" спутника, а также за его железо. Ведь оно должно быть более надежным, так как большая цена решения увеличивает риск. Это я уже не говорю про софт, надежность которого должна быть такой, какая нам, наземным программистам, даже и не снилась.

Ввиду этих фактов, вполне понятен интерес ученых и инженеров всего мира к возможности создания радарных систем на наноспутниках. Недолго поразмыслив, мы увидим, что единственное, что можно предложить, это разделить радарную систему на приемную и передающую части и расположить их на отдельных спутниках. Конечно, создать апертуру антенны, равнозначную апертуре на "обычном" спутнике не удастся. Нужны системные ухищрения, чтобы скомпенсировать потери в энергетическом бюджете. В публикациях западных инженеров мы находим несколько подходов к компенсации. Рассмотрим подходы более подробно.

Здесь следует отметить, что ввиду большей по сравнению с радарами на воздушных носителях дальности, обычно на спутниках необходимо применять синтез апертуры, как метод увеличения разрешения. Этому способствует хорошая стабильность и предсказуемость движения спутника по орбите. Такие радары называют радарами с синтезированной апертурой (РСА) или synthetic aperture radar (SAR).

Первый и основной тезис: использование спутников, оснащенных только приемниками или только источниками сигнала. Таким образом, радар еще и становится бистатическим или мультистатическим, если приемников больше, чем один. Здесь обнаруживается одна из возможностей поправить энергетический потенциал: чем больше приемников, тем он больше. Сигнал нескольких приемников будет проинтегрирован, что даст увеличение отношения сигнал/шум в соответствующее число раз.

Следующей возможностью является использование сигналов уже существующих источников. Естественно, копия сигнала этого источника должна оказаться в одном месте с копией принятого отраженного сигнала.

Во-первых, этими источников могут быть передатчика спутниковых систем связи. Они должны иметь мощность, достаточную для обеспечения хорошего ОСШ, и полосу, достаточную для обеспечения требуемого разрешения по дальности. Есть примеры использования как геостационарных спутников связи, так и спутников на низких орбитах. Можно также использовать сигналы существующих радаров на "обычных" спутниках.

Во-вторых, можно воспользоваться сигналами наземных источников. Они имеют достаточную мощность и расстояние от них до поверхности отражения невелико. Полоса таких сигналов тоже может быть достаточной. Одной из проблем такого способа будет ограничение облучаемой таким сигналом поверхности. Если в нужной местности не найдется такого источника, то система работать не будет. Еще одной проблемой может быть наличие нескольких таких сигналов на одной территории, что приведет к усложнению алгоритмов обработки. Даже сам сбор такого сигнала может быть непростым делом, ведь наземные системы оптимизированы для облучения земной поверхности и могут излучать мало энергии в сторону спутника.

В-третьих, можно использовать специально созданный и запущенный источник на воздушном носителе. Недостатком такой системы будет необходимость обеспечения его своевременного запуска и пролета по маршруту. Это также будет приводить к дополнительным сложностям при обработке.

Сейчас я не буду вдаваться во все тонкости этих подходов. Вы можете изучить их по этой и другой литературе, которую легко найти в Сети.

Для нас основным вопросом на данном этапе была доступность математики по обработке сигнала в такой радарной системе. Мы начали с простейшего примера, как мы покажем далее, доступного для освоения каждому.

Простейшим примером с нашей точки зрения является обработка сигналов со спутниковых РСА-систем, типа ALOS, ENVISAT, Sentinel, TerraSAR-X, COSMO-SkyMed, Radarsat-2 и др., производящих съемку в маршрутном режиме. Простота с одной стороны подтверждается банальным наличием сырых данных с некоторых из этих спутников в открытом доступе, c другой стороны наличием ПО с открытым кодом (GMTSAR), которое позволяет как фокусировать сырые радиолокационные изображения, так и делать более сложные вещи, такие как создание интерференционных картин между двумя изображениями, снятыми в различные пролеты спутника. Такая мощная база безусловно может стать хорошим подспорьем в деле изучения РСА.

Далее мы покажем каким образом можно получить радиолокационное изображение интересующей местности на примере сырых данных, полученных при съемке Санкт-Петербурга со спутника ALOS PALSAR. Оговоримся, что данная статья не претендует на всеобъемлющее руководство, мы лишь пытаемся показать, с чего можно начать.

Для начала рассмотрим разрешение радиолокационного изображения, получаемого со спутника. Номинальное разрешение по наклонной дальности определяется полосой B импульса радара:

$rho_{r}=\frac{c}{2B}$

Для нашего случая B = 14 МГц, и разрешение по наклонной дальности равно около 10 м. Не менее важной характеристикой является разрешение по дальности по поверхности земли. Чтобы проще было разобраться в терминологии, обратимся к рис. 1, где представлена геометрия РСА. Вектор скорости спутника перпендикулярен плоскости рисунка, радар излучает импульсы перпендикулярно скорости, под углом к высоте спутника H, наклонная дальность. Разрешение по дальности по поверхности земли геометрически связано с разрешением по наклонной дальности:

$\rho_{gr}=\frac{c}{2Bsin\theta}$

и составляет составляет для нашего случая около 60 м. Из представленных соотношений видно, что разрешение по дальности не зависит от высоты спутника H и может быть улучшено увеличением полосы излучаемого импульса. Во многих случаях полоса импульса ограничена, так как ограничена скорости передачи данных со спутника на землю.

Рис.1. Геометрия РСА. Вид спереди. H высота спутника, угол обзора, наклонная дальность.

Чтобы понять разрешение по азимуту, рассмотрим рис. 2, где радар пролетает над точечной целью. В приближении прямоугольной апертуры угол

$\theta_{a}\approx \lambda /L$

где L длина антенны в азимутальном направлении, длина волны радара. Тогда разрешение по азимуту для радара с реальной апертурой определяется

$R_{a}=\rho tan\theta_{a}\approx \frac{\rho \lambda}{L}=\frac{\lambda H}{Lcos\theta }$

Рис.2. Геометрия РСА. Вид сбоку. L длина антенны, наклонная дальность.

Если точечная цель остается неподвижной во время пролета радара над ней, радар может синтезировать апертуру, величина которой 2Ra, что приводит к значительному улучшению разрешения по азимуту:

$\rho_{a}=\frac{\rho \lambda}{2R_{a}}=\frac{L}{2}$

Как мы видим теоретическое разрешение по азимуту в маршрутном режиме РСА определяется размерами антенны в азимутальном направлении. Разрешение РСА по азимуту не зависит от расстояния между целью и радаром. Более того, чем меньше размер антенны, тем большее разрешение может быть достигнуто. Объясняется это следующим образом. Чем меньше размер реальной апертуры антенны (шире ее основной лепесток диаграммы направленности), тем больше размер синтетической апертуры (цель дольше находится в луче). Чем больше размер синтетической апертуры, тем более узкий синтетический луч может быть получен, что в конечном итоге приводит к высокому разрешению по азимуту.

Размер антенны в азимутальном направлении спутника ALOS PALSAR составляет 10 м, следовательно теоретически достижимое разрешение по азимуту в маршрутном режиме РСА составляет 5 м. На практике размер пикселя делают одинаковым по дальности и азимуту.

Перед тем как переходить непосредственно к получению изображений, кратко рассмотрим алгоритм фокусировки, который мы будет применять, а именно дальностно-допплеровский алгоритм (range-doppler algorithm, RDA). Этот алгоритм разрабатывался в 1976-1978 гг. для обработки данных со спутника SEASAT SAR, запущенного в 1978 году. Основная идея алгоритма RD: использование того факта, что сигналы дальности и азимута могут быть разделены на два одномерных сигнала при определенных условиях. Тогда фокусировка изображения являет собой две последовательных операции одномерной компрессии импульса, то есть компрессия по дальности и компрессия по азимуту.

Компрессия сигнала по дальности относительно проста и может быть реализована путем согласованной фильтрации эхо-сигнала в частотной области дальности на основе знания опорного передаваемого сигнала. Обычно в качестве передаваемого сигнала используется ЛЧМ импульс (chirp). Это позволяет снизить пиковую мощность передатчика. Этот ЛЧМ импульс отражается от участка поверхности Земли, длиной обычно около 100 км. Принятый отраженный сигнал является сверткой комплексной отражательной способности поверхности Земли и ЛЧМ сигнала. Математически ЛЧМ записывается следующим образом:

$s(t)= exp(i\pi k t^{2}),\quad \left | t \right |< \tau_{p}$

где k скорость изменения частоты (chirp slope), длительность импульса (pulse duration). Для ALOS PALSAR:

$k= 1.03704\cdot 10^{12} \quad s^{-2}\\ \tau_{p}=0.27 \quad \mu s$

Согласованный фильтр в данном случае это просто комплексно-сопряженный исходный ЛЧМ импульс, *s****(t).

Обработка сигнала в направлении азимута несколько сложнее. Это связано с тем, что изображение точечной цели, проходящей через синтетическую апертуру, испытывает миграцию по дальности, т. е. эхо-сигнал от одной и той же цели при различных положениях спутника по азимуту (естественно в пределах синтетической апертуры) появляется в различных ячейках дальности. Таким образом, данные по азимуту оказываются связанны с данными по дальности. Чтобы можно было производить компрессию по азимуту, необходимо вернуть отметку о цели в ячейки соответствующие одной дальности. Количественно миграция дальности во временном пространстве дальности частотном пространстве по азимуту определяется следующим выражением:

$R_{RCMC}(f_{s})=R_{0}\left ( \frac{1}{\sqrt{1-(\lambda f_{s}/(2V))^2}} -1 \right )$

где Ro дальность ближайшего подхода спутника к цели, fs - доплеровская частота, V - эффективная скорость. Для точной коррекции миграции дальности каждого пикселя требуется процедура интерполяции.

После того как каждая отметка о цели появляется в своей ячейке дальности, можно переходить к компрессии сигнала по азимуту. Запишем фазу эхо-сигнала:

$C(s)=exp\left [ -i\frac{4\pi }{\lambda }R(s) \right ]$

где R(s) дальность до цели функция времени по азимуту (медленное время), поскольку цель перемещается по синтетической апертуре, пока спутник пролетает над ней. Функция R(s) аппроксимируется параболой:

$R(s)=R_{0}+\dot{R}(s-s_{0})+\ddot{R}/2(s-s_{0})^{2}$

где точкой обозначены производные по медленному времени s. Тогда мы можем переписать фазу эхо-сигнала, как функцию дальности, а также первой и второй производных дальности по времени s.

$C(s)=exp\left [ -i\frac{4\pi }{\lambda } \left [ R_{0}+\dot{R}(s-s_{0})+\ddot{R}/2(s-s_{0})^{2} \right ] \right ]$

Определим допплеровский центроид и скорость изменения допплеровской частоты следующим образом:

$f_{dc}=\frac{-2\dot{R}}{\lambda } \qquad f_{R}=\frac{-2\ddot{R}}{\lambda }$

Тогда

$C(s)=exp\left [ -i\frac{4\pi R_{0}}{\lambda } \right ] exp \left [ i2\pi \left ( f_{dc}(s-s_{0})+f_{R}(s-s_{0})^{2} \right ) \right ]$

Как мы видим это еще один ЛЧМ сигнал с параметрами fdc и fR. Согласованный фильтр в данном случае это просто комплексно-сопряженный сигнал фазовой функции, *С****(s). При фокусировке по азимуту мы проходим по всем ячейкам дальности (Ro) и для каждой колонки азимута создаем фильтр со своими параметрами (fdc и fR).

Здесь мы не ставим целью всесторонне и исчерпывающе описать дальностно-допплеровский алгоритм фокусировки РСА изображений. В поисках дополнительной информации читатель может обратиться к следующим монографиям:

\1. John C. Curlander, Robert N. McDonough Synthtic Aperture Radar: Systems and Signal Processing
\2. Jan G. Cumming, Frank H. Wong Digital Processing of Synthetic Aperture Radar Data: Algorithms and Implementation
\3. Xiaolan Qiu, Chibiao Ding, Donghui Hu BISTATIC SAR DATA PROCESSING ALGORITHMS

А мы тем временем перейдем к практической части.

Как мы уже упоминали ранее, в нашем распоряжении имеется GMTSAR программное обеспечение с открытым кодом (GNU General Public License) для цифровой обработки данных РСА. Код написан на языке C, однако требует предварительной установки GMT и NETCDF. GMT Generic Mapping Tools (Универсальные картографические инструменты, GMT) набор программ с открытыми кодами, предназначенных для обработки и отображения двумерной и трёхмерной информации, растеризации, фильтрации и других алгоритмов обработки изображения, а также отрисовки различных картографических проекций. NetCDF (Network Common Data Form) машино-независимый двоичный формат файлов, являющийся стандартом для обмена научными данными.

GMTSAR имеет 3 основных компонента: 1) препроцессор для каждого типа спутника для подготовки данных и орбитальной информации из внутреннего формата спутника в формат, пригодный для обработки; 2) InSAR процессор для фокусировки, совмещения нескольких изображений и формирования комплексной интерферограммы; 3) базирующийся на возможностях GMT постпроцессор для фильтрации интерферограмм, формирования градиентов фазы, а также отображения всех получаемых результатов.

Итак, перейдем к установке. Домашняя страница GMTSAR находится по адресу https://topex.ucsd.edu/gmtsar/. Здесь можно найти описание программы, файлы данных РСА, предоставленные в качестве примеров и много другой информации. Инструкцию по установке программы вы найдете по адресу https://github.com/gmtsar/gmtsar/wiki/GMTSAR-Wiki-Page. Продублируем ее здесь для Ubuntu 16.06 LTS/20.0:

Install extra libraries. Note that depending on your OS version the actual version numbers in some of the packages below may differ):

sudo apt-get install csh subversion autoconf libtiff5-dev libhdf5-devsudo apt-get install liblapack-devsudo apt-get install gfortransudo apt-get install g++sudo apt-get install libgmt-devsudo apt-get install gmt gmt-dcw gmt-gshhg (16.0 LTS)sudo apt-get install gmt

Download and install orbit files and place in suitable directory (e.g., /usr/local/orbits):

http://topex.ucsd.edu/gmtsar/tar/ORBITS.tarsudo -icd /usr/localmkdir orbitscd orbitstar -xvf ~/Downloads/ORBITS.tar # (need full path to ORBITS.tar)

Download GMTSAR GITHUB suitable directory:

sudo -icd /usr/localgit clone --branch 6.0 https://github.com/gmtsar/gmtsar GMTSAR#  or#  checkout the master version for more new but not stable features.

Make and install GMTSAR (change the orbits directory if different):

cd GMTSARautoconf./configure with-orbits-dir=/usr/local/orbitsmakemake install

Add the executables to your path (for csh or tcsh):

cd ~#   edit your .tcshrc file and add the following linessetenv GMTSAR /usr/local/GMTSARsetenv PATH $GMTSAR/bin:"$PATH"#  orcd ~#  edit your .bashrc file and add the following linesexport GMTSAR=/usr/local/GMTSARexport PATH=$GMTSAR/bin:"$PATH"

Инструкция рабочая, однако, может понадобится установка дополнительных библиотек. Для пользователей Windows есть возможность скачать виртуальную машину с предустановленным ПО GMTSAR: https://topex.ucsd.edu/gmtsar/downloads/

ВАЖНЙ МОМЕНТ!!! Перед использованием программы необходимо, чтобы в вашей системе дробная часть числа отделялась от целой части точкой. Это можно сделать, перейдя в меню Параметры вкладка Регион и язык и выбрав в Форматах страну United Kingdom.

Итак, надеемся установка GMTSAR не вызовет значительных трудностей. По окончании установки, если вы откроете терминал и введете команду gmt, то должны увидеть данные об установленной версии GMT. Используя команду gmtsar.csh, вы увидите список найденных скриптов из пакета GMTSAR. Обратим внимание, что все процедуры обработки данных из пакета GMTSAR организованы в виде c-shell скриптов. Скрипты объединяют вызов необходимых подпрограмм на языке Си с вызовом стандартных подпрограмм GMT, а также с манипулированием данными. Одни скрипты могут включать в себя другие, позволяя гибко выбирать необходимые процедуры.

Сегодня нам понадобятся следующие скрипты:

pre_proc.csh preprocess the raw SAR data for a pair of images
sarp.csh focus a single SAR image
slc2amp.csh make and amplitude image from and SLC

Как видно из описаний pre_proc.csh подготавливает данные пары изображений (нам понадобится одно изображение), sarp.csh фокусирует радиолокационное изображение, формируя Single Look Complex-изображение (SLC), slc2amp.csh делает амплитудное изображение из SLC.

Таким образом, с ПО мы разобрались, теперь нам необходимо скачать доступные сырые радиолокационные изображения. Для начала рассмотрим какие вообще данные предоставляет миссия спутника ALOS PALSAR: https://earth.esa.int/eogateway/catalog/alos-palsar-products

ALOS PALSAR products are available in following modes:

Fine Beam Single polarisation(FBS), single polarisation (HH or VV)), swath 40-70km, resolution 10m, temporal coverage from 02/05/2006 to 30/03/2011

Fine Beam Double polarisation (FBD), double polarisation (HH/HV or VV/VH), swath 40-70km, resolution 10m, temporal coverage from 02/05/2006 to 30/03/2011

Polarimetry mode (PLR), with four polarisations simultaneously: swath 30km, resolution 30m, temporal coverage from 26/08/2006 to 14/04/2011

ScanSAR Burst mode 1 (WB1), single polarisation: swath 250-350km, resolution 100m, temporal coverage from 12/06/2006 to 21/04/2011

Following processing levels are available:

RAW(level 1.0): Raw data generated by every downlink segment and every band. Divided into an equivalent size to one scene.

SLC (level 1.1): Slant range single look complex product. Not available for WB1

GDH (level 1.5): Ground range Detected, Normal resolution product

GEC (level 1.5): Geocoded product

Как мы видим миссия ALOS PALSAR вела съемку в 4 различных режимах, предоставляя на выходе 4 уровня обработки данных. Нас, конечно, интересуют в первую очередь сырые RAW (level 1.0) данные в режимах Fine Beam Single polarisation (HH or VV) и Fine Beam Double polarisation (HH/HV or VV/VH), их мы и будем искать.

Для доступа к данным необходимо перейти на сайт https://search.asf.alaska.edu/#/ и зарегистрироваться там. Интерфейс поисковика данных довольно прост и интуитивно-понятен, поэтому тезисно опишем порядок действий (см. рис. 3):

Выбираем ALOS PALSAR в меню Dataset
Рисуем на карте интересующий регион, нажав + в подменю Area of interest
Жмем SEARCH
На карте появятся области, для которых доступны радиолокационные данные (выделены синим)
В списке, либо кликнув мышкой на карте, выбираем регион, и видим доступные файлы для него
Находим файл уровня 1.0 и скачиваем его.

Рис.3 Поиск данных со спутника ALOS PALSAR

Теперь переходим непосредственно к обработке скачанных данных с помощью GMTSAR. Откроем терминал, распакуем скачанный zip-файл и перейдем в папку, которая находилась в архиве. Эта папка будет содержать следующие файлы:

cd folder_with_datals -l-rw-r--r-- 1 1000 1000       1848 Dec 16  2016 ALPSRP023161190.l0.workreport-rw-rw-rw- 1 1000 1000  762000120 Dec 16  2016 IMG-HH-ALPSRP023161190-H1.0__A-rw-rw-rw- 1 1000 1000   12506972 Dec 16  2016 LED-ALPSRP023161190-H1.0__A-rw-rw-rw- 1 1000 1000        720 Dec 16  2016 TRL-ALPSRP023161190-H1.0__A-rw-rw-rw- 1 1000 1000       1800 Dec 16  2016 VOL-ALPSRP023161190-H1.0__A-rw-rw-rw- 1 1000 1000       1848 Dec 16  2016 workreport

Файл IMG-HH-ALPSRP023161190-H1.0__A содержит радиолокационные данные, файл LED-ALPSRP023161190-H1.0__A орбитальную информацию, остальные файлы нам не понадобятся.

В первую очередь нам нужно подготовить данные, для этого служит скрипт pre_proc_init.csh. При запуске скрипта без аргументов, выводится мануал по использованию. Запустим pre_proc_init.csh, чтобы понять как пользоваться этим скриптом.

pre_proc_init.cshUsage: pre_proc_init.csh SAT data.in       preprocess a set of images using default Dopper centroid, rear_range and radius, number of patches       a baseline-time plot will be generated       after running this command        the user should choose an appropriate master image        the user should also decide a common Dopper centroid, rear_range and radius, number of patches to run batch processing       the data with completely different Doppler centroid or baselines can be omitted from further processing SAT can be ALOS ERS or ENVI(ENVISAT)       format of data.in is:         line 1: master_name         line 2 and below: aligned_name       example of data.in for ALOS is:         IMG-HH-ALPSRP096010650-H1.0__A         IMG-HH-ALPSRP089300650-H1.0__A         IMG-HH-ALPSRP236920650-H1.0__A       example of data.in for ERS is:         e1_05783         e1_07787         e1_10292       example of data.in for ENVISAT is:         ENV1_2_127_2925_07195         ENV1_2_127_2925_12706         ENV1_2_127_2925_13207Example: pre_proc_init.csh ENVI data.in

Итак, чтобы воспользоваться скриптом, нам необходимо в качестве первого аргумента использовать имя спутника (ALOS), в качестве второго файл, содержащий имена файлов с сырыми данными (несколько файлов нужно для построения интерферограмм, в нашем случае будет один файл IMG-HH-ALPSRP023161190-H1.0__A). Создадим файл data.in и запустим препроцесс:

ls IMG-HH-ALPSRP023161190-H1.0__A >> data.inpre_proc_init.csh ALOS data.inrunning pre_proc_init.cshpreprocess master imageledflag 1.... swapping byteswriting generic LED file: IMG-HH-ALPSRP023161190-H1.0__A.LED near_range, shift = 959139 192 .... calculating doppler for IMG-HH-ALPSRP023161190-H1.0__A.raw Working on line 2000  Working on line 4000  Working on line 6000  Working on line 8000  Working on line 10000  Working on line 12000  Working on line 14000  Working on line 16000  Working on line 18000  Working on line 20000  Working on line 22000  Working on line 24000  Working on line 26000  Working on line 28000  Working on line 30000

В результате работы скрипта препроцесса, в нашей папке появилось несколько новых файлов, в том числе .PRM, который содержит всю необходимую информацию для фокусировки (более детальное описание PRM-файла можно найти на стр.47 мануала GMTSAR: https://topex.ucsd.edu/gmtsar/tar/GMTSAR_2ND_TEX.pdf ). Для запуска процесса фокусировки необходимо запустить скрипт sarp.csh* с именем PRM-файла, созданного на предыдущем этапе, в качестве аргумента:

sarp.csh IMG-HH-ALPSRP023161190-H1.0__A.PRMComputing range reference function.Processing patch 1Processing Elapsed Time: 0 min 0.07 secRange CompressionProcessing Elapsed Time: 0 min 13.37 secAzimuthal TransformProcessing Elapsed Time: 0 min 33.64 secRange MigrationProcessing Elapsed Time: 0 min 50.55 secAzimuthal CompressionProcessing Elapsed Time: 1 min 53.07 secWriting DataProcessing patch 2Processing Elapsed Time: 1 min 54.17 secRange CompressionProcessing Elapsed Time: 2 min 6.90 secAzimuthal TransformProcessing Elapsed Time: 2 min 26.29 secRange MigrationProcessing Elapsed Time: 2 min 43.15 secAzimuthal Compression

Как можно заметить из вывода выполнения скрипта, фокусировка происходит блоками. В нашем случае фокусировка радиолокационного изображения размером 120000x25000 пикселей длилась около 5 минут. В результате в рабочей папке появится файл IMG-HH-ALPSRP023161190-H1.0__A.SLC, из которого нам останется сформировать амплитудное изображение. Делать мы это будем выполнением следующего скрипта:

slc2amp.cshUsage: slc2amp.csh filein.PRM rng_dec fileout.grd        rng_dec is range decimation       e.g. 1 for ERS ENVISAT ALOS FBD            2 for ALOS FBS             4 for TSXExample: slc2amp.csh IMG-HH-ALPSRP055750660-H1.0__A.PRM 2 amp-ALPSRP055750660-H1.0__A.grd

В качестве первого аргумента надо указать все тот же PRM-файл, в качестве второго децимацию, (в соответствии с режимом съемки наших данных выбираем 2), третьим аргументом указываем имя выходного файлы (out.grd).

slc2amp.csh IMG-HH-ALPSRP023161190-H1.0__A.PRM 2 out.grd

Таким образом, на выходе получаем netCDF-файл out.grd, содержащий информацию об амплитудном изображении. К сожалению, готовых средств для отображения полученного изображения в GMTSAR мы не обнаружили, однако, покажем, что нами действительно получено сфокусированное радиолокационное изображение Санкт-Петербурга. Для этого выполним следующие команды:

gmt begin ampgmt grd2cpt -Cgray out.grdgmt grdimage out.grd -I+d -Bgmt end show

В первой строке мы запускаем сессию GMT с именем "amp". 2 следующие команды формируют изображение, последняя закрывает сессию GMT и открывает файл amp.pdf с полученным изображением. Рассмотрим полученное изображение (рис. 4):

Рис.4 Радиолокационное изображение Санкт-Петербурга

Как видно, мы получили сфокусированное радиолокационное изображение. При этом, оно зеркально по вертикали, то есть нижнюю строку мы отобразили как верхнюю, а верхнюю как нижнюю. Однако, это не меняет того факта, что фокусировка прошла успешно и кодом GMTSAR можно пользоваться.

Статья написана в соавторстве с k_const. Теперь мы немного понимаем в радарах с синтезированной апертурой, но нам явно есть еще чему поучиться. Приглашаем специалистов к дискуссии.

СПИСОК ЛИТЕРАТУР

Curlander J. C. Synthtic Aperture Radar: Systems and Signal Processing. / J. C. Curlander, R. N. McDonough. Wiley, 1992. 672 p.
Cumming J. G. Digital Processing of Synthetic Aperture Radar Data: Algorithms and Implementation. J. G. Cumming, F. H. Wong. Artech House, 2005. 436 p.
Xiaolan Qiu Bistatic SAR Data Processing Algorithms. / Xiaolan Qiu, Chibiao Ding, Donghui Hu. Wiley, 2013. 327 p.
Sandwell D. GMTSAR: An InSAR Processing System Based on Generic Mapping Tools (Second edition). / D. Sandwell, R. Mellors, X. Tong, M. Wei, P. Wessel. // UC San Diego: Scripps Institution of Oceanography. 2016. Retrieved from https://topex.ucsd.edu/gmtsar/tar/GMTSAR_2ND_TEX.pdf

Подробнее..

Категории: Diy или сделай сам , Геоинформационные сервисы , Алгоритмы , Производство и разработка электроники , Космонавтика , Радары , Cubesat , Radar systems , Sar , Наноспутники , Радарные системы , Рса , Синтез апертуры , Synthetic aperture

Взгляд на ADAS изнутри когда поедет робот?

21.10.2020 14:12:03 |

Автор: admin

Сегодня мы хотим рассказать о направлении, с которого мы, Cognitive Pilot, исторически начали свои разработки в области создания беспилотных технологий, а именно отрасли automotive. Вообще эта сфера ставит перед разработчиками беспилотных систем наиболее интересные задачи: на дорогах общего пользования сцены намногосложнее и динамичнее, чем в сельском хозяйстве или на рельсах, а поведение объектов часто почти невозможно предугадать. Для создания беспилотных автомобилей используются технологии глубокого обучения, наиболее сложные нейронные сети и объемные датасеты.

Но вместе с тем не секрет, что промышленное использование беспилотных автомобилей на дорогах общего пользования не разрешено законодателями. И получение санкций на это не стоит ожидать прямо завтра. Участникам рынка еще предстоит решить целый ряд серьезных организационных, юридических, технических и иных проблем. Поэтому мы и выбрали в качестве приоритетных, реальные рынки агро- и рельсового транспорта, на которых наш ИИ может работать и приносить пользу уже сегодня, где, например, комбайнеры уже не касаются руля, сосредоточившись на управлении техпроцессом уборки зерновых, машинисты локомотивов повышают безопасность работы, и где в рамках представленных нами моделей использования автопилотов не нужно ждать разрешения чиновников того или иного уровня.

Но системы беспилотного управления автотранспортом мы продолжаем развивать и остаемся в лидерах в совершенствовании технической стороны вопроса. В подтверждение этому мы реализуем сейчас несколько крупных многолетнихконтрактов по созданию компьютерного зрения с автопроизводителями и производителями комплектующих Tier1 (информация о них не разглашается по условиям подписанных NDA), в числе которых некоторые известные германские компании, а также Hyundai Mobis. И мы будем готовы более активно включиться в процесс продвижения наших ИИ-решений на рынок, когда ситуация с решением законодательных, орг- и иных вопросов станет более-менее понятной.

Но начнем с азов.

Шесть уровней автопилотирования

Многие потребители до сих пор путают продвинутый круиз-контроль с полноценным автопилотом. Иногда это приводит к серьезным ДТП, как в относительно недавней аварии Tesla, врезавшейся на полном ходу в опрокинувшуюся фуру. Напомним, что в сфере ADAS выделяют шесть уровней автопилотирования, которым должны соответствовать использующиеся в автомобилях когнитивные решения. Каждый из них предполагает поддержку тех или иных функций: оповещения водителя о ситуации на дороге, удержания полосы, экстренного торможения и т.д.

Способный доставить вас из точки А в точку Б автопилот живет только на четвертом и пятом этажах, притом предпоследний уровень допускает вмешательство живого водителя, а последний наличия руля даже не предполагает. На нулевом и первом уровне находятся умные помощники. Грубо говоря, предупреждающие о ситуации на дороге пищалки. На втором уровне эти пищалки уже имеют связь с тормозами (системы экстренного торможения), а на третьем живет продвинутый круиз-контроль. Кстати, решения Tesla выше третьего уровня пока не поднялись. Они помогут вам удержать полосу движения и не врезаться в стену, затормозят перед выскочившим на дорогу пешеходом и даже выведут машину без водителя с парковки, но на дороге потребуют обязательного контроля со стороны человека. Если в таких системах робот принимает опрокинувшийся белый фургон за нарисованный на асфальте объект без третьего измерения это проблема водителя, который должен успеть нажать на тормоз самостоятельно.

Слово о рынке

Тема создания автопилота для отрасли automotive является одной из хайповых в мире. Помимо информации о реальных достижениях игроков рынка, вокруг нее много спекуляций, вымыслов и домыслов. В подтверждение этого, на прошлой неделе произошли сразу несколько событий, которые очень точно отражают современное состояние рынка ADAS. Первое очередная авария Tesla. На сей раз детище И.Маска протаранило полицейский автомобиль Департамента общественной безопасности в Калифорнии. Одновременно с этим, баварский государственный суд в Германии постановил, что использование Tesla термина Автопилот рекламе вводят потребителей в заблуждение.

В конфликтных ситуациях представители Tesla как правило ссылаются на дисклеймер, набранный мелким шрифтом в документации компании, где сказано, что автомобиль не является автономным и требует постоянного контроля со стороны водителя

Не секрет, что компании не раз потребители вменяли в вину чрезмерное преувеличение возможностей ее автопилота. Илон Маск сразу оправдался в Твиттере, заявив, что термин был использован, по аналогии с авиацией.

И как бы в противоположность маркетинговой политики Tesla, Intel Mobileye объявил о сотрудничестве с Ford, в рамках которого он поставит компании по всему миру систему помощи водителю. Вы спросите, наверное, это уже полностью автономный авто с 4 или уже 5 уровнем ADAS? Да нет. Всего-навсего 0 2 уровень обычная система помощи водителю.
Вот вам на лицо два тренда выскакивание из штанов для накрутки рейтингов, роста акций, поддержания хайпа и т.д. и абсолютно честная позиция компании-профессионала, которая спокойно делает свое дело. Именно по таким результатам сегодня и нужно оценивать реальное состояние рынка ADAS.

В продолжении темы, в начале 2020 года специалисты California Department of Motor Vehicle (DMV) опубликовали очередной отчет, в котором, проводятся данные лучших компаний-разработчиков беспилотных систем, тестирующих свои автопилоты на территории штата. Согласно DMV, 60 компаний обладатели лицензий на автономное вождение, проехали за 2019 год около 2,88 миллиона миль в автономном режиме на дорогах общего пользования в Калифорнии, что на 800 000 миль больше, чем за 2018 год. Вот так выглядит ТОП-2020: Waymo, Cruise Automation, Apple, Uber, Lyft, Aurora, Nuro, Pony.ai, Baidu, Zoox, Tesla. Методика оценки качества их автопилотов заточена на количество пройденных миль и часов при условии невмешательства водителя в управление. Однако, представители профессионального сообщества все более активно выражают свой протест против подобного рода подходов. Если мы проезжаем 100 миллионов миль по ровному, сухому району, где нет ни других транспортных средств, ни людей, ни перекрестков, уровень нашего автопилота (степень невмешательства водителя в управление) на самом деле будет сопоставим с пробегом лишь в 100 миль в таком оживленном и сложном городе, как Питсбург, уверены топ-менеджеры Aurora и Cruise. Такие методики абсолютно не рассчитаны на эксплуатацию авторобота на реальных дорогах. Добавим от себя, что рассматриваемый показатель, вероятно, вообще никак не сопоставим с проездом по окрестностям любого из российских городов. Да и не только российских. А если зима, дождь, туман и т.д.? Эксперты едины во мнении, что пришло время новой метрики оценки качества автопилотов.

Вернемся к нашим разработкам.

В прошлом году Cognitive Pilot получила престижную премию профессионального сообщества Tech.AD в Берлине, как третья в мире компания-разработчик ADAS в категории 'The Most Innovative ADAS Technology'. В результате открытого голосования топ-менеджеров известных автопроизводителей и отраслевых экспертов мы уступили только хозяевам мероприятия, известному германскому разработчику BrighterAI и одному из ведущих мировых automotive-брендов Velodyne.

Награда 'The Most Innovative ADAS Technology' профессионального automotive-сообщества Tech.AD Берлин, врученная Cognitive Pilot

Расскажем теперь о том, как куется лидерство.

От R&D до реальных машин

Наша история R&D началась еще году в 2008 и через несколько лет воплотилась в конкретный прототип мобильного робота, который в режиме реального времени обрабатывал видеопоток, распознавал окружающую сцену, детектировал объекты и формировал управляющее воздействие, направленное на решение поставленной задачи игру с мячом в футбол. Если мяч находился в поле зрения камеры, робот детектировал мяч, разгонялся и толкал его бампером. Если мяч покидал поле зрения камеры, то робот начинает его искать.

На следующем этапе наши работы продолжились на Nissan XTrail. Здесь важно понимать, что для систем Искусственного Интеллекта крайне важно обучение в настоящих боевых условиях.

Так выглядел первый опытный образец беспилотного автомобиля Cognitive Pilot

Мы изначально нацеливались создать автопилот, способный работать в любую погоду, на любых дорогах и собирали датасеты в самых сложных условиях. Мы отрабатывали базовые технологии в дождь и снег, туман и изморось, на канавах и проселочных дорогах. Оценивали, как в комплексе работает компьютерное зрение, алгоритмы принятия решения, локализация.

Пример распознавания объектов дорожной сцены в сложных погодных условиях:

Пример тестовых проездов XTrail в Сколково:

Слово о датасетах

В отличии от многих игроков, которые работают в основном с готовыми, публичными датасетами в приложениях для одного рынка automotive, мы накопили солидную экспертизу по обучению нейронных сетей на собственных датасетах еще и в направлениях агро и рельсового транспорта. У нас в этой зоне самый крутой опыт в мире. Фактически, мы создали инфраструктуру работы с датасетами и активно используем его при разработке ADAS моделей. У нас есть большая группа разметки. Свой туллинг, который позволяет использовать технологии для ускорения разметки, для ускорения контроля. Нашим спецам не нужно у себя настраивать всю инфраструктуру для работы с нейронными сетями. У нас все эти сетки развернуты, как сервисы в офисе, и тонкие клиенты общаются с ними, и разметчики это могут использовать как начальное приближение, или как способ отбора интересных данных.

Сами инструменты разметки оптимизируются у нас по количеству кликов. Например, если ты размечаешь дорогу, то тебе не нужно оконтуривать все элементы на ней. Это долго и требует много кликов. Мы, используя геометрию дорожной сцены, сделали такой инструмент, что разметка элементов дороги производится быстро, в один клик. Автоматически (полуавтоматически) все делится на отдельные объекты с небольшой корректировкой. Это позволяет увеличить выход от разметчика (уменьшить цену размеченного кадра).
У нас организована работа по выявлению информативных примеров, которые влияют на дальнейшее дообучение. Потому что дисбаланс в датасетах очень распространенная проблема. Ты собираешь 90% одинаковых данных, где машина едет и все ОК. А нужны данные, где сети наоборот, плохо работают, и мы стараемся, как можно более эффективно выявлять такие данные из записанных.

Так нейросеть видит дорожную сцену

При этом мы тренируемся на реальных данных. Симулятор используем только на этапе отладки. Например, чтобы не выезжать в машине в дождь или холод, а сделать все в офисе.

Анатомия компьютерного зрения

Тренируясь на любых дорогах и в любую погоду, мы смогли создать целый ряд уникальных технологий, позволяющих детектировать с высокой точностью объекты дорожной сцены и тем самым обеспечить безопасность участникам движения. При этом в своих разработках искусственного интеллекта, мы придерживались антропоморфного подхода, моделируя основные мыслительные процессы человека, считая, что круче Бога никто ничего не придумал.
Мы можем с уверенностью сказать, что сегодня по точности детекции объектов на реальных дорогах мы находимся в самом топе разработчиков в мире. Еще на CES 2018 мы сравнивались по своим метрикам с другими лидерами и явно видели свое преимущество. Нас тогда американцы прозвали снежный искусственный интеллект за безопасную езду в плохую погоду.

Виртуальный тоннель

Эта одна из первых, запатентованных нами технологий компьютерного зрения. Она позволяет качественно распознавать дорожное полотно и делает это независимо от наличия разметки и других инфраструктурных элементов. Она эффективно работает в любую погоду, независимо от времени года, снегового покрова, наличия асфальтового покрытия и т.д.
В основе предложенного метода лежит принцип внутреннего самоподобия дорожной сцены. Мы научились выявлять наиболее общие, фундаментальные признаки, присуще дорожному полотну, будь это автомагистраль, проселочная или грунтовая дорога. Это позволяет распознавать дорожное полотно с высокой точностью и обеспечивать устойчивую работу разработанных на основе технологии алгоритмов компьютерного зрения на различных конфигурациях дороги и в различных условиях: поворотах в разные стороны, подъемах, спусках, в ночное время, зимний период, а также в неблагоприятных погодных условиях.

Свое название виртуальный тоннель технология получила, поскольку именно такую форму напоминает удаляющаяся последовательность прямоугольных зон интереса.
До сих пор она является одной из наших базовых инноваций, которые позволяют распознавать любые дороги.

Работа виртуального тоннеля:

Распознавание объектов

Помимо распознавания дороги, второй важный момент детекция подвижных объектов. В основном, они делятся на четыре типа: машины, мотоциклы с мотоциклистами, велосипеды с велосипедистами (у них разная с мотоциклами динамика) и пешеходы. Последние три группы довольно сложные объекты для распознавания, поскольку они не имеют постоянной формы.

Примеры распознавания скутеристов и велосипедистов

Дальше идет система распознавания знаков (TSR или Traffic Sign Recognition). Она зависит от страны, хотя какие-то знаки повторяются в разных системах. Обычно их делят на европейскую и американскую, притом в России используется европейская система с незначительными вариациями.

Для распознавания знаков ограничения скорости мы сначала локализуем знак, а дальше распознаем текст внутри. Обычно так не делают. Обычно это просто классификация, но при таком подходе знаки распознаются плохо. У нас существует отдельная подсистема распознавания значения скорости. Мы для этого используем методы OCR. Аналогичным образом распознаются таблички под знаками.

Распознаем дорожные знаки

Частично заслоненные объекты

При частичном заслонении объектов или оклюзии (occlusion), наша стратегия разметки состоит в том, что при обучении форма объекта как-бы додумывается. Например, если видна половинка человека, то датасет все равно готовится, как когда человек виден полностью. Он обводится полностью. Сеть все равно учится как по целому человеку.
Если говорим про знаки, основная проблема их выделить. Из всех данных важно выбрать подборку, когда, например, знаки спрятаны за деревьями. Систему нужно до определенного уровня натренировать и с помощью ее искать эти знаки.

В любом случае важен подбор данных. Если есть разнообразные (не только идеальные, но и плохо различимые) данные, будет хорошая сеть.

Примеры разметки частично заслоненных объектов: автомобилей, дорожных знаков и пешеходов (слева оригинальная картинка, справа, примеры разметки)

Отдельная тема произвольное препятствие на дороге. Это может быть упавший с машины груз или, как в случае с одной из последних аварий Tesla, перевернувшаяся фура. Без типизации мы должны определить обладающий высотой объект, понять, что он не нарисован на дороге и как-то его объехать или экстренно затормозить.

Примеры детекции объектов дорожной сцены

Теперь распознавание светофоров. В самом простом случае умная система должна предупредить водителя, если, например, уже загорелся зеленый, а машина еще стоит. Более сложная задача определение произвольных светофоров. У знаков и светофоров есть некая область действия. Системе нужно понять логику этого светофора или знака в контексте других распознанных объектов дорожной сцены. Без понимания контекста в дорожной ситуации разобраться нельзя, когда система видит, к примеру, два светофора, на одном из которых горит зеленый, а на другом красный.

Предсказание поведения

Когда мы собираем дорожную сцену, одним из ключевых вопросов является behavior prediction (предсказание поведения). Пару-тройку месяцев назад Tesla опубликовала пост, что ее автопилоту типа удалось предотвратить боковое столкновение с несущимся на нее слева автомобилем.
Видео:

Очевидно, что заслуга в предотвращении ДТП заключается не в умении ИИ Tesla прогнозировать развитие событий, а в возможностях боковой камеры и обычных инженерных решениях.

Нейронка над нейронкой

Теперь остановимся на наших подходах, позволяющих строить прогнозы развития дорожных ситуаций. Начнем с пешеходов одних из наиболее опасных объектов, которые часто становятся причинами ДТП. Когда автомобиль приближается к перекрестку, возникает задача оценки поведения людей, стоящих у края дороги. При этом сложно получить оценку внутри толпы, не разбирая объекты на части. Поэтому мы сначала запускаем общую детектирующую полносвязную нейронку, которая определяет все необходимые для нас объекты сцены, например, пешеходов, автомобилей, знаков и т.д. Эта сеть работает всегда. Далее, после определения в кадре человека запускается дополнительная нейронная сеть, как бы нейронка над нейронкой, которая предсказывает human pose estimation ключевые точки, соответствующие частям тела на человеке, выделяет скелеты на людях. Для прогнозирования используются специальные системы, самая популярная из которых оценивает положение 17 точек на теле человека (скажем, поворот головы определяется по глазам, носу и ушам). Еще определяется направление плеч, глаз, коленей и т.д. Когда мы захватили цель человека, начинаем ее непрерывно вести от кадра к кадру. Если, например, система работает 10 кадров в сек., то мы можем за секунду 10 раз распознать человека и получить 10 таких скелетов. Имея в 10 моментах времени изменения по скелетам, мы можем оценить движение пешехода.

Если человек стоит спиной к проезжей части, он нам, скорее всего, не опасен, а если плечи направлены к дороге и голова в сторону автомобиля, то он нас видит. Если голова направлена в сторону проезжей части, это уже опасный человек. Дальше рассматриваются вероятностные модели траекторий, и система принимает решение.

При помощи получения такой статистики движения можно достоверно строить гипотезы движения пешеходов.

Есть еще сети, которые одновременно могут и детектировать, и предсказывать скелеты. Но они достаточно тяжелые. А наш вариант динамически подключается и не требует больших затрат.

Предсказываем поведение пешеходов

Для определения направления движения других машин используются так называемые кубоиды (3D-ориентация), а также учитывается трекинг во времени. Тут тоже нужно прогнозировать траекторию движения с использованием вероятностной модели, определять ее возможное пересечение с нашей и принимать решение.

В ADAS-системах выделяют порядка 10 наиболее типичных сценариев поведения водителей. Есть определенные классы маневров. Что он хочет? Например, ничего. Движется прямо в своей полосе. Или перестраивается в соседнюю полосу, направо или налево. Или поворачивает направо или налево, снижает скорость для парковки. Их можно прогнозировать. Примерно, как распознавание жестов. Имея четкий прогноз поведения ADAS система предотвращает ДТП. Мы строим модель поведения объекта, оцениваем траектории, сталкиваемся или не сталкиваемся, время до столкновения. Если маневр такой, что мы сталкиваемся, выбираем тот или иной сценарий и далее актуация.

Такие типичные ситуации разной сложности есть на euroncap.com. Например, мы едем за машиной, держим дистанцию. Передняя машина видит препятствие (машина на аварийке), выруливает, и мы должны ее объехать.

Вообще главное отличие полноценной системы автопилотирования от всех прочих даже в непонятной ситуации она обязана принять решение за четко отведенный промежуток времени. Отказы, как говорится, не принимаются.

Искусственная интуиция

Технология Cognitive Artificial Intuition (CAI) позволяет моделировать элементы интуиции человека и делать точный прогноз развития дорожной ситуации для всех участников дорожной сцены, формировать сценарии безопасного движения, в том числе и в критических дорожных ситуациях.

Интуиция является ключевым фактором в принятии водителем многих решений. Известно, что когнитивная психология объясняет интуитивные процессы как способность человека непреднамеренно и неосознанно обрабатывать комплексную информацию. В процессе интуитивного познания человеком не осознаются все те признаки, по которым осуществляется вывод. Предельно ясно осознаётся именно итог мысли.

Наши спецы научились выделять такие признаки в рамках исследования поведения объектов дорожной сцены. Например, водитель может боковым зрением уловить какое-либо мельчайшее изменение направление движения бокового зеркала соседнего автомобиля, или колена пешехода, подходящего к проезжей части, или руля велосипедиста, находящегося справа и т.д. Эти детали не находятся в прямой зоне видимости и логический аппарат человека их напрямую не фиксирует, не осознает. Но интуитивно можно догадаться, что за этим может последовать опасное движение, и водитель перестраивается в другой ряд или предпринимает торможение. Эти особенности и учитывает CAI.

Технология использует ряд решений, в числе которых детектирование и определение динамики мелких элементов объектов дорожной сцены и предметов на дороге. Например, наблюдая за изменением положения в пространстве фары или бокового зеркала впередиидущей машины, можно прогнозировать ее маневр.

Пример детекции мелких деталей автомобилей боковых зеркал, колес, номеров:

CAI позволяет существенно повысить уровень безопасности автономного движения. На рынке не отмечено промышленных примеров аналогичных решений.

Комбинирование данных

Еще одной проблемой, которая стала камнем преткновения для многих разработчиков ИИ для автороботов, является интеграция данных, полученных от разных сенсоров (видеокамер, радаров и т.д.) на вычислительный блок. Как показала практика, попытки многих команд объединять данные на высоком уровне high level data fusion (данные от каждого сенсора сначала поступают в вычислительный блок и только потом объединяются) нередко приводят к снижению общего качества распознавания объектов дорожной сцены. Ошибки каждого из каналов складываются.

Sensors fusion наша сильная сторона. Технология Cognitive Low Level Data Fusion (CLLDF) позволяет эффективно комбинировать данные в модели компьютерного зрения. Принцип ее действия антропоморфный, как и большинство подходов, которые мы используем. Информация, снятая с каждого из датчиков, сначала синхронизируется и приводится к единой системе координат. Затем, сырые данные поступают в вычислитель, где они комплексно обрабатываются взаимно обогащая друг друга.

Комплексное использование данных также позволяет объединить всю информацию о скорости, координатах, расстоянии до объекта, его типе, взаимном расположении, наличии других объектов в непосредственной близости от него и их физических характеристиках.
Такой подход позволяет также реализовать компенсаторную функцию когда один из органов чувств человека отказывает или выполняет свои функции не в полном объеме, активность других существенно усиливается. Аналогично архитектура Cognitive Low level Data Fusion в таких случаях предусматривает возможность получения более детальных данных о дорожной сцене от других сенсоров. Например, если сигнал от радара детектирует препятствие на пути автомобиля, а видеокамера из-за ослепления солнцем его четко не распознает, искусственный интеллект оценит эту ситуацию, как проблемную и либо затребует более детальную информацию от видеокамеры, либо примет решение на основе данных с радара.

CLLDF позволяет существенно повысить качество распознавания объектов дорожной сцены до промышленного, и что особенно важно, в сложных дорожных, погодных и климатических условиях. По данным экспертов, технология CLLDF дает возможность снизить уровень аварийности беспилотного автомобиля на 20%-25%

Радар VS Лидар

Многие автопроизводители для получения необходимой информации о дорожной сцене в качестве одного из основных сенсоров, помимо видеокамер, используют лидары сканирующие излучатели на базе лазеров, позволяющие определять помимо расстояния до объекта, его форму. Однако их физические характеристики существенно деградируют в условиях дождя, снега или пылевых облаков. Приборы сильно подвержены загрязнению и быстро выходят из строя. Кроме того, их стоимость во многих случаях бывает сопоставимой со стоимостью автомобиля. Все это исключает возможность их промышленного использования на данном этапе.

Мы в наборе используемых в задаче создания компьютерного зрения сенсоров используем видеокамеры и радары. Это наиболее оптимальная комбинация для промышленного использования, как техническим, так и по стоимостным характеристикам. Такое положение дел было подтверждено на последних оффлайновых Tech.AD в Дейтройте и Берлине.
А с появлением промышленного Cognitive Imogine 4D-радара, позволяющего, помимо скорости и координат получать также форму объектов дорожной сцены независимо от наличия снега, дождя, пыли, условий видимости и т.п., и имеющего к тому же стоимость в пару сотен долларов, эксперты рассчитывают, что дебаты вокруг проблемы соперничества сторонников радарного и лидарного подходов просто прекратятся.

Видео сравнения возможностей 4D-радара и лидара:

Поедет ли робот?

В заключение, отвечая на главный вопрос статьи, можем сказать: машина обязательно поедет без водителя по дорогам общего пользования, но промышленные образцы появятся точно не в ближайшие годы. Причем эксперты отрасли на своих профтусовках продолжают отодвигать границы своих прогнозов по этому событию. Лет на 10, а то и больше. Это значит, что те автомобили, которые сегодня маркетингово позиционируется как беспилотные, требуют обязательного контроля со стороны водителя. А многие прототипы, которым приписываются 4-е, или чуть ли не 5-е уровни, как правило, представляют собой тестовые образцы со стоимостью обвеса, не позволяющей им даже в перспективе выйти на промышленное производство. Надо наконец спуститься с небес на землю. Машины будут умнеть постепенно. В ближайшее время стоит ожидать появления промышленного автопилота 3-го уровня, когда водитель не принимает участия в управлении в определенных режимах, например, на хайвее или в пробках. Но опять-таки, оговоримся, законодательная и исполнительная власть должна регламентировать и разрешить такой режим использования автороботов на дорогах общего пользования. Такие меры не потребуются на закрытых территориях, где иже сегодня работают автономные погрузчики, транспортеры и другая техника. Правда не вся она в качестве модели управления использует ИИ. Многие разработки функционируют на основе GPS-навигации и высокоточной картографии.

В любом случае нужно понимать, что рынок находится только в стадии своего формирования. И тот, кто первым создаст промышленный автопилот, и может сорвать джек пот. И на это сегодня имеет шансы любой игрок рынка automotive.