Русский
Русский
English
Статистика
Реклама

Перевод От процедурной генерации к детерминизму подходы к моделированию синтетических данных для беспилотных авто

image

Симуляции очень важны для ускорения развития методов проектирования во многих отраслях промышленности. В области автомобильных систем беспилотной езды симуляции традиционно используются для тестирования алгоритмов планирования и управления движением. Повторные симуляции используются для разработки систем распознавания, в которых данные с датчиков дорожного движения записываются и воспроизводятся с помощью разнообразных программных стеков для проверки эксплуатационных качеств. Впрочем, эти симуляции были преимущественно ограничены сценариями, встречающимися в реальных автомобилях.

Существует и еще один тип симуляции, становящийся все более важным генерация высококачественных искусственных данных, точно передающих информацию о реальных дорожных ситуациях. Проблема использования исключительно дорожных данных заключается в том, что для приближения к границам возможностей модулей распознавания в различных операционных областях необходимо собрать и разметить огромные массивы данных. Кроме того, алгоритмы распознавания перестают соответствовать имеющимся данным и выходят из строя при работе вне отработанной среды и при других условиях. В свою очередь, синтетические данные могут создаваться быстро и дешево, а их описания создаются автоматически с использованием базовых знаний о моделируемой среде.

Проблемы генерации синтетических данных для модулей восприятия


Несмотря на то, что задача синтетического моделирования данных для датчиков кажется простой и очевидной, на самом деле она очень сложна. Помимо создания реалистичных синтетических сред разных регионов (например, Сан-Франциско или Токио), для моделирования каждого типа датчика требуется детальное знание основных физических свойств и особенностей различных датчиков, используемых в отрасли. Также, несмотря на то, что для других приложений моделирование может выполняться значительно медленнее, чем в реальном времени, большинству алгоритмов беспилотной езды требуется именно производительность, приближенная к работе в режиме реального времени. Таким образом, в разных сценариях использования необходимы разные уровни производительности и точности моделирования.

Несмотря на то, что для моделирования каждого из датчиков прикладываются значительные усилия, специалисты ожидают, что в ближайшее время между реальными и синтетическими данными возникнет ощутимый разрыв. Алгоритмы восприятия могут обучаться на реальных данных с датчиков и тестироваться на синтетических данных (переход от реальных данных к синтетическим) и наоборот (переход от синтетических данных к реальным), причем алгоритмы разных видов будут работать по-разному. Данная проблема относится не только к данным для симуляций. Алгоритмы восприятия с определенным набором датчиков, обученные на дорогах Калифорнии, скорее всего будут работать хуже с другим набором датчиков. Также этот алгоритм может плохо работать при тестировании на дорогах в других регионах.

image

Рис. 1: тестирование систем восприятия на синтетических данных

Создание трехмерных синтетических сред


Многие подходы к созданию окружающих сред были разработаны в результате десятилетий работы индустрии развлечений. Впрочем, между отраслями беспилотного транспорта и развлечений существуют значительные отличия. Несмотря на то, что в обеих сферах присутствуют высокие требования к фотореализму, к средам для беспилотного транспорта есть дополнительные требования: они должны создаваться дешево и быстро (в то время как в индустрии развлечений на это могут уходить месяцы), должны быть чрезвычайно реалистичными (как для человеческого глаза, так и для датчиков) и вариативными, а также должны поддерживать множество тестовых случаев.

Обычно трехмерные среды создаются вручную 3D-художник создает ресурсы и размещает их в создаваемом мире. Такой подход дает фотореалистичные результаты и отлично подходит для демонстраций. Впрочем, из-за своего ручного характера, он не масштабируется для создания виртуальных областей со всего земного шара и не позволяет создать столько виртуальных сред, сколько требуется для тестирования беспилотного транспорта. Таким образом, мы сталкиваемся с ограничениями виртуальных сред.

Альтернативный подход заключается в использовании методов сканирования реального мира он гарантирует соответствие искусственной среды с ее образцом. Недостаток этого метода заключается в том, что данные реального мира зачастую имеют множество погрешностей и неточностей. Поскольку освещение запечено, а по поверхности невозможно определить ее материал, камеры и лидары выдают лишь приближенные данные. Кроме того, в среде могут встречаться разрывы, неправильные описания и движущиеся объекты, которые необходимо удалить. Также этот метод выдвигает значительные требования к ресурсам для хранения данных и вычислений, а также он может моделировать только те области, которые встречаются в реальной жизни.

Относительно новых подход создание виртуальных миров на основе процедурной генерации. Таким образом можно быстро создавать большие области и города на основе разнообразных входных данных, в результате чего мир будет создаваться с помощью математических методов (рис. 2). Также этот подход позволяет указывать множество различных вариантов среды, чтобы предотвратить переобучение. Такие параметры, как время дня или погода могут быть изменены при условии точности аннотаций. В целом, новые карты могут создаваться за малые доли того времени, которое требуется для ручного создания виртуальных сред. Сложность этого подхода заключается в обеспечении качественного создания объектов реального мира без ручных правок.

image

Рис. 2: процедурно сгенерированные здания в высоком разрешении

Точное моделирование датчиков


При генерации синтетических данных в качестве входных данных для датчиков используются среды, о которых мы говорили выше. Эти датчики должны быть способны симулировать оценку глубины лидаром, характеристики цифрового формирования луча радаром и источники шумов в камерах. При этом, эти датчики должны быть достаточно производительными, чтобы осуществлять программно-аппаратное тестирование или работать с приложениями машинного обучения, требующими большие объемы данных.

Несмотря на то, что предположение о том, что датчик может работать с сотнями и тысячами разновидностей условий и топологий, в конечном итоге все они должны подчиняться одним и тем же фундаментальным принципам передачи энергии и теории информации. Тщательно продуманная структура симуляции датчиков может обеспечить гибкость структуры, используемой в различных условиях. Эта основополагающая философия основывается на стремлении перенести инструменты для разработки электрооптических систем и систем обработки сигналов из мира проектирования датчиков в мир симуляции и технологий восприятия.

Даже если система хорошо продумана с теоретической точки зрения, она ценна лишь настолько, насколько она может улавливать свойства своего аналога из реального мира. Степень корреляции между реальностью и моделью сильно зависит от сценариев использования. В простых сценариях может быть достаточно простой сводной таблицы с данными, в то время как в других случаях может потребоваться количественная статистическая оценка различных свойств и характеристик для этого как правило используют сочетание лабораторных и полевых экспериментов для определения конкретных свойств датчика. Таким образом, моделирование работы датчиков (и точность этого моделирования) можно рассматривать как науку, в которой берется эталон, который затем последовательно ухудшается.

image

Рис. 3: симуляция вращающегося лидара с 128 лазерами

Эффективность и повторяемость синтетических данных


Существует два аспекта, которые ограничивают удобство использования синтетических данных эффективность и повторяемость. Ввиду множества причин, самая большая проблема при моделировании датчиков для систем беспилотной езды это точность, которая может быть достигнута в рамках требований к обработке в реальном времени. Точность и производительность также тесно связаны с масштабируемостью поколений синтетических датчиков. Для создания масштабируемого решения все более важным становится параллельное использование ресурсов.

Такая координация ресурсов естественным образом подводит нас к вопросу о повторяемости. Для того, чтобы распараллеливание приносило пользу, необходимо обеспечить баланс между параллельным и непараллельным моделированием. Детерминизм это ключевой компонент, который позволяет инженерам тестировать изменения в своих алгоритмах изолированно, в то же время используя разнообразные возможности моделирования.

Симуляция датчиков: адаптация к частным случаям


После того как будут созданы методы разработки сред и датчиков, возникнет следующий вопрос достаточно ли получаемых синтетических данных для всех сценариев использования? Сценарии использования могут варьироваться в зависимости от степени готовности программного обеспечения: от проверки размещения датчиков с использованием синтетических данных до тестирования финальных версий производственных систем перед их развертыванием.

У всех сценариев использования имеются разные требования к уровням точности модели. Эти уровни точности управляют процессами проверки и валидации. Проверка описывает процесс определения соответствия получившейся модели и исходной спецификации (удалось ли нам создать то, что мы изначально планировали?). Также проверка связана с определением детерминизма (воспроизводятся ли результаты модели каждый раз в одних и тех же условиях?) При валидации же все наоборот: для определения соответствия модели потребностям целевого приложения учитываются требования конечного пользователя. В некоторых случаях допустимо даже использование грубого приближения к физической модели, лежащей в основе датчика. Впрочем, в сценариях использования для производственных испытаний требуются синтетические модели датчиков, которые прошли испытания как лабораторных условиях, так и в реальных это необходимо для обеспечения точного соответствия допустимым уровням неопределенности.

Задача оценки моделей датчиков также более сложна, чем простая проверка уровня выходного сигнала. Несмотря на то, что это справедливо для многих технологий восприятия в системах беспилотной езды, конечный пользователь также заинтересован в том, чтобы модели восприятия работали эффективно как на синтетических данных, так и на реальных. Эти модели могут быть основаны на компьютерном зрении или построены с использованием различных методик машинного и глубокого обучения. В этих сценариях использования источники неопределенности неизвестны (в случае, если к модели датчика нет полного доверия).

Подход Applied Intuition


Компания Applied Intuition с нуля разработала инструмент для моделирования систем восприятия, который позволяет решать проблемы, описанные выше. Этот инструмент включает в себя средства для создания крупномасштабных сред, разработки датчиков с множеством уровней точности, а также позволяет проводить тестирование на основе сценариев использования. Процедурная генерация сред производится с помощью уникального конвейера, гибкого в отношении географических областей, приложений систем беспилотной езды и источников данных.





image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Источник: habr.com
К списку статей
Опубликовано: 27.10.2020 08:18:20
0

Сейчас читают

Комментариев (0)
Имя
Электронная почта

Блог компании нпп итэлма

Обработка изображений

Машинное обучение

Разработка робототехники

Транспорт

Automotive

Итэлма

Компоненты для автопроизводителей

Электроника для автотранспорта

Adas

Connected cars

Connectivity

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru