Русский
Русский
English
Статистика
Реклама

Беспилотные автомобили

Собираем свой маленький беспилотник

11.02.2021 20:09:20 | Автор: admin

Будем делать вот такой, маленький, как на картинке, беспилотный автомобиль.

Вот так выглядят маленькие беспилотникиВот так выглядят маленькие беспилотники

Как я дошёл до этого

Мне всегда были интересны темы беспилотников и роботов, но руки до такого не доходили - боялся слишком большого объёма навыков, которые потребуются для этого.

В марте-апреле 2020го года, когда сидение дома уже порядком поднадоело, понял, что я созрел для беспилотников. И, вдохновлённый статьёй Беслана, принялся изучать вопрос и заказывать необходимые комплектующие на Али и в других магазинах.

Приезжали заказы в разное время, поэтому, из всего, что попадало под руку, собирал первые версии беспилотника (тогда ещё ни разу не беспилотного).

Первые шагиПервые шаги

Начиналось всё с черепахоподобного поделия из картона, котому требовался сетевой провод. Провода от двух веб камер были перетянуты кабельными стяжками. А машинка не была соединена с компьютером, и я управлял ей с радиопульта от RC машинки.

В качестве мозга для беспилотника я выбрал Nvidia Jetson Nano Developer kit, а в качестве тачки - Remo Hobby S-Max - это то немногое, что осталось в беспилотнике по сей день.

Рабочий прототип из картона и макетных платРабочий прототип из картона и макетных плат

Затем машинка стала обрастать новыми компонентами: появились беспроводная сеть, лидар, IMU и остальные.

В процессе добавления я осваивал кучу нового:

  • ROS

  • Вспоминал/изучал C++

  • Учился работать с разными устройствами

  • Осваивал нейронные сети и машинное обучение

  • Узнавал про алгоритмы, специфичные для роботов и беспилотников

  • Паял, резал, клеил и всячески работал руками и головой

Когда картон и макетные платы стали слишком замедлять процесс - приобрёл недорогой, но большой 3D принтер, а провода спаял с нужными разъёмами.

Сперва спроектировал всё из картона и соплей (но с котиком)

Почти рабочий прототипПочти рабочий прототип

А потом уже сделал корпус из пластика. В процессе пришлось освоить проектирование в CAD (использовал FreeCAD) и разобраться с настройкой принтера.

Потом писал алгоритмы, исправлял баги и добавлял датчики.

Что получилось

Платформа, для которой вы можете писать различные алгоритмы по исследованию, картографированию, распознаванию и другие - датчиков для этого хватает, а код можно писать на питоне прямо в браузере.

Тут есть:

  • камера (ночного видения), что бы смотреть и распознавать объекты

  • однолучевой лидар и лазерные датчики расстояния, что бы строить карту стен и других препятствий

  • управление машинкой, что бы ехать, куда хочется

  • колёсная одометрия и IMU, что бы понимать куда вы заехали

Уже есть несколько готовых скриптов (Jupyter notebook'ов):

  • что бы просто поуправлять машинкой с джойстика, глядя при этом на картинку с камеры и на вид сверху, построенный по лидару

  • беспилотный режим: машинка сама исследует помещение, строит его карту и ищет жертву живность (людей, кошек и собак), а, найдя такой объект, - следует за ним

Я потратил много времени и оттоптал много разных граблей и велосипедов, и теперь хочется поделиться своим опытом и наработками с сообществом.

Что требуется (список компонентов)

  • RC машинка Remo Hobby Smax 1:16 RH1635

  • Контроллер мотора, у меня такой: SURPASS HOBBY KK 35A ESC Waterproof Electric Speed Controller for 1/16 RC Car Brushless Motor Power system

  • Одноплатный компьютер Nvidia Jetson Nano Developer Kit

  • Микро SD карта на 64 GB (возможно, влезет и на 32)

  • wi-fi карточка типа такойи пара антен с IPEX разъёмом (USB свистки с wi-fi показали себя очень плохо)

  • Два датчика Холла типа KY-003 для Arduino

  • магнит примерно такого размера: 20x3x2 мм

  • камера, работающая с Jetson Nano; у меня IMX219 8MP Infrared Night Vision 160 Degree FOV + 2 Infrared LED Lights

  • система питания для jetson'а типа T208 или T200 на 18650 акумуляторах и сами аккумуляторы или повербанк (но тут нужно брать с хорошим током и нужно будет stl модельку для корпуса под него исправить)

  • однолучевой лидар типа YDLIDAR X2L

  • IMU типа Bosh BNO055

  • ШИМ плата PCA9685 для соединения контроллера двигателя и Jetson'а

  • Конвертер логических уровней для преобразования из 5V в 3.3V и обратно

  • короткий USB - USB-C дата кабель (что бы заменить слишком длинный кабель от лидара)

  • (опционально) два датчика расстояния; у меня VL53L0X (6 pin)

  • доступ к 3D принтеру

  • провода, коннекторы, стяжки, инструменты и т.д.

  • руки, которые смогут всё это соединить

Более подробно и со ссылками есть на github проекта.

Как собрать

Сделал туториал по сборке в виде нескольких видео.

Там же видео проездов и обсуждение задач и проблем.

Часть 1. Рассказываю, что и зачем делаю, соединяю основные компоненты.

Часть 2. Паяю, соединяю компоненты проводами.

Часть 3. Гоняю, рассказываю про софт и алгоритмы.

Часть 4. Запускаю два беспилотника вместе; добавляю лазерные сенсоры, что бы они друг друга видели

Ссылки

Код, STL модели для печати, описание и ссылки есть на github проекта.

Видео есть на моём канале, там же будут выходить новые серии.

Обсуждение этого и других интересных проектов роботов и беспилотников в telegram канале.

Что дальше

Буду дорабатывать алгоритмы:

  • дотюню/улучшу текущие

  • добавлю лидарную одометрию (ранее не успел допилить NDT, а теперь можно будет доделать)

  • добавлю салки/прятки с кошкой

  • другие алгоритмы исследования и детекции

Добавлю манипулятор, что бы можно было собирать с пола игрушки в ящик.

Попробую другие датчики для колёсной одметрии: магнитный датчик угла.

Подробнее..

Снежная слепота беспилотных авто

02.06.2021 10:16:01 | Автор: admin


У природы нет плохой погоды, каждая погода благодать. Слова этой лирической песни можно понимать образно, интерпретировав погоду как отношения между людьми. Можно понимать и буквально, что также верно, ибо не было бы снежной и холодной зимы, мы бы не так ценили лето, и наоборот. Но беспилотные автомобили лишены лирических чувств и поэтического мироощущения, для них далеко не вся погода благодать, особенно зимняя. Одной из основных проблем, с которыми сталкиваются разработчики робомобилей, это снижение точности датчиков, указывающих машине куда ей ехать, во время плохих погодных условий. Ученые из Мичиганского технологического университета создали базу данных погодных условий на дорогах глазами беспилотных авто. Эти данные были нужны дабы понять что нужно изменить или улучшить, чтобы зрение робомобилей во время снежной бури было не хуже, чем в ясный летний день. Насколько плохая погода влияет на датчики беспилотных авто, какой метод решения проблемы предлагают ученые, и насколько он эффективен? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.

Основа исследования


Работу беспилотных авто можно сравнить с уравнением, в котором очень много переменных, которые нужно учесть все без исключения для получения верного результата. Пешеходы, другие авто, качество дорожного покрытия (видимость разделительных полос), целостность систем самого беспилотника и т.д. Многие исследования ученых, провокационные заявления политиков, колкие статьи журналистов базируются на связи между беспилотным автомобилем (далее просто авто или автомобиль) и пешеходом. Это вполне логично, ибо человек и его безопасность должны стоять на первом месте, особенно учитывая непредсказуемость его поведения. Морально-этические споры о том, кто будет виноват, если автомобиль собьет пешехода, выскочившего на дорогу, продолжаются до сих пор.

Однако, если убрать из нашего образного уравнения переменную пешеход, то все равно останется много потенциально опасных факторов. Погода является одним из них. Очевидно, что в плохую погоду (ливень или снежная буря) видимость может снизиться настолько, что порой приходится просто остановиться, ибо ехать нереально. Зрение автомобилей, конечно, сложно сравнить со зрением человека, но их датчики страдают от снижения видимости не меньше нас. С другой стороны у машин есть более широкий арсенал этих датчиков: камеры, радары диапазона миллиметровых волн (MMW), система глобального позиционирования (GPS), гиростабилизатор (IMU), система обнаружение и определение дальности с помощью света (LIDAR) и даже ультразвуковые системы. Несмотря на это многообразие органов чувств, автономные машины все еще слепы во время плохой погоды.

Дабы понять, в чем же дело, ученые предлагают рассмотреть аспекты, совокупность которых тем или иным образом влияет на возможное решение этой проблемы: семантическая сегментация, обнаружение проходимого (подходящего) пути и объединение датчиков.

При семантической сегментации вместо обнаружения объекта на изображении каждый пиксель классифицируется индивидуально и присваивается классу, который пиксель представляет лучше всего. Другими словами, семантическая сегментация это классификация на уровне пикселей. Классическая семантическая сегментация сверточная нейронная сеть (CNN от convolutional neural network) состоит из кодирующей и декодирующей сетей.

Кодирующая сеть понижает дискретизацию входных данных и извлекает функции, а декодирующая использует эти функции для восстановления и повышения дискретизации входных данных и, наконец, присваивает каждому пикселю тот или иной класс.

Двумя ключевыми компонентами в декодирующих сетях являются так называемые слой MaxUnpooling и слой свертки Transpose. Слой MaxUnpooling (аналог слоя MaxPooling операция пулинга с функцией максимума) необходим для снижения размерности обрабатываемых данных.


Пример операции MaxPooling.

Существует несколько методов распределения значений (т.е. пуллинга), которые имеют общую цель сохранить местоположения максимальных значений в слое MaxPooling и использовать эти местоположения для размещения максимальных значений обратно в совпадающие местоположения в соответствующем слое MaxUnpooling. Этот подход требует, чтобы сеть кодирования-декодирования была симметричной, в которой каждый уровень MaxPooling в кодере имеет соответствующий уровень MaxUnpooling на стороне декодера.

Другой подход разместить значения в заранее определенном месте (например, в верхнем левом углу) в области, на которую указывает ядро. Именно этот метод и был использован в моделировании, речь о котором пойдет немного позже.

Транспонированный сверточный слой противоположен обычному сверточному слою. Он состоит из движущегося ядра, которое сканирует входные данные и свертывает значения для заполнения выходного изображения. Объемом вывода обоих слоев, MaxUnpooling и транспонированного можно управлять, регулируя размер ядра, отступы и шаг.

Второй аспект, играющий важную роль в решении проблемы плохой погоды, является обнаружение проходимого пути.

Проходимый путь это пространство, в котором машина может безопасно двигаться в физическом смысле, т.е. обнаружение проезжей части. Этот аспект крайне важен для различных ситуаций: парковка, плохая разметка на дороге, плохая видимость и т.д.

По словам ученых, обнаружение проходимого пути может быть реализовано как предварительный шаг к обнаружению полосы движения или какого-либо объекта. Этот процесс вытекает из семантической сегментации, цель которой состоит в том, чтобы сгенерировать попиксельную классификацию после обучения на наборе данных с пиксельной разметкой.

Третий, но не менее важный, аспект это объединение датчиков. Под этим подразумевается буквальное объединение данных от нескольких датчиков для получения более полной картины и уменьшения вероятных погрешностей и неточностей в данных отдельных датчиков. Существует однородное и неоднородное объединение датчиков. Примером первого может быть использование нескольких спутников для уточнения местоположения по GPS. Примером второго является объединение данных камер, LiDAR и Radar для беспилотных авто.

Каждый из вышеперечисленных датчиков по отдельности действительно показывает отличные результаты, но только в нормальных погодных условиях. В более суровых условиях работы их недостатки становятся очевидными.


Таблица преимуществ и недостатков датчиков, используемых в беспилотных авто.

Именно потому, по мнению ученых, объединение этих датчиков в единую систему может помочь в решении проблем, связанных с плохими погодными условиями.

Сбор данных


В данном исследовании, как уже упоминалось ранее, были использованы сверточные нейронные сети и объединение датчиков для решения проблемы обнаружения пути, по которому можно проехать, в неблагоприятных погодных условиях. Предлагаемая модель представляет собой многопотоковую (по одному потоку на датчик) глубокую сверточную нейронную сеть, которая будет понижать дискретизацию карт функций (результат применения одного фильтра к предыдущему слою) каждого потока, объединять данные, а затем повторно повышать дискретизацию карт для выполнения попиксельной классификации.

Для проведения дальнейших работ, включающих расчеты, моделирование и тестирование, необходимо было много данных. Чем больше, тем лучше, говорят сами ученые, и это вполне логично, когда речь идет о работе различных датчиков (камеры, LiDAR и Radar). Среди множества уже существующих наборов данных был выбран DENSE, которые охватывает большую часть необходимых для исследования нюансов.

DENSE также является проектом, нацеленным на решение проблем нахождения пути в суровых погодных условиях. Ученые, работавшие над DENSE, проехали порядка 10000 км по Северной Европе, записывая данные с нескольких камер, нескольких LiDAR, радаров, GPS, IMU, датчиков дорожного трения и тепловизионных камер. Набор полученных данных состоит из 12000 выборок, которые можно разбить на более мелкие подгруппы, описывающие конкретные условия: день+снег, ночь+туман, день+ясно и т.д.

Однако для правильной работы модели необходимо было провести коррекцию данных из DENSE. Исходные изображения камеры в наборе данных имеют размер 1920 х 1024 пикселей, их уменьшили до 480 х 256 для более быстрого обучения и тестирования модели.

Данные LiDAR хранятся в формате массива NumPy, который нужно было преобразовать в изображения, масштабировать (до 480 x 256) и нормализовать.

Данные радара хранятся в файлах JSON, по одному файлу для каждого кадра. Каждый файл содержит словарь обнаруженных объектов и несколько значений для каждого объекта, включая x-координаты, y-координаты, расстояние, скорость и т.д. Такая система координат параллельна плоскости автомобиля. Чтобы преобразовать ее в вертикальную плоскость, нужно учитывать только y-координату.


Изображение 1: проецирование y-координаты на плоскость изображения (слева) и обработанный кадр радара (справа).

Полученные изображения подвергались масштабированию (до 480 x 256) и нормализации.

Разработка CNN модели



Изображение 2: архитектура разработанной CNN модели.

Сеть была спроектирована так, чтобы быть как можно более компактной, так как глубокие сети кодирования-декодирования требуют немало вычислительных ресурсов. По этой причине сеть декодирования не была спроектирована с таким количеством уровней, как сеть кодирования. Сеть кодирования состоит из трех потоков: камера, LiDAR и радар.

Поскольку изображения с камеры содержат больше информации, поток камеры сделан глубже, чем два других. Он состоит из четырех блоков, каждый из которых состоит из двух сверточных слоев слоя пакетной нормализации и слоя ReLU, за которым следует слой MaxPooling.

Данные LiDAR не столь массивны, как данные от камер, потому его поток состоит из трех блоков. Точно так же поток Radar меньше, чем поток LiDAR, потому состоит всего из двух блоков.

Выходные данные от всех потоков изменяются и объединяются в одномерный вектор, который подключен к сети из трех скрытых слоев с ReLU активацией. Затем данные преобразуются в двумерный массив, который передается в сеть декодирования, состоящую из четырех последовательных этапов MaxUnpooling и транспонированной свертки для повышения дискретизации данных до размера ввода (480x256).

Результаты обучения/тестирования CNN модели


Обучение и тестирование проводились на Google Colab с использованием GPU. Подмножество данных, размеченных вручную, состояло из 1000 выборок данных камеры, LiDAR и радара 800 для обучения и 200 для тестирования.


Изображение 3: потери в обучающих выборках во время фазы обучения.

Выходные данные модели были подвергнуты постобработке с расширением и эрозией изображения с различными размерами ядер, чтобы уменьшить количество шума в выходных данных классификации пикселей.


Изображение 4: точность в тестовых выборках во время фазы тестирования.

Ученые отмечают, что самым простым показателем точности системы является пиксельная, т.е. отношение правильно определенных пикселей и неправильно определенных пикселей к размеру изображения. Пиксельная точность рассчитывалась для каждой выборки в наборе тестирования, среднее из этих значений и представляет общую точность модели.

Однако этот показатель не является идеальным. В некоторых случаях определенный класс недостаточно представлен в выборке, от чего точность пикселей будет значительно выше (чем на самом деле) из-за того, что не хватает пикселей для тестирования модели для определенного класса. Посему было решено дополнительно использовать MIoU среднее отношение области пересечения к области объединения.


Визуально представление IoU.

Подобно точности пикселей, точность по IoU вычисляется для каждого кадра, а конечный показатель точности это среднее от этих значений. Однако MIoU рассчитывается для каждого класса отдельно.


Таблица значений точности.


Изображение 5

На изображении выше показаны четыре выбранных кадра движения по снегу с камеры, LiDAR, радара, наземных данных и выходных данных модели. Из этих изображений очевидно, что модель может очертить общую окружность области, в которой транспортное средство может безопасно двигаться. Модель при этом игнорирует какие-либо линии и края, которые в противном случае можно было бы интерпретировать как края проезжей части. Модель также показывает хорошие результаты в условиях пониженной видимость (например, во время тумана).

Также модель, хоть это и не было основной целью данного конкретного исследования, избегает пешеходов, другие машины и животных. Однако этот конкретный аспект необходимо усовершенствовать. Тем не менее, учитывая, что система состоит из меньшего числа слоев, она обучается гораздо быстрее, чем ее предшественники.

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные данные к нему.

Эпилог


Отношение к беспилотным автомобилям неоднозначное. С одной стороны, робомобиль нивелирует такие риски, как человеческий фактор: нетрезвый водитель, лихачество, безответственное отношение к ПДД, малый опыт вождения и т.д. Другими словами, робот не ведет себя как человек. Это хорошо, так ведь? И да, и нет. Во многом автономные транспортные средства превосходят водителей из плоти и крови, но далеко не во всем. Плохая погода тому яркий пример. Человеку, конечно, непросто ехать во время снежной бури, но для беспилотных авто это было практически нереально.

В данном труде ученые обратили внимание на эту проблему, предложив сделать машины немного человечнее. Дело в том, что у человека тоже есть датчики, которые работают командно для того, чтобы он получал максимум информации об окружающей среде. Если датчики беспилотного авто также будут работать как единая система, а не как отдельные ее элементы, можно будет получить больше данных, т.е. повысить точность нахождения проходимого пути.

Конечно, плохая погода это собирательный термин. Для кого-то легкий снегопад это плохая погода, а для кого-то буря с градом. Дальнейшие исследования и тестирования разработанной системы должны научить ее распознавать дорогу в любых погодных условиях.

Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята. :)

Немного рекламы


Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Подробнее..

Беспилотные автомобили новая нефть, искусственный интеллект и 5G

14.04.2021 16:05:26 | Автор: admin

Вряд ли стоит лишний раз напоминать, что появление беспилотных автомобилей неразрывно связано с прогрессом в сфере искусственного интеллекта. Но для автономного вождения необходим не только ИИ. Беспилотный автомобиль получает данные с различных сенсоров: камеры, сонар, радар, лидар, GPS, что позволяет вести машину в любом окружении. Конечно, информацию с датчиков необходимо своевременно обрабатывать, и объемы здесь весьма немаленькие.

Данные обрабатываются не только компьютером автомобиля в реальном времени, часть информации поступает в периферийные дата-центры для дальнейшего анализа. И затем по иерархии в облако. Поэтому важен не только искусственный интеллект, которым наделен автомобиль, но и возможности обработки данных бортовым компьютером, на периферийных серверах и в облаке, а также скорость отправки данных за пределы автомобиля вместе с низкими задержками.

В нашей статье мы рассмотрим беспилотные автомобили в разрезе данных, которые необходимо собрать и обработать. Мы расскажем, какие этапы проходят данные, какие требования при этом существуют, какие решения предлагают производители. Сети 5G мы тоже упомянули не зря. Но позвольте обо всем по порядку.

Беспилотный автомобиль: базовые требования

Что же необходимо для автономного вождения? Ответ на этот вопрос зависит от того, что мы подразумеваем под автономностью. Системы автономного вождения не стоят на месте и постоянно совершенствуются, и сегодня различают несколько уровней беспилотного автомобиля.

Конечно, большинство автомобилей на дорогах не оснащены системами автономного вождения. У некоторых есть базовые системы помощи водителю, например, контроль устойчивости. Другие предлагают многоуровневые системы, справляющиеся с более сложными задачами. Здесь можно отметить удержание полосы движения вместе с круиз-контролем, что весьма полезно при движении по магистралям. Беспилотные автомобили, которые начинают появляться на дорогах, берут на себя все функции вождения и безопасности при некоторых условиях (например, в пробках), но водитель должен быть готов взять управление на себя. На улицах пока еще нет полностью беспилотных автомобилей, где водитель отсутствует. Но когда они появятся, компьютеру достаточно будет сообщить место назначения и предпочтения по навигации.

Система глобального позиционирования (GPS) позволяет автомобилю узнать, где он находится. Сегодня приемники GPS встроены во многие SoC, благодаря вычислительным ядрам они обеспечивают быстрый и точный поиск положения автомобиля. Для вычислений используются данные, как минимум, четырех спутников. Некоторые чипы GPS, такие как Linx Technologies F4 Series GPS Receiver Module, могут одновременно принимать сигналы до 48 спутников. Данные о перемещении автомобиля передаются на периферийные серверы, где они используются для дальнейшего анализа.

Беспилотный автомобиль в любой момент времени должен знать свое точное местоположение, а также оценивать ситуацию вокруг. Несколько камер обеспечивают обзор окружения на все 360 градусов. Каждая камера дает двумерные кадры, то есть массив пикселей, где к каждому пикселю привязана информация цвета и яркости. И здесь как раз стоит упомянуть весьма интересные инновации.

MIT ShadowCam способна заглянуть за угол

Развитие технологий искусственного интеллекта и глубокого обучения, позволяет выполнить исчерпывающий анализ изображений, в том числе отслеживать объекты по информации нескольких камер и анализировать положение пешеходов и велосипедистов. Исследователи MIT анонсировали систему ShadowCam, которая использует технологии компьютерного видения: анализируются малейшие изменения яркости, позволяющие определить тени на поверхности земли, едва различимые человеческому глазу. Технология позволяет беспилотным автомобилям буквально заглянуть за угол, определяя приближающиеся объекты, которые потенциально могут вызывать столкновение.

Загрязнение камер, слабое освещение и плохая видимость снижают качество данных с камер, здесь на помощь приходит лидар (LIDAR, Light Detection and Ranging), собирающий информацию о ближайшем окружении автомобиля. Лидар применяет лазерные импульсы для измерения расстояний до объектов, в итоге создается трехмерная карта, позволяющая анализировать окружение автомобиля. Все эти вычисления должны выполняться бортовым компьютером, чтобы мгновенно принимать необходимые решения. Для захвата и хранения данных трехмерной карты объектов и потоков с нескольких камер требуется достаточная емкость на периферии.

Проблема объема данных

Даже обычные автомобили, с водителем за рулем, генерируют все больше данных. Новые модели оснащаются бортовым компьютером с 25-50 вычислительными ядрами, обеспечивающими круиз-контроль, устранение слепого пятна, предупреждение о наезде на препятствие и автоматическое торможение. Узлы автомобиля обмениваются данными между собой через внутреннюю сеть.

В своей речи бывший CEO Intel Брайан Кржанич назвал данные новой нефтью. Он упомянул, что типичный беспилотный автомобиль может генерировать в день около 4 Тбайт данных. Но прогноз уже превышен роботакси AutoX, которые генерируют 1 Тбайт в час. О них мы расскажем чуть ниже.

Эвангелос Симудис, управляющий директор венчурного инвестиционного фонда Synapse Partners, упомянул при обсуждении будущих беспилотных автомобилей, что объемы данных просто гигантские. И они представляют одно из препятствий, мешающих массовому распространению автономного вождения.

Задержки смерти подобны

К сожалению, все данные беспилотного автомобиля не получится обработать в облаке или периферийных дата-центрах. Все это вносит слишком большую задержку. Даже 100-мс задержка, которая меньше, чем моргнуть не успеешь, может провести грань между жизнью или смертью пассажира или пешехода. Автомобиль должен реагировать на возникающие обстоятельства как можно быстрее.

Чтобы сократить задержку между получением информации и реакцией на нее, часть информации анализируется на бортовом компьютере. Что тоже вписывается в концепцию периферийных вычислений, если считать бортовой компьютер периферийным узлом сети. В итоге беспилотные автомобили составляют сложную гибридную сеть, которая сочетает централизованные дата-центры, облако и множество периферийных серверов. Последние распложены не только в автомобилях, но и в светофорах, постах контроля, станциях зарядки и так далее.

Подобные серверы и дата-центры за пределами автомобиля оказывают посильную помощь при автономном вождении. Они позволяют автомобилю видеть дальше радиуса действия своих сенсоров, координируют загрузку дорожной сети, помогают принимать оптимальные решения. По сути, мы получаем альтернативу навигаторам с искусственным интеллектом.

Взаимодействие друг с другом и с периферийной инфраструктурой

GPS и системы компьютерного видения обеспечивают беспилотные автомобили информацией о локации и ближайшем окружении. Но при повышении дальности просчитываемого окружения один автомобиль может собрать лишь ограниченное количество информации, поэтому необходим обмен данными. В результате каждый автомобиль сможет лучше проанализировать условия вождения, опираясь на более обширный массив данных, собранный парком беспилотных автомобилей. Системы коммуникации Vehicle-to-vehicle (V2V) опираются на mesh-сети, создаваемые автомобилями в одной географической области. V2V используются для обмена информацией и подачи сигналов другим автомобилям, например, предупреждения об опасной дистанции.

Сети V2V можно расширить для обмена информацией с инфраструктурой дорожного движения, например, светофорами. Здесь уже уместно говорить о коммуникации V2I (vehicle-to-infrastructure). Стандарты V2I продолжают развиваться. В США Федеральная дорожная администрация (FHWA) выпустила руководство по V2I, которое должно помочь внедрению технологии. Как сказал администратор FHWA Григорий Надю, преимущества V2I простираются намного дальше безопасности: Кроме улучшения безопасности, технология автомобиль-инфраструктура дает преимущества по мобильности и взаимодействию с окружением.

Водители, которые ездят одним и тем же маршрутом каждый день, запоминают все ямки на дороге. Беспилотные автомобили тоже постоянно учатся на своем опыте. Как указывает Data Center Knowledge, в будущем беспилотные автомобили будут сгружать имеющуюся полезную информацию в периферийные дата-центры, например, интегрированные в станции зарядки.Станции зарядки будут опираться на алгоритмы искусственного интеллекта, которые помогут анализировать полученные от автомобиля данные и предложат возможные решения. Через облако эти данные будут переданы и другим беспилотным автомобилям в общей сети.

Если подобная модель обмена данными между всеми беспилотными автомобилями действительно воплотится через несколько лет, то можно ожидать экзабайты (миллионы терабайт) данных в день. На дорогах к этому времени должны появиться, по разным оценкам, от сотен тысяч до десятков миллионов беспилотных автомобилей. Действительно впечатляет!

Сегодня беспилотные автомобили уже собирают огромные массивы данных, причем не только в публичном пространстве и на частных тестовых полигонах, но и в виртуальных мирах.

Виртуальные пешеходы и симуляция облегчают задачу

В реальных условиях беспилотные автомобили тестировать слишком опасно, и производители очень осторожно подходят к испытаниям в обычной городской среде после наезда беспилотного автомобиля, повлекшего смерть пешехода в марте 2018. Чтобы искусственный интеллект умнел как можно быстрее, не рискуя при этом жизнью и здоровьем пешеходов и пассажиров, тестовые площадки были выведены за пределы городской среды.

В материале Reuters указано, что Volvo - один из многих производителей, тестирующий автономное вождение с помощью манекенов и других искусственно созданных объектов, симулирующих условия городской среды без каких-либо рисков. Производители грузовиков, такие как Scania, экспериментируют с тягачами на закрытых полигонах.

Автономное вождение все чаще переносится в виртуальный мир, как упоминается в MIT Technology Review. В одной симуляции Waymo, например, участвуют 25 тысяч автомобилей, которые в общей сложности проезжают больше 16 млн. километров в день. Подобный массовый сценарий слишком опасен, чтобы переносить его в современный мир.

Огромные массивы данных, которые удается собрать по результатам тестов в виртуальном окружении, дают очень ценную информацию для тренировки искусственного интеллекта. Но, как отмечают исследователи MIT, беспилотным автомобилям предстоит проехать еще многие миллиарды километров в виртуальном и реальном окружениях, чтобы они стали действительно безопасными в любых ситуациях.

Объемы данных, которые при этом предстоит обработать, просто огромны. Но без их анализа нельзя запускать технологию автономного вождения в массы.

Для передачи данных на сравнительно большие расстояния уже требуются современные технологии сотовой связи, а именно 5G, которые способны обеспечить пропускную способность до 300 Мбит/с с задержками 1 мс. Huawei ранее как раз анонсировала компоненты 5G, ориентированные на беспилотные автомобили. Настало время поговорить о 5G.

5G как ключ к успеху беспилотных автомобилей

Наш беспилотный автомобиль может получать информацию о пешеходах и велосипедистах не только опираясь на свои сенсоры, но и благодаря обмену данными с другими машинами, светофорами и прочими объектами городской инфраструктуры. Звучит нереально, но именно такую демонстрацию могли увидеть посетители муниципалитета Оспиталет (провинция Барселона) в рамках проекта автомобиля, подключенного по 5G.

Автомобили Ateca и Arona, изготовленные Seat, использовали сеть оператора Telefonica 5G и технологию Ficosa C-V2X (Cellular Vehicle-to-Everything) для обмена информацией с другими машинами, велосипедистами и даже светофорами. Последние оснащены тепловизорами, которые определяют пешеходов, приближающихся к переходу, в результате на приборной панели автомобиля появляется соответствующее предупреждение. Велосипедисты, подключенные к сети, информируют о своем местоположении, что предотвращает опасные ситуации. В случае плохой видимости у припаркованных автомобилей автоматически включится аварийка, они будут оповещать все приближающиеся автомобили о своем положении.

Как ускорить внедрение автономного вождения?

Беспилотные автомобили, тестируемые на улицах Оспиталета, это интересно, но чтобы автономное вождение стало реальностью, требуется намного больше. Здесь как нельзя кстати подходят возможности новых мобильных сетей 5G, а именно огромные скорости, очень низкие задержки и способность поддерживать большое число подключений одновременно.

Мультигигабитные скорости 5G, распределенные периферийные сети и сервисы с низкими задержками позволят автономному вождению стать реальностью в ближайшие годы, сказал Крис Пенроуз, президент подразделения IoT в AT&T. 5G даст необходимые возможности по распределению обрабатываемых данных, чтобы соответствовать и превышать потребности беспилотных автомобилей.

Пенроуз совершенно прав. Беспилотные автомобили без подобных возможностей обработки данных не смогут выполнять многие задачи быстрее человека. Например, определять появление пешехода на ближайшем переходе. Причем задержки должны быть минимальные, поскольку опоздание даже на долю секунды может привести к аварии.

Интеграция 5G идет полным ходом

Неудивительно, что крупные производители автомобилей, такие как Audi, BMW, Daimler, Ford, Hyundai и Toyota, интегрируют технологии 5G в свои продукты.

Возьмем для примера Ford. Компания к 2022 году планирует оснащать все выпускаемые в США автомобили технологией связи CV2X на основе 5G. Миллиарды долларов уже потрачены сотовыми операторами на создание сетей 5G, поэтому нам кажется, что настал подходящий момент, чтобы наши транспортные средства получили ряд умений, которые будут полезны в повседневной эксплуатации, сказал Дон Батлер, исполнительный директор Ford Connected Vehicle Platform and Product.

Компания Daimler, производитель люкс-авто Mercedes-Benz, вместе с крупнейшим своим акционером Zhejiang Geely Holding Group планирует собирать полностью электрические автомобили Smart компактного класса в Китае на экспорт. Они тоже будут оснащаться поддержкой 5G. Первые автомобили планируется выпустить в 2022 году. А Hyundai Mobis, производитель запчастей в составе Hyundai Motor Group, объявил о партнерстве с телекоммуникационной компанией KT по совместной разработке технологий подключенных к 5G автомобилей.

Телекоммуникационные компании не стоят в стороне. Audi является одним из основателей ассоциации 5G Automotive Association (5GAA), созданной для взаимодействия представителей телекоммуникационной индустрии и автопроизводителей. Audi планирует выпустить подключенные к 5G автомобили в ближайшем будущем, чему способствует сотрудничество с такими телекоммуникационными компаниями, как Huawei, которая ранее объявила о том, что стала первым производителем компонентов 5G для беспилотных автомобилей. Huawei надеется на большие продажи фирменного модуля 5G.

Но это еще не все. Несколько телекоммуникационных компаний создали бутафорские города для тестов беспилотных автомобилей. Samsung, например, совместно с Korea Transportation Safety Authority строит K-city В Корее с декорациями для проверки беспилотных автомобилей и подключения 5G в условиях, близких к реальным дорогам, перекресткам и туннелям.

Необходима инфраструктура 5G

Все эксперименты с подключенными к 5G беспилотными автомобилями зайдут в тупик, если не будет создана инфраструктура 5G. Каждый день беспилотный автомобиль может генерировать от 5 до 20 Тбайт данных, поэтому для их передачи должна быть готова мобильная сеть.

Большая часть данных, генерируемых многочисленными сенсорами автомобиля, должна обрабатываться непосредственно бортовым компьютером и расположенными рядом дата-центрами, что вписывается в концепцию периферийных вычислений. Данные поступают не только от автомобилей, но также от других источников, таких как светофоры. В конечном итоге совокупность технологий позволяет беспилотным автомобилям определять объекты вокруг и вовремя реагировать на меняющуюся обстановку.

Ценность собираемых данных

Конечно, не все типы данных требуют немедленной обработки, да и у бортового компьютера все же производительность ограниченная, как и накопители. Поэтому данные, которые могут потерпеть, следует накапливать и анализировать в периферийных дата-центрах, часть данных при этом будут мигрировать в облако и обрабатываться там.

Сфера ответственности городских властей и автопроизводителей заключается в захвате, обработке, передаче, защите и анализе данных о каждом автомобиле, пробке, пешеходе, бордюре или ямке. Некоторые архитекторы умных городов уже экспериментируют с алгоритмами машинного обучения, которые более эффективно анализируют данные движения, чтобы быстро определять ямки и выбоины на дороге, регулировать дорожное движение, мгновенно реагировать на аварии. В глобальном ракурсе алгоритмы машинного обучения дают рекомендации по улучшению городской инфраструктуры.

Как считает Брукс Райнвотер, директор Center for City Solutions в National League of Cities, данные, генерируемые беспилотными автомобилями, предоставят городу более скрупулезный обзор всего, от износа инфраструктуры до подобной информации о дорожном движении и самых нагруженных участках.

Как обрабатывать данные на периферии в тысячи экзабайт?

Для развития полностью автономного вождения необходимо решить проблему обработки и хранения огромных массивов данных. Каждый день беспилотный автомобиль может генерировать от 5 до 20 Тбайт данных. Всего один автомобиль! Только в США сегодня насчитывается больше 270 млн. автомобилей, что в будущем может привести к гипотетическому объему 5.449.600.000 Тбайт (или 5.449 экзабайт) и это только в один день и только в США! Для хранения таких данных необходима высокопроизводительная, гибкая, защищенная и надежная периферийная инфраструктура. Затем возникает проблема эффективной обработки данных, что тоже весьма непросто.

Чтобы бортовой компьютер мог принимать решения в реальном времени, ему требуется самая свежая информация по окружающей обстановке. Старые данные, такие как информация о расположении автомобиля и скорости час назад, обычно уже не нужны. Однако эти данные полезны для дальнейшего улучшения алгоритмов автономного вождения. Разработчики систем на основе искусственного интеллекта должны получать большие массивы данных, чтобы тренировать сети глубокого обучения: определять объекты и их движение по камерам, информации лидара, оптимально сочетать информацию об окружении и инфраструктуре, чтобы принимать решения. Специалистам по безопасности дорожного движения очень важны данные, собранные автомобилями непосредственно до аварий или опасных ситуаций на дороге, например. Здесь вновь встает вопрос обработки данных на периферии, который остается очень важным звеном для совершенствования автономного вождения.

По мере того, как данные собираются беспилотными автомобилями и передаются от них на периферийные дата-центры, после чего мигрируют в облачные хранилища, все более актуальным становится вопрос использования оптимизированной и многоуровневой архитектуры хранения данных. Только она позволит максимально эффективно использовать огромные объемы данных. Свежие данные должны сразу же анализироваться для улучшения моделей машинного обучения, здесь требуется высокая пропускная способность и низкие задержки, для этой цели лучше всего подходят SSD и высокоемкие накопители HAMR с поддержкой технологий нескольких приводов головок.

После того, как данные пройдут этап анализа, они должны быть сохранены, но уже более эффективно: на высокоемких и недорогих традиционных хранилищах nearline. Подобные серверы хранения хорошо подходят в том случае, если данные могут потребоваться в будущем, но частого доступа к ним не планируется. Старые данные, которые вряд ли потребуются, но должны храниться по каким-либо причинам, можно переводить на уровень архивации.

Данные все чаще будут обрабатываться и анализироваться на периферии, что знаменует наступление эпохи IT 4.0, в которой меняется подход к использованию данных. Периферийные вычисления позволят обрабатывать данные рядом с местом их сбора, а не в облачном сервере, что позволит анализировать их намного быстрее, немедленно реагируя на изменения ситуации. Терабайты данных, обрабатывающиеся каждый день, скоростная сеть обмена информацией между автомобилями и периферийными дата-центрами помогут сделать автономное вождение более безопасным и надежным.

Seagate объединяет усилия с AutoX

Наконец, позвольте рассказать об одном практическом примере из сферы беспилотных автомобилей. Seagate решила объединить усилия с компанией AutoX, занимающейся системами автономного вождения. Цель заключается в создании частного облака для быстрой обработки больших объемов данных, генерируемых во время тестирования беспилотных автомобилей.

Как мы уже неоднократно отмечали, беспилотные автомобили создают значительные объемы данных, получаемых со своих сенсоров. Seagate предоставила AutoX полное решение по созданию частного облака на основе систем Seagate Exos E 5U84. В результате повысилась скорость и эффективность обработки данных.

В июле 2020 года AutoX получила разрешение от калифорнийского Департамента транспортных средств, позволившее начать тесты беспилотных автомобилей на обычных дорогах в выделенном районе Сан-Хосе (Калифорния, США). Кроме того, компания управляет парком роботакси в Шэньчжэне и Шанхае. В апреле 2020 компания открыла операционный центр роботакси в Шанхае площадью 7400 м, ставший самым большим хабом беспилотных автомобилей в Азии.

Петабайты в день: данные новая нефть

Для беспилотных автомобилей данные имеют такое же значение, как бензин с электричеством, не зря их называют новой нефтью. Каждое роботакси генерирует порядка 1 Тбайт данных в час, что даже превышает прогнозы аналитиков. Сто роботакси AutoX дают уже петабайты данных ежедневно. И все эти данные следует анализировать и обрабатывать при получении как можно быстрее.

Передача и хранение всех данных в публичных облаках приводит к задержкам, что замедляет обработку и анализ данных, увеличивает расходы. Как можно видеть в отчете Seagate Rethink Data, компании все чаще решают хранить данные в частных облаках.

Для обработки огромных объемов информации AutoX требуется надежная архитектура данных, сказал доктор Джан Вей Пан, вице-президент подразделения Technology and Partnerships в AutoX. Мы должны учитывать не только такие факторы, как цену, производительность и емкость, но и обрабатывать и хранить ценные данные с максимальной скоростью.

Периферийное частное облако: быстрая обработка, низкая стоимость владения

Чтобы удовлетворить потребности AutoX по хранению и обработке данных, Seagate разработала и построила периферийное частное облако, успешно вписавшееся в инфраструктуру хранения данных AutoX; многие задачи, которые ранее выполнялись в окружении публичного облака, теперь перешли на периферию. Данные с испытаний и тестов, например, теперь можно быстро загрузить в периферийное частное облако, которое отличное справляется с обработкой частых запросов к крупным массивам информации.

Решение Seagate соответствует потребностям AutoX по быстрой обработке данных и вместе с тем уменьшает совокупную стоимость владения (TCO). Но данные, которые обрабатываются на периферии, рано или поздно мигрируют в публичное облако для архивации и резервирования.

Для построения дата-центра с частным облаком Seagate использовала решение на основе Exos E 5U84, серверов и распределенной системы хранения данных Ceph. Seagate Exos E 5U84 может хранить до 1,1 петабайт данных, при этом обеспечиваются мощные возможности интеграции, повышающие эффективность использования частного облака. Благодаря высокой плотности хранения данных и производительности, система позволяет уменьшить совокупную стоимость владения. Масштабируемая архитектура обеспечивает рост вместе с бизнесом до 336 накопителей. Что поможет AutoX справиться с растущими объемами собираемых данных в будущем. Причем данное решение можно быстро реплицировать, что соответствует планам AutoX по расширению парков роботакси в Шанхае, Шэньчжэне, Ухани и многих других городах.

AutoX - отличный пример лидера индустрии IT 4.0, который вдохновил нас поставить более мощные системы хранения данных, способные быстрее справиться с анализом информации и выдачей вариантов действий, что позволяет как можно быстрее принимать решения и выходить из критических ситуаций, сказала Санди Сан, вице-президент Seagate и старший менеджер по Китаю. Мы рады партнерству с AutoX, поскольку компания продолжает внедрять инновации, будущее беспилотных автомобилей становится все ближе к реальности.

Renovo и Seagate объявили о сотрудничестве

Второй практический пример касается начала сотрудничества Renovo и Seagate по эффективной обработке огромных массивов данных, которые генерируют беспилотные автомобили. Компания Renovo уже давно занимается разработкой масштабируемой платформы автономного вождения. Будучи лидером в своей сфере, она выбрала в партнеры компанию Seagate, специалиста систем хранения данных.

Быстрая идентификация ценных данных и передача их в руки тех, кому они необходимы, является серьезной проблемой, стоящей перед индустрией беспилотных автомобилей, сказал Кен Клэффи, вице-президент Seagate, старший управляющий направления решений корпоративного класса для хранения данных. Компетенция Renovo в автомобильной сфере и системах обработки данных обеспечивает уникальную конвергенцию, позволяющую приблизиться к решению данной проблемы для флотов беспилотных автомобилей.

Как мы отмечали выше, беспилотные автомобили генерируют очень большие объемы данных, которые не получится перекачивать в реальном времени в облако. Поэтому ключ кроется в обработке данных бортовым компьютером, что вписывается в концепцию периферийных вычислений.

Renovo уже давно разрабатывает платформу Aware, сотрудничество позволит Renovo использовать системы хранения данных Seagate во всех сферах, касающихся автономного вождения.

Seagate предлагает широкий набор решений для хранения данных, генерируемых беспилотными автомобилями, сказал Крис Хейзер, главный исполнительный директор Renovo. Мы рады работать с лидером индустрии Seagate, чтобы интегрировать лучшие технологии хранения данных в критические важные сферы автономного возждения.

Платформа Renovo используется во многих беспилотных автомобилях, в том числе Voyage.auto. Seagate присоединилась к экосистеме Renovo вместе с растущим числом других технологических партнеров, в том числе Samsung, Verizon, HERE, Velodyne LiDAR, Parsons, INRIX, Argus Cyber Security, Seoul Robotics, Affectiva, Phantom Auto, Metamoto, Understand.ai, NIRA Dynamics, Bestmile и т.д. Посмотрим, какие плоды принесет сотрудничество двух лидеров в будущем.

Заключение

Мы надеемся, что наша статья пролила свет на то, насколько важными являются данные в сфере автономного вождения. Когда мы дождемся массового распространения беспилотных автомобилей, они продолжат собирать ценные массивы данных, которые будут обрабатываться не только бортовым компьютером, но и периферийными серверами и облаком. И к этому времени инфраструктура обработки данных должна быть полностью готова.

По мере того, как поддержка 5G будет распространяться, беспилотные автомобили начнут генерировать все большие объемы данных, которые затем будут анализироваться и использоваться, чтобы умные города стали реальностью. Достичь этой цели будет весьма непросто, но в итоге мы откроем новую главу в истории такого популярного средства передвижения, как автомобиль.

Беспилотные автомобили находятся на передовой технологий искусственного интеллекта, коммуникаций, хранения данных. Все три упомянутых столпа важны, чтобы автономное вождение стало возможным в обозримом будущем. Поэтому чтобы выйти на уровень частично и полностью автономного вождения, необходимо продолжить разработку и совершенствование технологий.

Подробнее..

Recovery mode Беспилотный автомобиль Яндекс создаёт пробки и провоцирует опасные ситуации на дорогах

26.05.2021 00:11:51 | Автор: admin

Yandex self driving car (беспилотные автомобили Яндекс)

Яндекс тестирует на улицах Москвы идею self driving car.

Теперь эти машины ездят по дорогам района Хамовники в Москве и создают пробки (104 секунда видео) и опасные ситуации на дорогах (вынуждают пассажира следующей за ним машины выходить на проезжую часть 26 секунда видео), 7 автомобилей выстроилось за беспилотным автомобилем Яндекс, который остановился перед пустым перекрёстком, все сигналят, двое девушек на другой стороне смотрят на машину Яндекса с недоумением: "почему она не едет?":

Посмотрите видео и Вы поймёте о чём идёт речь. Человек в оранжевой футболке это не тот объект, что мешает двигаться беспилотному автомобилю Яндекс.

Почему пешеходы должны подстраиваться под "искусственный интеллект" беспилотных автомобилей Яндекс и угадывать что на уме у его разработчиков?

Машина создана чтобы облегчить жизнь людям, а не усложнять её.

В общем, либо разработчики беспилотных автомобилей Яндекс научат свой искусственный интеллект нормально водить машину, либо пусть лоббируют закон о поведении пешеходов на тротуаре** (эти могут) (оценочное суждение). Автор видео стоит на тротуаре и не сходит с него.***

"А вы можете отойти немножечко в сторону, чтобы наш искусственный интеллект поехал и вообще, не мешайте нам тестировать нашу Yandex self driving car." - как бы говорит водитель беспилотного автомобиля Яндекс.

* Эта статья призвана повысить грамотность поведения на дорогах и обратить внимание на соблюдение ПДД.

**, обязан уступить дорогу пешеходам, переходящим дорогу или вступившим на проезжую часть (трамвайные пути) для осуществления перехода.

*** "Пешеходный переход" - участок проезжей части, трамвайных путей, обозначенный знаками 5.19.1, 5.19.2 и (или) разметкой 1.14.1 и 1.14.2 <*> и выделенный для движения пешеходов через дорогу. При отсутствии разметки ширина пешеходного перехода определяется расстоянием между знаками 5.19.1 и 5.19.2.

Площадь Пешеходного перехода выделена красным цветом:

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru