Начнем с того, что мы пытаемся сделать интеллектуальный транспорт, а не беспилотный. Беспилотный это когда без пилота (семантика, но). Для этого достаточно простых сенсоров, оградить дороги, сделать нужную инфраструктуру, которая будет направлять.
Если же мы пытаемся "всунуть инфраструктуру" в компьютер автомобиля, то надо понять ряд моментов, которые отличают опытного, подчеркиваю опытного водителя от автопилота Tesla.
Жизненный и водительский опыт
Это заключается в том, что взрослый человек (вождение у нас резрешено с 18 лет) имеет представление о поведении людей: скорости их передвижения, возможной неадекватности. Другими словами может прогнозировать с определенной степенью вероятности куда "занесет" соседа в ближайшие 5, 10, 30 секунд.
Ровно такие же моменты вычисляет опытный водитель относительно поведения автомобилей, дорог, пешеходов, выбегающих зверей и вылетающих птиц. И чем дольше он ездит, тем больше различных ситуаций он видит.
Кто-то вильнул пару раз, съехал с полосы - вероятно пьяный. А может сердце заболело. А может рулевое управление сбоит, колесо расшаталось? Решение - притормозить, наблюдать за действиями сего субъекта, осторожно объехать на безопасном расстоянии.
Вот тут часто бабки с козлами дорогу переходят. Вот тут ям много будет. Тут лес валят, и были случаи падений деревьев на дорогу. Вот тут в горной местности возможен камнепад. Тут лавины сходят.
По песку машина едет вот так. По мокрому асфальту так. Если сильно тормознуть на гололеде, можно вылететь в кювет. Загрузил багажник и пассажиров, маневренность будет другая.
Даже в крупных городах бывают ямы на дорогах. Были случаи, когда автопилот "помог" владельцу подвеску поменять... в итоге.
Соблюдение ПДД или 3Д
Да простят меня инспекторы, но соблюдение всех правил 100% ведет к аварии. Это подтверждают различные симуляции, да и опытные водители говорят то же самое.
Зачастую надо руководствоваться здравым смыслом.
Вспомните нелепые аварии 2016 года. Например в Китае. Объясняли это узкой зоной дествия радара, который не видит полосу сбоку. Но камеры то видят приближение объекта. Даже monoslam формирует достаточное облако точек, чтобы понять стоящий сбоку предмет и его габариты. Пусть и примерные, но этого достаточно, чтобы затормозить или объехать препятствие.
Насколько я понимаю, этот момент уже исправили, но это говорит, что здравого смысла пока нет в автопилотах.
"3Д - дай дорогу дураку". Так нас учили в автошколе. Похоже, что-то подобное должно быть в автопилотах. Три закона робототехники, так сказать. Базовые реакции на те или иные воздействия.
Глаза
Наше зрение это две "камеры" (стерео) по 50Мп. Чистых мегапикселей с набором различных примочек: микродвижение зрачка, фокусировка, громадный диапазон яркости и цвета, ряд нейроэффектов. Сами глаза поворачиваются и даже голова. Можем корпусом повернуться назад.
Сами глаза выдают mpeg - разницу между кадрами. То есть сам зрительный сенсор настроен на движение (даже маленькую разницу между кадрами).
Утверждается, что мы видим лишь 24 кадра в секунду, но что-то мне подсказывает, что это не так. Геймеры меня поймут, вспомнив про разницу между 30 и 60 fps.
Учитывая разрешающую способность + фокусировку, то мы можем регистрировать очень малые и быстрые изменения в окружающей среде, чего не может пока автопилот.
80% это зрение. А как же остальные 20%? В терминах систем - это точность.
Уши
Что нам даст звуковой диапазон?
Используя эффект Доплера, мы можем детектировать приближение и удаление транспортных средств.
Микрофоны могут слышать различные шумы вроде скрежета, ударов при аварии, взрывы, стук в собственной машине. Все это может предупреждать об опасности вне поля зрения камер и радаров.
Причем это могут быть ультразвуки соседских радаров или очень тихие далекие звуки, по которым процессор системы может делать соответствующие выводы.
Кожа
Вибрации различной амплитуды и частоты может нам говорить о качестве дорожного покрытия, о состоянии подвески.
Я не знаю насколько продвинулись акселерометры, но поведение авто на заснеженной трассе мы чувствуем "пятой точкой" через вибрацию. Ну и, конечно же, вестибулярный аппарат.
Температура в разных точках авто, удары камешков о днище и по капоту, град, снег, дождь - все это факторы, которые должен регистрировать автопилот и делать соответствующие корректировки в управлении.
Биополе
Не буду сильно вдаваться в мистику и эзотерику, но есть ряд научных подтверждений того, что наше тело регистрирует частоты гигагерцового диапазона и выше. Мы буквально чувствуем окружающую среду. Точнее регистрируем, но далеко не все умеют делать адекватные выводы из этих чувств.
Что тут сказать радар, подобный авиационному (как вариант - пассивный), очень поможет в снегопад, песчаную бурю или ливень.
Мозг и память
Автопилот Tesla имеет бортовой компьютер с производительностью 10 терафлопс(10^12 операций в секунду). Производительность мозга можно оценить в 1 экзафлопс (10^18 - это моя оценка по ряду современных материалов по нейрофизиологии и информатики). Разница в 5 порядков (мозг в 100 000 раз быстрее).
Наш мозг, в большей степени, занят оценкой социального взаимодействия, но при вождении, как мне кажется, все это не надо. Не считая оценки адекватности соседних водителей и прогнозирования их действий (трекинга не только в поле зрения).
Поэтому, я считаю, что компьютера в 1 петафлопс (10^15) или 10 по 100 терафлопс(для дублирования, резервирования, параллелизации вычислений и надежности) будет уже достаточно.
Для чего нужна будет эта мощность, если уже сегодняшний компьютер неплохо справляется?
Что бы дать необходимый "жизненный" опыт автопилоту. Загрузить больше информации о нашем мире в память автопилота, и на основе чего он будет принимать решения. Что бы автопилот не делал глупых детских ошибок, которые, зачастую, оказываются фатальными для тех, кто будет на него полагаться.
Надо повысить точность (качество) управления транспортным средством, до такой степени, что бы Tesla да и другие авто могли бы ехать даже в незнакомой обстановке безо всяких затруднений.
