Продолжаем рассказывать, как был устроен наш лазерный квест с уничтожением сервера. Начало в предыдущей статье про разгадку квеста.

Всего у бекенда игры было 6 архитектурных единиц, которые мы и разберём в этой статье:

1. Бекенд игровых сущностей, которые отвечали за игровые механизмы
2. Шина обмена данных бекенда и площадки на VPS
3. Транслятор из запросов бекенда (игровых элементов) на ардуино и железо на площадке
4. Ардуино, которая занималась управлением релешками, получала команды с транслятора и делала фактическую работу
5. Фактические устройства: вентилятор, гирлянды, торшеры и прочее
6. Фронтенд сам сайт Сокола, с которого игроки управляли устройствами

Давайте пройдёмся по каждой из них.

Бекенд игровых сущностей

Бекенд был реализован, как spring boot-приложение: оно имело несколько rest-контроллеров, websocket endpoint и сервисы с игровой логикой.

Контроллеров было всего три:

• Мегатрон. Через GET-запросы отдавалась актуальная страница Мегатрона: до и после включения питания. Через POST-запрос лазер стрелял.
• Мапинг тильдовских страниц, чтобы они отдавались по имени страницы. У тильды на экспорт выдаются страницы не с оригинальными названиями, а внутренним ID и информацией по соответствию.
• Контроллер для капчи, чтобы отдавать псевдо-высокозагружающую сервер капчу.

Websocket endpoint использовался для управления гаджетами: лампами, гирляндой и буквами. Его выбрали, чтобы синхронно отображать всем игрокам текущий статус устройства: включено оно или выключено, активно или нет, какой цвет буквы сейчас горит на стене. Для того чтобы чуть-чуть усложнить задачу включения лазера, мы накинули авторизацию на гирлянду и лазер с одинаковым логином и пароль admin/admin.

Игроки могли протестировать его на включении гирлянды и повторить то же самое на лазере.

Нами была выбрана настолько тривиальная пара логин-пароль для того, чтобы не мучить игроков лишним подбором.

Чтобы сделать задачу чуть поинтересней, в качестве идентификаторов устройств в комнате использовались object ID из mongodb.

ObjectId содержит в себе timestamp: два случайных значения, одно из которых берётся на основании идентификатора устройства, а второе на основании pid-процесса, который генерирует его и значение счётчика. Хотелось сделать идентификаторы сгенерированными через равные промежутки времени и с разными pid-процессов, но общим счётчиком, чтобы подбор идентификатора устройства лазера был интереснее. Однако в итоге все запустились с идентификаторами, различающимися только в значении счётчика. Возможно, это сделало этап слишком простым и не требующим анализа структуры идентификаторов objectId.

Транслятор из запросов бекенда

Питоновский скрипт, который занимался таймерами и переводил из абстракций игровых в физическую модель. Например включить торшер включить реле N2.

Скрипт подключался к очереди RabbitMQ и передавал запросы из очереди на Ардуино. Также на нём была реализована логика параллельного включения света: вместе с некоторыми устройствами на них включался свет, например, при первичной подаче питания на Мегатрон, он подсвечивался сценическим светом. Дизайн света для кинематографичности всей сцены отдельная история про большую работу нашего сопродюсера проекта и художника-постановщика Ильи Серова, и про неё мы расскажем в отдельном посте.

Транслятор также отвечал за логику запуска шредера по таймеру и передачу изображения на телевизор: таймер запуска шредера, кричащая капибара, рекламный ролик в конце игры.

Как была устроена логика генерации токена мегатрона

Тестовый выстрел

Каждые 25 секунд генерировался новый токен, его можно было использовать, чтобы включить лазер на 10 секунд на мощности 10/255. Ссылка на гитхаб с кодом Мегатрона.

Затем лазер охлаждался 1 минуту в это время он был недоступен и не принимал новые запросы на выстрел.

Этой мощности не хватало для того, чтобы пережечь верёвку, но любой игрок мог пульнуть из Мегатрона и увидеть лазерный луч в действии.

Для генерации токена использовался алгоритм хеширования MD5. И схема получалась MD5 от MD5 + счётчик + секрет для боевого токена и без секрета для тестового.

MD5 это отсылка к одному коммерческому проекту, который делал Павел, наш бекендер. Всего пару лет назад в этом проекте использовался MD5, и когда он сказал архитектору проекта, что это устаревший алгоритм шифрования, они начали использовать MD5 от MD5. Раз уж мы решили делать максимально нубский проект, то он вспомнил всё и решил сделать маленькую отсылку.

Боевой выстрел

Боевой режим Мегатрона это 100% мощность лазера в 3 Вт. Этого вполне достаточно на 2 минуты, чтобы пережечь верёвку, которая держала гирю, чтобы разбить аквариум и залить сервер водой.

Мы оставили несколько подсказок на гитхабе проекта: а именно код генерации токена, по которому можно было понять, что тестовый и боевой токены генерируются на основе одного показателя счётчика. В случае боевого токена помимо значения счётчика ещё используется соль, которую почти полностью оставили в истории изменении этого gist, за исключением двух последних символов.

Зная эти данные, можно было перебрать 2 последних символа соли и фактически выяснить, что для неё использовались числа из Lost, переведённые в 16-ичную систему.

Дальше игрокам оставалось поймать значение счётчика (проанализировав тестовый токен) и сгенерировать боевой токен, используя следующее значение счётчика и подобранную на прошлом шаге соль.

Счётчик просто инкрементировался при каждом тестовом выстреле и каждые 25 секунд. Об этом мы нигде не писали, это должно было быть небольшой игровой неожиданностью.

Сервис взаимодействия с капчей

В игровом мире это была та самая капча, которую надо было нагрузить, чтобы включить вентилятор и открыть флипчарт с подсказкой. Рядом с камерой стоял ноутбук с мониторингом нагрузки.



Сервис подсчитывал, что отображать в мониторинге как текущую нагрузку: температуру и CPU Fan. Метрики передавались в timebase database и отрисовывались графаной.

Если за последнее 5 секунд поступало более 50 запросов на отображение капчи, то нагрузка росла на фикс + рандомное количество шагов. Расчёт был на то, чтобы 100% нагрузку можно было получить за две минуты.

В самом деле логики в сервисе было больше, чем отобразилось в конечной игре: мы поставили монитор таким образом, что было видно только вращение CPU Fan.

Графану в начале квеста хотели оставить доступной с сайта Сокола. Но в ней были также springboot-метрики по отчёту бекенд-приложения, которые мы не успевали вычистить, поэтому решили закрыть доступ к ней. И правильно ещё в начале квеста некоторые игроки догадались, что приложение написано на фреймворке springboot и даже откопали название некоторых сервисов.

Хостинг и шина обмена данных

Инструмент передачи информации с бекенда на площадку, VPS-сервер на котором было запущено RabbitMQ.

Бекенд и шина данных держались на . Его мощность была сопоставима с компьютером, который вы видели на экране: 2-х ядерная VPS-ка с двумя гигабайтами оперативной памяти. Тариф брали за ресурсы, поскольку пиковая нагрузка планировалась всего несколько дней так и поступают наши клиенты, которые планируют нагружать VPS на короткий срок. Потом оказалось, что нагрузка оказалось выше, чем мы предполагали и фиксированный тариф оказался бы выгоднее. Будете делать квест выбирайте тарифы линейки .

Чтобы защитить сервер от DDoSa, мы использовали Cloudflare.

Стоит сказать, что VPS с честью выдержала всё.

Ардуино, которая занималась управлением релешками, получала команды с транслятора и делала фактическую работу

Это больше тема следующей статью про хардварную часть проекта: бекенд просто присылал запросы включить конкретное реле. Так вышло, что бекенд знал почти все сущности и запросы с него, выглядели как включи эту сущность. Мы делали это для раннего тестирования площадки (пока ещё не собрали все Ардуино и реле), в итоге так всё и оставили.

Фронтенд

Сайт мы быстро создали на тильде, это заняло один рабочий день и сэкономило нам тысяч 30 бюджета.

Изначально мы думали просто экспортнуть сайт и накинуть нехватающую нам логику, но нарвались на terms of use, которые нам это запрещали.

Мы не были готовы нарушать лицензию, поэтому было два варианта: сверстать всё самим или напрямую связаться с Тильдой, рассказать о проекте и попросить разрешения менять код.

Мы выбрали второй вариант и они не просто пошли нам навстречу, а даже подарили нам год бесплатного бизнес-аккаунта, за что мы им очень благодарны. Было очень неловко показывать им дизайн сайта Сокола.

В итоге мы прикрутили к фронтенду js-логику на отправку запросов на элементарные устройства, немного поменяли стили кнопок включения и выключения игровых элементов.

Дизайн сайта

История поисков, которая стоит отдельной главы.

Мы хотели создать не просто старомодный сайт, а абсолютно тошнотворный, нарушающий все базовые правила дизайна. При этом было важно сохранить правдоподобность: он должен был не ломать ЛОР истории, демонстрировать претенциозность автора и игроки должны были бы поверить в то, что такой сайт может существовать и даже приводить клиентов. И привёл! Пока шла игра, нам дважды обращались за созданием сайтов.

Сначала дизайн делала я сама, стараясь воткнуть побольше гифок и блестящих элементов. Но мой муж-дизайнер с 10-летним стажем, заглянув через плечо, забраковал его как слишком хороший. Чтобы нарушать правила дизайна, надо их знать.



Существует несколько комбинаций цветов, которые вызывают стойкое чувство омерзения: зелёный и красный одинаковой сочности, серый и розовый, синий плюс коричневый. В итоге мы остановились на сочетании красного и зелёного, как базовых цветов, добавили гифок с котиком и выбрали на фотостоке 3-4 фотографии самого Соколова. У меня было только несколько требований: мужчина средних лет, в плохо сидящем костюме на пару размеров больше и в позе профессиональная фотосессия в студии. Для теста показывали её друзьям и спрашивали ну как тебе?.

В процессе разработки дизайна мужу приходилось каждые полчаса отходить полежать, начинало вертолётить. Паша старался открывать консоль разработчика на большую часть экрана, пока допиливал фронтенд берёг глаза.

Фактические устройства

Вентиляторы и свет монтировали через твердотельные реле, чтобы они включались не сразу на полную мощность чтобы нарастание мощности происходило параллельно с мониторингом.

Но про это расскажем в следующем посте, про хардварную часть игры и собственно застройку площадки.

Stay tuned!

Остальные статьи про квест с уничтожением сервера

Научные изыскания позволяют нам не только лучше понимать окружающий наш мир, но и контролировать некоторые процессы и явления. За долгие годы исследований и экспериментов мы научились менять свойства материалов, манипулировать электромагнитными полями, видеть далекие планеты и звезды, разбирать по кирпичикам клетки и многое другое. Некоторые новообретенные умения сильно удивили бы ученых прошлого. Одним из таких умений является возможность менять форму луча света. Но как это применить на практике? Ученые из Оттавского университета (Оттава, США) предложили создать обрамленный оптический узел, который можно использовать для хранения и кодирования информации. Как ученые завязывали луч света в узел, каковы свойства такой структуры и насколько безопасно хранить данные на оптических узлах? На эти и другие вопросы мы найдем ответы в докладе ученых. Поехали.

Основа исследования

Любой моряк, дайвер или альпинист скажет, что правильный узел может спасти жизнь. Мастера макраме превратили узлы в настоящее искусство. А тайна наушников, самостоятельно запутывающихся в узлы, до сих пор остается не раскрыта.

Как мы прекрасно знаем, любой объект или процесс поддается математическому описанию, и узлы не исключение. С точки зрения математики, узел это вложение окружности в трехмерное евклидово пространство.


Типы простых узлов.

Математическая классификация узлов достаточно обширна (трилистник, печать Соломона, узел Листинга и т.д.). В данном же исследовании был задействован особый вид узлов обрамленный. Такой узел создается из плоской ленты. Грубо говоря, это своего рода запутанная лента Мебиуса.

Вторым компонентом исследования, естественно, был свет, а именно структурированный свет, представляющий собой оптическое поле с определенными пространственными и временными особенностями, которые можно менять. Как напоминают ученые, создание таких структур в основном опирается на концепции, связанные с сингулярной оптикой, т.е. изучение неоднородностей в оптических волновых полях. Неоднородности, которые можно найти в оптических фазах или в поляризации, именуются оптическими сингулярностями. Их можно использовать для создания оптических лучей разной сложности: от лучей с единственной сингулярностью до волновых полей, образующих топологические полосы и узлы.

К числу последних как раз и относится ранее упомянутая лента Мебиуса, а также разные типы узлов. Проблема в том, что подобные структуры часто рассматриваются как двумерные, нежели трехмерные, т.е. как оптические лучи с единственной сингулярностью.

В рассматриваемом нами сегодня исследовании ученые решили исправить этот недочет, экспериментально продемонстрировав генерацию и работу структур в волновых полях оптической поляризации, образующих обрамленные узлы. Кроме того, созданные узлы были использованы для кодирования топологической информации посредством совместного использования факторизации простых чисел и собственных топологических инвариантов узлов.

Создание оптического обрамленного узла

Узел, как мы уже знаем, это описание того, как запутанные нити/линии/полосы расположены в пространстве. По этой причине при анализе в рамках физической структуры узлы обычно обнаруживаются в полях, определяемых областями, которые однозначно образуют кривые в трехмерном пространстве. Такие узловые кривые были продемонстрированы в таких системах, как вихри в жидкостях, нули интенсивности в скалярных оптических полях и в пределах C-линий оптических полей поляризации.

C-линии, в частности, состоят из кривых чистой круговой поляризации в монохроматических электромагнитных полях. Одна из их самых отличительных особенностей связана со структурой поляризационного поля в непосредственной близости от них. Если точнее, то они заключены в поляризационные эллипсы с большой осью, которая вращается на целые числа, кратные , вдоль замкнутого контура, окружающего C-линию (1а и 1d).


Изображение 1

В случае параксиальных* оптических лучей поляризация ограничивается плоскостью, поперечной распространению луча, например плоскостью xy.

Параксиальный луч* луч, который распространяется вдоль оси центрированной оптической системы.

Как показано на 1а, это ограничение уменьшает плоскость, в которой можно проследить вращение оси поляризации. Однако непараксиальные лучи могут иметь векторы поляризации, нормаль которых не перпендикулярна распространению луча. Как показано на 1b, этот нормальный вектор, в свою очередь, определяет плоскость, в которой ось эллипса совершает половину оборота вокруг C-линии.

Наличие этих вращений является ключевой структурной особенностью, рассматриваемой при определении исследуемых обрамленных узлов.

Обрамленный узел в трехмерном пространстве представляет собой узел, оснащенный векторным полем, называемым обрамлением. Обрамление нигде не касается узла и характеризуется коэффициентом зацепления. Другими словами, оно считает, сколько раз векторное поле поворачивается (на 2 поворотов) вокруг узла. Узловые ленты обобщают обрамленные узлы до нечетного числа полу-скручиваний, например, узловые ленты Мебиуса.

Учитывая приведенное выше определение, обрамление замкнутой C-линии было определено осью соседнего эллипса поляризации, которого идет перпендикулярно касательной к C-линии.

Данная концепция проиллюстрирована на 1а и 1b, где разными цветами отмечены эллипсы поляризации, окружающие C-линию, ось которой перпендикулярна ее касательной, что и определяет ее обрамление.

В редком случае, когда все оси перпендикулярны в определенной точке C-линии, вектор поляризации, определяющий обрамление, можно интерпретировать как тот, который обеспечивает его непрерывность с наименьшим количеством скручиваний. Эта концепция, в свою очередь, определяет обрамление, приписываемое узловой С-линии.

На 1с показано, что это можно реализовать посредством узлового поля E^k, определяемого циркулярно поляризованной составляющей (E^k_-) с узловыми фазовыми сингулярностями и продольно поляризованной составляющей (E^k_z), гарантирующей, что E^k соответствует уравнениям Максвелла.

Путем наложения E^k на плоскую волну с противоположной спиральностью поляризации (E^p₊) создаются узловые C-линии, возникающие из сингулярной структуры E^k (1d и 1e).

Помимо хорошо различимых трехмерных структур, узлы также могут быть представлены косами. Геометрически косы состоят из переплетенных друг с другом прядей, которые не переворачиваются на уже задействованной плоскости. Каждый узел можно представить в виде отдельной косы.


Изображение 2

Например, узел трилистник (2а) может быть выражен как закрытие косы на 2b. Такое представление можно применить и к узлам/косам в трехмерном пространстве. Например, трилистник, внедренный в тор (2c), может быть получен посредством стереографической проекции косы, заключенной в цилиндр (2d).

Один из способов выполнить эту проекцию выразить эту косу как нули комплексного поля. Это поле записывается как функция комплексных координат (u, v), которые относятся к пространственным координатам (x, y, h), в которые коса вложена через u = x + iy и v = exp(ih). Это заплетенное поле, в свою очередь, может быть преобразовано в соответствующий ему узел со стереографической проекцией, определяемой:



где (, , z) цилиндрические координаты трехмерного пространства, в которое теперь вложен узел.

Данная проекция превращает косу, определенную на (x, y, h), в узел в (, , z), соединяя два ее конца, тем самым отображая координату h на .

Вышеупомянутая проекция в значительной степени используется при построении узловых оптических полей. В частности, скалярное оптическое поле может быть построено путем согласования его поля вдоль плоскости z = 0 с полем комплексного узла, возникающего в результате проекции косы. Когда это оптическое поле является параксиальным, то его формулировка в последующих z-плоскостях может быть получена с помощью методов параксиального распространения. Затем этот метод может быть расширен для описания параксиальных узловых C-линий.

Проекция, построенная из вышеуказанной формулы, была использована для создания структуры со свойствами, которые легче всего связать с оптическими узлами. Такой структурой стал тор Т₂, полученный из проекции цилиндра С, охватывающий трехмерное представление соответствующей косы. Далее размеры узлов масштабировались так, чтобы их структура соответствовала Т₂.

Также было использовано преобразование координат для кривой, образованной узловой С-линией. Это преобразование эффективно разрезает узел по заданному азимутальному углу и разворачивает его, тем самым сопоставляя координату узла с координатой h пространства. Во время этого процесса обеспечивается локальное сохранение ориентации обрамления узла. На 2е показал узел трилистник до, а на 2f этот же узел после данной процедуры.

Такое преобразование позволило определить определенную информацию касательно узлов (угол закручивания, например). В данном случае угол закручивания состоит из азимутальной ориентации ленты в обрамлении, где нормаль совпадает с касательной к развернутому узлу (2g).

Кодирование информации на узел

Учитывая возможность извлечь угол закручивания из оптического обрамленного узла, появляется возможность использовать данную структуру для записи информации.

Метод записи данных основан на паре чисел (, ), где натуральное число, а число, связанное как с , так и с топологической структурой обрамленного узла.



где k обозначает прядь в косе рассматриваемого обрамленного узла, d_k количество полуоборотов вдоль k пряди, демонстрирующей полуоборот (т.е. d_k = если пряди не скручены), p_k простое число, присвоенное k пряди. M = _kd_k состоит из общего числа полуоборотов в обрамлении узла.

Вышеперечисленные переменные позволяют определить натуральное число:



Таким образом, приведенное выше представление обрамленного узла и одной из его кос может быть использовано для кодирования и декодирования топологически защищенной информации.

Теоретический пример: Алиса и Боб

Далее ученые предлагают теоретический пример того, как этот процесс будет выглядеть. Предположим, что Алиса хотела бы отправить Бобу сообщение.

Это сообщение является результатом работы (выходные данные) программы, обрабатывающей некие входные данные (набор чисел d_k, где k = 1, 2,, n). Ожидается, что запуск программы с таким набором предоставит сообщение Алисы.

Алиса представляет свою программу и ее выходные данные в виде обрамленной косы. Сама операция, выполняемая программой, идентифицируется как последовательность пересечений на планарной диаграмме косы, а исходные данные это количество полуоборотов на прядь. Программа Алисы полностью определена как обрамленная коса с n прядями в виде узловой ленты (К_A).

Предположим, что Алиса не хочет отправлять Бобу оригинал обрамленной косы, а лишь К_A. В таком случае возможно усложнить К_A, тем самым скрыв (зашифровав) оригинальную обрамленную косу.

Следовательно, необходимо выполнить ряд действий. Сначала нужно выбрать натуральное число . Далее определить проекцию обрамленной косы по отношению к К_A. Для этого нужно распределить количество полуоборотов в К_A для разных прядей косы, то есть установить d_k так, чтобы M_A = _kd_k.

Следом необходимо присвоить простые числа p_k прядям, демонстрирующим полуобороты. И наконец определить число согласно формуле 2.

После того как данная процедура завершена, Алиса может отправить Бобу ленту К_A, завязанную узлом, и числа (, ).

Естественно, полученное сообщение необходимо расшифровать. Для этого Боб должен вычислить N_,(M_A), разложение которых на простые множители дает d_k. За счет этого Боб может восстановить оригинал обрамленной косы, которую отправила ему Алиса.


Изображение 3

Данная операция по обмену данными показана на схеме выше.

Если свести все к простым терминам, то у Алисы есть лента (данные), которая она хочет передать Бобу. Эту ленту можно преобразовать в сложный узел и закодировать исходное состояние, предоставив средства для декодирования исключительно Бобу.

Практические эксперименты

Изображение 4

Следующим этапом исследования стала практическая реализация приведенного выше теоретического примера. В опыте были использованы параксиально-узловые C-линии, полученные посредством интерферометра Саньяка (4а).

Это устройство разделяет однородно поляризованный световой луч на две ортогонально поляризованные компоненты, каждая из которых модулируется пространственным модулятором света (SLM от spatial light modulator). SLM отображает голограммы, в которых зашифрованы как интенсивность, так и фаза целевого оптического поля.

Одна компонента модулируется для получения пучка с узловыми оптическими вихрями, такими как E^k_- (1c). Вторая компонента модулируется, чтобы сформировать большой гауссов пучок, который равномерно покрывает всю узловую составляющую, тем самым эффективно принимая на себя роль плоской волны E^p₊ (1c).

На выходе из интерферометра два луча когерентно складываются, тем самым преобразуя узловые фазовые вихри E^k_- в параксиально-узловые C-линии. Узел и его обрамление затем можно реконструировать с помощью измерений поляризационной томографии, позволяющих получить профиль поляризации поля.

С помощью данной экспериментальной установки удается получить узлы разных типов: трилистник и печать Соломона (пятилистник). На 4b показаны голограммы, отображаемые на SLM, а также амплитуды и фазы полей, которые они должны создавать.

Фаза поля для узла трилистника и для узла пятилистника представлены следующими формулами:





где масштабированная и безразмерная версия цилиндрической радиальной координаты, азимутальная координата, a, b, s параметры, определяющие форму узла.

Для узла-трилистника рассматривались параметры a = 1, b = 0.5 и s = 1,2, тогда как для узла-пятилистника использовались a = 0.5, b = 0.24 и s = 0.65.


Изображение 5

Обрамленные узлы, полученные в ходе теоретических опытов, показаны на 5а. А вот на 5b показаны узлы, полученные в ходе практических опытов. Помимо незначительных дефектов, возникающих в местах стыковки С-линий на концах узлов, наблюдается очень хорошее согласование теории и экспериментальных результатов. Схемы 5с показывают развернутый вариант экспериментально полученных узлов. Сравнение числа полуоборотов также показало значительное совпадение теории и практики (5d).

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.

Эпилог

Если очень и очень грубо суммировать колоссальный труд ученых, то мы получим две вещи. Во-первых, из лучей света можно вязать узлы разной степени сложности. Во-вторых, этот процесс позволяет записывать информацию, которая будет закодирована в ходе образования узлов.

Как отмечают сами ученые, ранее подобные структуры (оптические узлы) уже изучались, однако лишь как двумерные системы. В этом же труде их наконец-то рассмотрели как полноценные трехмерные структуры, что позволило куда лучше понять их свойства и возможные варианты применения.

Одним из таких применений является передача зашифрованных данных. Авторы исследования заявляют, что современные технологии позволяют с высокой точностью манипулировать различными параметрами лучей света (интенсивность, фаза, длина волны и т.д.). Возможность менять эти параметры позволяет кодировать и декодировать информацию посредством исключительно оптических методов.

Кроме того, данное исследование может помочь в топологических квантовых вычислениях, поскольку можно существенно снизить степень шума, который является одной из основных проблем в данной области. Конечно, это лишь теоретические предположения, которые еще предстоит проверить на практике. Тем не менее результатов, полученных в ходе данного исследования, уже достаточно, чтобы более оптимистично смотреть на грандиозные планы ученых.

Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята. :)

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?

Настало время по традиции подвести итоги года. В конце 2018-го мы расставили приоритеты так: Spectre и Meltdown, машинное обучение в контексте восстановления картинки из шума, многочисленные уязвимости в роутерах. Год назад писали о прорехах в приватности, винтажные уязвимости в Windows 10 и атаки на цепочки поставок.

На конец 2020 года вроде уже и печатных выражений не осталось закончился, и ладно. Но если попробовать, то это опять цепочки поставок и снова машинное обучение, но уже в контексте дипфейков. Скорее позитивным моментом года стало обнаружение качественно запрятанных уязвимостей в базовых протоколах: можно вспомнить уязвимость в Bluetooth-стеке Android в начале года и баг Wi-Fi в мобильных устройствах Apple в конце. Это отчасти признак развития новых технологий поиска уязвимостей (фаззинг), отчасти совершенствование старых (сканирование портов) в комбинации со смекалкой исследователей.



Разнообразные последствия пандемии серьезно повлияли на нашу жизнь, но в сфере киберзащиты разве что обострили и до того имевшиеся проблемы: шифрование и приватность конференц-связи в Zoom и не только, атаки на RDP и вообще на инфраструктуру для удаленной работы, уязвимости в медтехнике. Уходящий год еще и год громких взломов компаний с целью шантажа, с тяжелыми последствиями вплоть до полного выхода из строя инфраструктуры. Показательный пример атака на компанию Garmin. Среда инфобеза штука тревожная по определению, и в конце ковидного года хочется отдать приоритет тем исследованиям, где наблюдается полет мысли, интересные решения, но тяжелых последствий пока нет, а может, и вовсе не будет. Мы отобрали три таких работы: про подсматривание паролей в видеоконференциях, про сканирование памяти ноутбука с перепрошивкой BIOS на лету и про потайные разговоры с умной колонкой с помощью лазера.

Подсматривание паролей
Дайджест. Первоисточник.

В 2020 году армия удаленных работников сгенерировала миллионы часов видео: со скучными рабочими разговорами, шерингом слайдов, домочадцами и котиками в качестве фона, неизбежными меня хорошо слышно? и этот софт не работает с Bluetooth-наушниками. Можно относиться к этому как к мимолетному следствию пандемии, а можно как к огромному датасету с большим количеством деталей. Но то на словах, а в ноябре исследователи Техасского университета на деле предложили атаку с применением таких данных. Лучше всего атаку иллюстрирует вот эта гифка:



Исследователи показали, что небольшие движения плеч можно ассоциировать с тем, какие кнопки их владелец нажимает на клавиатуре. Представьте: вы находитесь на созвоне и параллельно вводите пароль в браузере. Если вы набираете его двумя руками, можно определить опорные клавиши для каждой из половинок клавиатуры и предположить, какое движение плеч соответствует смещению пальцев на ряд ниже или выше, правее или левее. Авторам работы пришлось работать с крайне шумным датасетом, и наилучшую эффективность показало применение машинного обучения со словарем. То есть: с более высокой вероятностью будет дешифрован связный текст, а не пароль со $пециальНыми1 символами. В более реалистичных сценариях удалось угадать набранное в одном случае из пяти (или хуже). Но если задаться целью и получить для исследования видео большой длительности, есть шансы на успех. Даже с такими оговорками это довольно непрактичное исследование, но отдадим должное дерзости ученых: построили работающий механизм и даже что-то расшифровали.

Перепрошивка BIOS на лету
Дайджест и первоисточник.

Одно из двух исследований с ароматом шпионских технологий: оставляем без присмотра ноутбук в режиме сна. Злоумышленник или Агент 007 снимает крышку, цепляет к микросхеме BIOS восьмиконтактный крокодил, перепрошивает ее, включает ноутбук и сливает на флешку дамп оперативной памяти.

Исследователь Трэммелл Хадсон (Trammell Hudson) реализовал классическую атаку Time-of-check/Time-of-Use: подлинность загрузочной прошивки проверяется при включении ноутбука, но может не проверяться при выходе из режима сна. Подменить прошивку тоже не так-то просто, ведь надо знать, что и как менять. Тем не менее, при выходе из сна происходит обращение к загрузочному коду: если туда подсадить вредоносный модуль, можно получить доступ к секретам в оперативной памяти, например к ключу для данных, зашифрованных на жестком диске.



Примечателен и инструмент, который Трэммелл использовал для демонстрации атаки: аппаратный эмулятор флеш-памяти spispy, позволяющий как отслеживать обращения к микросхеме BIOS, так и на лету подменять загрузочный код, частично или целиком.

Разговор с Amazon Echo при помощи лазера
Дайджест и первоисточник.

Исследователи из университетов США и Японии обнаружили фундаментальную уязвимость высокочувствительных MEMS-микрофонов, устанавливаемых помимо прочего в умные колонки. Как выяснилось, такие микрофоны реагируют не только на звук, но и на излучение лазера. Меняя его мощность, можно давать команды умной колонке удаленно. Некоторыми устройствами управляли на расстоянии до ста метров и даже через окно.



Исследователи затрагивают возможности обхода различных методов защиты от несанкционированных голосовых команд, например кодовых слов. Так как атака происходит в полной тишине, можно зарядить перебор часто используемых слов в генераторе голоса аналог брутфорс-атаки на пароль от почты. Наконец, допускается атака на голосовые помощники в автомобиле, что выглядит несколько более реалистично.

Все три исследования так или иначе ищут слабые места в железе, хотя атаковать софт или сетевую инфраструктуру гораздо проще. Именно поэтому это сценарии на вырост если мы их и увидим, то явно не в ближайшем будущем и, скорее всего, не в том виде, в котором проводился первоначальный эксперимент. Потому они и представляют интерес: это вам не переполнение буфера.

Мир, в котором такие атаки обретут смысл, будет точно лучше, чем сейчас, в современной инфраструктуре слишком много куда более тривиальных дыр, не требующих лазеров и изучения движений жертвы. Этот мир также наверняка будет сложным: уже сейчас мы зависим от околокомпьютерной техники, запертые по домам. Лет через n+10 мы, возможно, будем применять терминологию киберзащиты к роботизированным частям тела. Размышлять про такую перспективу одновременно интересно и страшно, это такой традиционный выбор между чем-то новым, но непонятным, и проверенным, но устаревающим. Надеемся, что, несмотря на иногда непонятное новое, у нас и у вас все будет хорошо. С наступающим! Дорогая редакция вернется в эфир 11 января.

Мы измерили вибрации маленького маятника на уровне одного нанометра. А потом засунули его в холодильник и охладили его до -250C. А потом использовали квантовые корреляции, чтобы уменьшить шумы в системе и получше наблюдать сигнал.



Квантовые технологии помогают нам в самых разных областях. Например, когда нам нужно измерить очень слабый сигнал, а квантовые шумы в системе очень мешают. Это традиционная проблема, например, в гравитационно-волновых детекторах, в которых квантовые флуктуации в амплитуде и фазе лазера, используемого для измерения положения зеркал, мешают наблюдению гравитационных волн. Я об этом рассказывал в своей статье про детектор Einstein Telescope, который появится в Европе в недалеком будущем.

У нас в эксперименте получился маленький прототип этого детектора.
Сегодня вышел препринт нашей статьи об этом эксперименте: Squeezed-light interferometry on a cryogenically-cooled micro-mechanical membrane.

1. Краткое введение

В природе множество слабых сил, которые ученым очень хотелось бы изучить.
Проблема в том, что измерить силу напрямую мы не можем, а можем только наблюдать ее эффект на разные тела.

Самые простой и эффективный способ измерить силу использовать маятник. Сила смещает маятник, и мы измеряем это смещение. Когда сила близка к резонансной частоте маятника, смещение оказывается значительно усиленным, и мы можем наблюдать хороший сигнал.
Чтобы измерять смещение маятника, удобно использовать свет. Когда мы светим лазером на маятник, покрытый отражающим веществом, фаза отраженного света содержит информацию о смещении маятника.

Фазу света напрямую мы наблюдать не можем, для этого нужен интерферометр.



Интерферометр Майкельсона: лазерный луч делится два две равных части на делителе луча (beam splitter), отражается от подвижных зеркал, где приобретает фазу с информацией об их смещении. После возвращения на делитель луча, разные фазы луча интерферируют (амплитуды складываются или вычитаются), и на выходе мы видим сигнал, пропорциональный смещению зеркал.

На этом принципе работают не только детекторы гравитационных волн, но и большая часть сенсоров.

К сожалению, кроме сигнала в таком детекторе будет еще множество разных источников шума.
Про некоторые я писал в своей статье про детектор Einstein Telescope, а здесь ограничусь только двумя.

1. Тепловой шум

Представим маятник как зеркальце, подвешенное на нитке.

Тепловое броуновское движение молекул в этой нитке приводит возбуждает колебания зеркала. Это движение в принципе случайное и может быть представлено как сила действующая на зеркало на разных частотах. На частотах близких к резонансу маятника, эта сила приводит к резонансному увеличению смещения зеркала. И хотя спектр тепловой силы белый (т.е. сила одинаковая на всех частотах), при измерении спектра движения зеркала мы увидим характерный пик на резонансной частоте.


Спектр теплового шума: смещение маятника под действием теплового шума на разных частотах. Чем меньше температура, тем меньше шум. Украдено отсюда.

Тепловой шум зависит от температуры (чем ниже, тем меньше шум) и от качества нитки (количества потерь). Строго говоря, есть флуктуационно-диссипационная теорема, которая связывает наблюдаемый шум с диссипацией в системе.

Соответственно, в будущих детекторах гравитационных волн с этим шумом будут бороться двумя путями: охлаждением подвесов (и зеркал) и увеличением их качества. В нашем эксперименте мы наблюдали спектр теплового шума и уменьшали его с помощью охлаждения, но об этом ниже.

2. Квантовый дробовой шум

свет имеет квантовую природу, отдельные фотоны летят с разной случайной задержкой. Другими словами, фаза луча света оказывается случайной.

Когда мы пытаемся измерить фазовый сигнал от внешней силы, он оказывается ограничен этой фазовой неопределенностью. На детекторе мы видим шум белого спектра, который оказывается фундаментальным ограничением в точности измерений. Все детекторы ограничены дробовым шумом. Несмотря на его фундаментальность, можно использовать квантовые корреляции, чтобы снизить уровень этого шума.

Для этого нужно вспомнить немного квантовой механики. Неопределенность в фазе и неопределенность в амплитуде лазера связаны соотношением Гейзенберга:

В обычном лазерном луче эти неопределенности равны. Однако, можно сжать неопределенность в фазе за счет увеличения неопределенности амплитуды главное, чтобы их произведение удовлетворяло соотношению неопределенности. Такой свет называется сжатым со степенью G:

Мы воспользуемся как раз таким трюком, и сожмем неопределенность в фазе, позволив улучшить наблюдение сигнала. Кстати, гравитационно-волновые детекторы уже используют сжатый свет для всех последних наблюдений. Мы еще недавно делали эксперимент, где игрались с этим сжатым светом, и я писал об этом на Хабре.

Итак, разобравшись с основами, перейду к эксперименту.

2. Наш интерферометр

В нашем эксперименте мы использовали в качестве маятника маленькую мембрану со стороной в 1мм и толщиной всего 50нм.


Слева: фотография мембраны (маленькое окошко в центре серой рамки). Мембрана натянута как барабан на рамку, и колеблется внутри. Справа: иллюстрация смещения мембраны.

Такая мембрана колеблется на частоте около 400кГц, и ее добротность (количество осцилляций до потери половины энергии) составляет порядка 10⁵. Для этого, правда, приходится ее поместить в вакуум, иначе воздух давит на нее слишком сильно, и она не колеблется.

А еще она достаточно прозрачная: ее коэффициент отражения составляет всего 20%.

Это не очень удобно, потому что если использовать такую мембрану в интерферометре Майкельсона, большая часть сигнала будет потеряна. Хуже того, когда мы захотим использовать сжатый свет, эти квантовые корреляции тоже потеряются, а они особенно чувствительны к потерям. Так что мы решили использовать другую конфигурацию интерферометра, сложив два плеча интерферометра Майкельсона так, что два зеркала оказались одним нашей мембраной.
В таком интерферометре есть две моды: часть света проходит сквозь мембрану, и просто выходит из интерферометра, не неся никакого сигнала (это мода Саньяка). Другая часть отражается и приобретает фазу, про
порциональную смещению мембраны, и мы получаем сигнал на выходе интерферометра.

Интерферометр Майкельсона-Саньяка

Одной из главных сложностей интерферометра оказывается его настройка: свет должен идеально перекрываться на центральном делителе луча, иначе интерференции не случается, и мы теряем в чувствительности и в сжатом свете. Особенно это сложно, когда интерферометр находится внутри вакуумной камеры или криостата. Чтобы сделать интерферометр как можно более стабильным, мы сделали его из единого блока материала с низким коэффициентом температурного расширения, оптимизировав его форму так, что он не искривлялся при охлаждении. А еще он был покрыт золотым напылением, чтобы максимально изолировать его от теплового излучения извне. Этот блок мы засунули в криостат, который мог охладить его до 20К (-253С).


Схематическое представление интерферометра


Фотография интерферометра в разобранном виде: слева интерферометр и пьезомоторы, смещающие зеркала при низких температурах. Справа мембрана в держателе.

3. Сжатый свет

Рекомендую почитать статью на Хабре, которая является отличным введением в сжатые состояния света.

Сжатый свет можно создавать по-разному, и мы используем нелинейный кристалл.
Когда кристалл накачивают фотонами, нелинейный процесс приводит к созданию из одного фотона накачки двух фотонов с половиной энергии (частоты) фотона накачки. Эти фотоны оказываются в квантово-запутанном состоянии . Поток таких парных фотонов оказывается более упорядоченным, чем поток обычного света, т.к. дробовой шум оказывается снижен эффект сжатия.

При этом неопределенность фазы будет снижена, в пределе до нуля, за счет увеличения неопределенности амплитуды. Можно сделать и наоборот, уменьшить неопределенность амплитуды. В наших экспериментах мы сжимаем не сам свет, а квантовые флуктуации нулевого состояния поля (т.е. то, что называется вакуумными флуктуациями). У такого сжатого вакуума средняя амплитуда равна нулю и есть только неопределенность фазы и амплитуды.


Принцип работы сжатого света в нелинейном кристалле. Красная линия сверху слева показывает преобразование входного света в выходной в зависимости от амплитуды. Снизу фиолетовая синусоида показывает сумму волны накачки (зеленая) и вакуумных флуктуаций основного света (красное). После нелинейного кристалла (справа) разные части этой волны получают разное усиление: одни усиливаются, другие подавляются. Шум при этом оказывается уменьшен в одни моменты времени и увеличен в другие (справа красный). Это эффект сжатия.

В эксперименте мы сначала используем нелинейный процесс для создания луча накачки, уменьшив длину волны с 1550нм до 775нм (SHG), а потом используем эту накачку для сжатия вакуумных флуктуаций на длине волны в 1550нм. Потом мы измеряем получившийся свет в интерферометре, совмещая его с лазерным лучом на делителе. Такой подход называется гомодинным детектированием.



В этом эксперименте у нас было около 8.7 дБ сжатия на входе в интерферометр (снижение шума в 7.5 раз), но вообще мы умеем делать гораздо более сильное сжатие теперь до 30 раз (15 дБ). Как я писал выше, сжатый свет очень сильно подвержен оптическим потерям, и улучшение чувствительности у нас было не таким значительным (4.8дБ).

4. Совмещаем все вместе

Сжатый вакуум мы направляем в интерферометр с сигнального порта. Он проходит через интерферометр, и выходит обратно вместе с сигналом от движения мембраны. Оба они направляются на гомодинный детектор.

Все фазы света нужно контролировать: резонаторы должны оставаться в резонансе с основным лучом, фазы сжатого света должны совпадать с фазами сигнала, интерферометр должен оставаться правильно настроенным, гомодинный детектор должен измерять правильную фазу.
В итоге все вместе это занимает большую комнату:




В результате, мы смогли наблюдать тепловое движение нашей мембраны и охладить ее до 100К и до 20К. Это охлаждение напрямую можно было наблюдать в спектре ее движения: с уменьшением температуры уменьшился и шум. С другой стороны, мы используем сжатый свет и подавляем дробовой шум в три раза. В результате, получается такой прототип гравитационно-волнового детектора, в котором мы впервые совмещаем охлажденный интерферометр с квантовым сжатием.



Самое главное, мы демонстрируем, что возможно поддерживать настройку интерферометра при охлаждении до низких температур и не вносить потерь, которые бы уменьшали степень квантовых корреляций в системе.

Основная часть работы была проделана аспиранткой в нашей лаборатории (картинки по большей части взяты из ее диссертации). До этого результата мы шли больше 6 лет, и все умещается на 4 страницах статьи. Вот так мы проводим время в лабораториях квантовой оптики. В следующий раз расскажу про другой эксперимент и покажу больше внутренностей оптики и всякий гикпорн.

Squeezed-light interferometry on a cryogenically-cooled micro-mechanical membrane

И напоследок: если хотите понаблюдать за моими попытками разобраться в том, как вести научный твиттер на английском языке, добро пожаловать: @hbar_universe.

В настоящее время на рынке AR очков сложно найти технологию (а возможно ее и вообще не существует), которая позволила бы сделать AR очки не только уделом гиков, но и внедрить технологию в повседневную жизнь людей. В этом посте мы хотим рассказать о том, как попробовали придумать и собрать AR очки на основе новой технологии. Ну а попутно расскажем, по каким граблям ходили и в какую сторону лучше двигаться не стоит.

Введение

Все мы, наверное, в той или иной степени сталкивались с девайсами в виде AR очков. Но не все знают, почему так сложно сделать хорошие носимые устройства, которые смогли бы обеспечить пользователя изображением, не уступающим по качеству изображениям современных мониторов и экранов, имели бы небольшой размер, сравнимый с габаритами обычных очков для коррекции зрения, и могли бы работать без подзарядки на протяжении всего дня. Более подробно про современное положение дел и проблемы в области AR можно почитать тут: ссылка

Рис. 1: верхний рисунок глаз человека может фокусироваться на объекты, удаленные на расстояние больше 15 см, нижний рисунок для создания изображения в системе дополненной реальности необходимо использование прозрачного оптического элемента, который искусственно отдалит изображение на комфортное для человека расстояние.

Кратко, если нет времени читать предыдущий рекомендованный пост

Глаз человека очень сложный биологический сенсор. Считается, что порядка 80% всей информации об окружающем мире человек получает через глаза. Эволюционно сложилось так, что человеческий глаз может фокусироваться на предметы, которые находятся на удалении от 15 см до (бесконечности) (рис.1 (верхний)).

Такая особенность хороша для повседневной жизни в реальном мире, но является трудно преодолимой проблемой при разработке систем AR. В системе AR очков недостаточно просто отобразить изображение на дисплее или экране по средствам включения или выключения пикселя/мини-светодиода. Если в AR очки установить обычный дисплей, то он будет располагаться на расстоянии 2 3 см от глаз, куда человеческое зрение не в состоянии сфокусироваться. Чтобы решить эту проблему, необходимо пропустить изображение через оптическую систему и сделать так, чтобы глазу казалось, что изображение удалено на комфортное для зрения расстояние (рис. 1(нижний)). Вся сложность заключается в том, как изготовить такую оптическую систему, да так, чтобы эта система была прозрачной (для наблюдения реального окружающего мира), малой по размеру (как обычные очки), выдавала изображение высокого разрешения (конкурентоспособное в современном мире дисплеев), отображала изображение при различной ориентации глаза (глаз постоянно двигается и постоянно перемещается его оптическая ось) и т.д.

В настоящее время есть большое количество подходов и технологий, как обмануть глаз и заставить его думать, что изображение удалено на нужное расстояние, при том, что оно генерируется в паре сантиметров от глаз. Однако по тем или иным причинам уже существующие технологии не подходят для создания массового продукта в виде AR очков.

На основе знаний в области оптики, фотоники и современных технологий дополненной реальности мы попробовали разработать свою технология, которая по некоторым параметрам явно превосходит существующие аналоги.

Мини-предыстория

Все началось с университетской научной деятельности. Мы занимались изготовлением больших наноструктурированных поверхностей методом лазерной интерференционной литографии. Итоговые поверхности представляли собой протравленные по маске фоторезиста нанорешётки на поверхности кремния или стекла с характерным периодом 400 нм 5 мкм.
На одном из лит. обзоров попалась статья про использование мини дифракционных решеток для создания 3D дисплея (хотя это слишком громкое название для такого рода устройств). В работе предлагалось под каждым пикселем LCD дисплея устанавливать разно-ориентированные мини дифракционные решётки (рис. 2). Такая конструкция позволяет пикселю светить только в фиксированном направлении. А если правильно подобрать направления свечения всех пикселей, то можно добиться того, что каждый глаз будет видеть свое изображение, что в свою очередь приводит к появлению стереоэффекта, ну или как авторы называют это в своей работе 3D дисплею.

Рис. 2: a сканирующая электронная микроскопия одной дифракционной решётки, b один воксель (пиксель в 3D изображении) состоит из нескольких разноориентрованных решёток, с полноволновое моделирование диаграммы направленности от 64-лучевой подсветки, d поперечный срез диаграммы по пунктирной линии.

Не будем вдаваться в детали чужой технологии. Все подробности можно прочитать по ссылке: David Fattal. Скажу только, что на основе данной технологии был разработан смартфон RED Hydrogen One c 3D дисплеем (см. анимацию).

Анимация: Работа дисплея смартфон RED Hydrogen One со стерео/3D дисплеем.

Первоначально была идея использовать подобные решетки для создания AR очков. Предполагалось, что если спроектировать систему так, чтобы все решетки перенаправляли свет пикселей в одну точку, совпадающую с центром зрачка глаза наблюдателя, то можно добиться построения необходимого изображения на сетчатке. Такой принцип работы схож с технологией Virtual Retinal Display (VRD), использующейся в очках дополненной реальности North Focals. Однако использовать отдельные решетки для фокусировки не самый оптимальный и очень затратный подход. Гораздо лучше использовать голографические линзы, которые значительно проще в изготовлении и обладают теми же оптическими свойствами, что и решётки. Так появилась технология дополненной реальности на основе голографического оптического волновода.

Голографический оптический волновод

Рис.3: верхний рисунок объемный вид работы голографического оптического волновода, нижний рисунок сечение голографического оптического волновода с трассировкой лучей подсветки параллельным пучком.

Основным элементом технологии является голографический оптический волновод структура, состоящая из нескольких слоев различного назначения. Основной слой это планарный оптический волновод (1. Planar waveguide), изготовленный из стекла. При изготовлении одна из граней этого волновода полируется под таким углом, чтобы можно было завести параллельный пучок в волновод и добиться распространения излучения по волноводу по принципу полного внутреннего отражения. Тут стоит отметить, что стекло лучше брать оптически чистое, чтобы достичь распространения излучения по волноводу с наименьшими потерями. Излучение, заводимое в волновод, представляет собой расширенный параллельный лазерный пучок с фиксированной поляризацией (4. backlight). На поверхность планарного волновода укладывается голографическая пленка с записанным в объеме оптическим элементом (линзой) (2. HOE (lens)). Лазерный пучок, распространяющийся по такой структуре, частично высвечивается из-за интерференционных особенностей голографической пленки. Высветившееся излучение представляет собой фокусирующийся пучок фиксированной поляризации (на рис. 3(нижний) показано красными стрелками между слоями 2 и 3), который далее может быть модулирован системой из ЖК-матрицы и поляризационного фильтра (3. LCD matrix). При этом систему матрица + поляризационный фильтр можно настроить так, что активные пиксели (на которые подан управляющий сигнал) либо перекрывают пучок, либо наоборот позволяют оставить его светящимся (такое поведение достигается за счет правильной ориентации поляризационного фильтра по отношению к поляризации высвечивающегося пучка). Высветившийся и промодулированный изображением свет фокусируется в центре зрачка глаза наблюдателя и далее проецируется на задней стороне сетчатки (6. retina). Использование метода фокусирования лазерного излучения в центре зрачка позволяет избежать влияния оптической системы глаза (хрусталика, стекловидного тела и т.д.) на формирование изображения. Поскольку вся схема состоит из оптически прозрачных или частично прозрачных слоев, то через всю систему можно наблюдать окружающий мир (5. external objects) без помех.

К отличительным техническим преимуществам такой схемы по сравнению с другими AR технологиями (MagicLeap, Hololens, North Focals, ) можно отнести:

• Максимальный FOV сравнимый с полем зрения глаза человека (120)
• Высокая компактность, обусловленная расположением активного дисплея (ЖК матрицы) и просмотровой области в одном месте. Потенциально предлагаемая технология может позволить изготавливать очки в форм-факторе обычных очков для коррекции зрения.
• Высокое разрешение генерируемого изображения. Поскольку изображение генерируется не на отдельном мини-дисплее (как это делается у Magic Leap или Hololens) вне просмотровой области, а прямо на очковой линзе.
  Прочие технические параметры не отличаются какими-то выдающимися характеристиками и являются стандартными для технологий AR.

Изготовление голографического оптического элемента (HOE)

Перед непосредственной сборкой всего устройства, была проведена работа по записи необходимых оптических элементов (линз) в объеме голографической пленки.

Более подробно о том, что такое HOE и где они используются, можно прочитать по ссылке. Существует много материалов, которые используются в голографии и которые рассматривались нами: фоторезисты, материалы на основе галогенидов серебра, фотополимерные пленки. Мы решили особо не заморачиваться с процессом отработки нанесения фоторезиста и всеми техническими тонкостями химии фоточувствительных веществ и взяли уже готовую голографическую пленку Covestro Bayfol HX200, которая обладает дополнительным клеящимся слоем, что значительно упрощает запись и перенесение пленки на планарный оптический волновод. Спектральная чувствительность этой пленки является наиболее подходящей для наших задач.

Рис. 4: голографическая пленка Bayfol HX200, вставка спектральная чувствительность пленки ссылка

В качестве записываемого элемента использовалась плосковыпуклая короткофокусная линза N-BK7 Plano-Convex Lens, 1", f = 25 mm. Такой короткий фокус позволяет расположить голографический оптический волновод на фокусном расстоянии линзы так, чтобы фокус пучка совпадал с центром зрачка глаза наблюдателя. То есть в нашем случае AR дисплей будет установлен на расстоянии 25 мм от глаза.

Запись производилась по стандартной методике голографии в темной комнате. В качестве источника излучения использовался лазерный диод на 650 нм из набора LitiHolo. Пучок от лазерного диода расширялся до диаметра используемой оптики 1, после чего при помощи светоделительной пластины 50/50 делился на опорный и предметный пучки. Предметный пучок проходил через записываемый оптический элемент (N-BK7 Plano-Convex Lens, 1", f = 25 mm), а опорный проходил через систему зеркал и под углом проецировался в тоже место голографической пленки, что и предметный пучок. При этом оптическая ось предметного пучка была перпендикулярна поверхности голографической пленки, а оптическая ось опорного пучка составляла порядка 60к нормали. Такой угол записи обусловлен углом полного внутреннего отражения в планарном оптическом волноводе при последующем заведении излучения.

Для контролирования дифракционной эффективности использовались нейтральные фильтры, устанавливаемые в предметном пучке. Дифракционная эффективность рассчитывалась, как отношения между падающим и дифрагированным пучком в процессе оптического восстановления изображения, записанного в объеме голограммы.

Рис. 5: слева схема установки для записи образа оптического элемента, который можно помещать в область, обозначенную пунктиром, справа установка, реализованная на оптическом столе.

Время засветки (экспозиции) и мощность пучков подбирались экспериментально. В нашем случае время засветки составляло 2 мин, мощность опорного пучка 1.96 мВт, мощность предметного пучка 1.68 мВт (наибольшая идентичность мощностей в пучках соответствует случаю наибольшей дифракционной эффективности).

После записи образа короткофокусной линзы, голографическая пленка подвергалась УФ облучению в течение нескольких часов. В качестве источника УФ-света использовалась кварцевая лампа КРИСТАЛЛ. В результате УФ засветки не засвеченная область пленки становилась прозрачной, как показано на рис. 6. (справа). Полученные голографические оптические элементы можно переносить (переклеивать) на подготовленный планарный волновод, который в последующем будет использоваться в AR очках.

Рис. 6: слева пример голографически записанной оптической линзы (область с радужной окраской голографическая линза), справа изменение цвета и прозрачности голографической пленки Covestro Bayfol HX200 в зависимости от длительности пост-засветки УФ кварцевой лампой (от 0 сек (0) до 2 часов (7) с шагом в 15 мин)

Список компонентов для прототипа AR очков:

• Оптический планарный волновод с одной из граней, отполированной под углом 45. Размеры 40мм x 40мм и толщина 4 мм
• Голографическая пленка Covestro Bayfol HX200
• Обычная китайская красная лазерная указка на 650 нм
• Плосковыпуклая короткофокусная линза N-BK7 Plano-Convex Lens, 1", f = 25 mm
• Поляризационная клеящаяся пленка для LCD дисплеев
• ЖК-модуль Nokia 5110 84x48
• Контроллер Arduino Nano
• расходники: провода, кнопки, батарейки и т.д.

Сборка прототипа

Первоначально мы попробовали изготовить стеклянный планарный оптический волновод самостоятельно, используя шлифовальные черепашки (казалось, что для проверки работоспособности прототипа этого будет достаточно). Но такой способ не позволил получить ровного края бокового окна. При обработке образуются сколы в нижней части, где толщина стекла наименьшая, также качество полировки оставляет желать лучшего. Помучившись с полировкой, мы решили заказать планарный волновод фабричного производства с углом при основании 45.

Рис. 7: слева самодельные оптические волноводы (у основания видны сколы), справа планарный оптический волновод фабричного производства.

LCD матрица была взята из ЖК-модуля Nokia 5110 84x48. Для этого аккуратно разобрали дисплей, удалили рассеиватель, подсветку и один из поляризационных фильтров (Рис. 8). В итоге осталась только сама ЖК-матрица и один наклеенный на нее поляризатор. Для удобства миниатюризации припаяли одножильные лакированные провода к контактам ЖК-матрицы (если эти провода не повреждать и особо не гнуть, то их лаковой защиты хватит в качестве изоляции).

Рис. 8: частично разобранный ЖК модуль Nokia 5110 84x48. На фото ЖК-модуль с двумя поляризаторами (когда один из них отклеили, матрица стала значительно более прозрачной)

Записали ряд образцов голографической линзы с разными дозами экспозиции и разным отношением мощностей в опорном и предметном плечах. Выбрали пленку с наибольшей дифракционной эффективностью (дифракционную эффективность оценивали с помощью измерителя мощности оптического излучения) и наибольшей однородностью высвечивания. У выбранного нами образца дифракционная эффективность составила 17%, что достаточно мало. В теории можно изготовить голографические оптические элементы с дифракционной эффективностью до 98%. Далее приклеили голографическую пленку на планарный волновод так, чтобы края голограммы и грани, скошенной под углом 45 планарного оптического волновода, максимально совпадали.

Планарный оптический волновод с приклеенной голографической линзой вставлялся в специальный держатель, распечатанный на 3D принтере. Также в этот держатель устанавливалась LCD матрица с наклеенным на нее поляризатором (рис. 9). Отпечатки пальцев и прочий мусор на поверхности может нарушать условие полного внутреннего отражения, что приводит к высвечиванию пучка в совершенно ненужных местах. Для защиты и предотвращения попадания грязи были использованы защитные окна, изготовленные из предметного стекла.

Рис. 9: конструкция дисплея дополненной реальности.

В качестве источника подсветки использовался лазерный светодиод на 650 нм, с правильно выбранной ориентацией поляризации света. Излучение от лазерного диода проходило через плоско-выпуклую линзу и коллимировалось до параллельного пучка, который в последующем заводился через торец планарного стеклянного волновода. Все параметры конструкции были экспериментально, итерационно подобраны с использованием 3D печати (рис. 10).

Рис. 10: пунктиром выделена область формирования параллельного пучка от лазерного диода (внутри находится линза для преобразования расходящегося пучка в параллельный с последующей проекцией на боковое окно планарного волновода)

Для крепления к голове изготовленного AR дисплея с подсветкой был изготовлен функциональный каркас (рис. 11), изготовленный по образу дужки обычных очков для коррекции зрения. Так как форма головы человека индивидуальна и может отличаться по геометрии и по размеру от изначально подобранных параметров, в конструкцию были добавлены дополнительные регулировочные винты, которые позволяют настроить очки под особенности каждого, а именно добиться совпадения пятна фокусировки от AR дисплея и центра зрачка наблюдателя. В боковые дужки были установлены элементы питания, элементы (кнопки) и блок управления (Arduino Nano). Кнопки необходимы для переключения между картинками и запуска воспроизведения изображений.

Рис. 11: слева конструкция в виде дужки очков, для крепления AR дисплея, справа в одной из дужек спрятан блок управления (Arduino Nano)

В конце-концов все это было настроено и собрано в один автономный девайс (рис. 12).

Рис. 12: первый прототип AR очков на основе голографического оптического волновода.

Конечно, мы не сразу приступили к сборке компактного варианта. Первоначально подбор базовых параметров технологии осуществлялся для прототипа, собранного на оптическом столе. Изображения, полученные в лабораторном устройстве, показаны на рис. 13. После того, как была продемонстрирована работоспособность лабораторной схемы, мы приступил к сборке устройства в компактном форм-факторе (AR очки).

Рис. 13: Изображения наложения цифровой сгенерированной информации на образ окружающего мира (на оптическом столе).

Как можно видеть из рис. 14 компактный протип AR очков работает:)))
К сожалению, изображения, полученные на компактном прототипе (рис. 14), сильно хуже, чем изображения полученные на оптическом столе (рис. 13). Скорее всего, это связано с неправильно подобранным углом заведения излучения и неправильно выставленной ориентацией поляризации лазерного источника. Также можно видеть, что изображение имеет вертикальные дефектные линии, обусловленные неточностью позиционирования голографической пленки с краем планарного волновода. Ну и не стоит забывать, что дифракционная эффективность голографического элемента порядка 17%, что достаточно мало.

Рис. 14: слева прототип очков дополненной реальности, справа изображения наложения цифровой сгенерированной информации на образ окружающего мира (компактный прототип). На изображении: шахматная доска, очки, крест, мишень (видно очень плохо, так как использовалась диф.решётка с низкой диф.эффективностью)

Из минусов технологии:

Разработанная технология отличается высочайшей компактностью. Даже не знаю аналогов, в которых изображение генерировалось прямо в просмотровой области. Как правило, в существующих AR технологиях изображение выводится на микро-дисплее, а затем по оптическому волокну передается в просмотровую область / очковую линзу. Также технология обладает наибольшим FOV, сравнимым с FOV глаза человека.

Но все же есть один недостаток:
Глаз человека находится в постоянном движении (смотрит вправо, вверх, влево, вниз, прямо). Это приводит к тому, что роговица может перекрывать пучок света, проходящий через центр зрачка. Пока не понятно, как оптимально решить проблему с постоянной подстройкой оптической системы (положения фокусного пятна) под положение зрачка пользователя.

А что дальше???

1) На момент написания поста уже одобрена патентная заявка по данной технологии.
2) С учетом допущенных ошибок начинается сборка нового прототипа с улучшенными параметрами (контрастностью изображения, разрешения картинки и т.д.).
3) Будет опробована реализация данной технологии для генерации не только монохромных, но и цветных изображений.
4) Разрабатывается система подстройки фокусного пятна под ориентацию глаза, под положение зрачка наблюдателя. Рассматриваются способы, подобные решениям в области VRD технологий.

В целом, хотя технология находится еще в стадии развития, мы считаем, что разработанный принцип наложения цифрового изображения на образ окружающего мира может послужить базой для разработки новых AR технологий, обладающих высочайшей компактностью и большим просмотровым полем (FOV).

P.S. Если вы шарите в электротехнике или любите Science (оптику, фотонику и т.д.) и у вас есть желание покопаться/поразрабатывать всякие AR хардвар штуки пишите в лс.

P.P.S. Выражаются благодарности всей тиме AR_Global (Анне П, Вере П, Мише Е), которая принимала непосредственное участие в разработке технологии и её реализации в виде прототипа. За поддержку выражается благодарность всему коллективу NanoLab.

Мы живем в информационную эру, где интернет базовое право человека. Достигнуть текущего уровня развития было непросто, но мы смогли, и сейчас технологии позволяют нам жить в том будущем, которое еще недавно раскрывалось лишь на страницах книг. Понятно, что технологии возникли не вдруг, некоторые из них уходят корнями в далекое прошлое.

Одна из этих технологий оптическая связь. Ее использовали еще в античности. Ну а сейчас у нас есть подводные магистрали, спутниковые лазерные системы и многое другое. Давайте посмотрим, как оптическая связь менялась с течением времени.

Семафоры и гелиографы

То, что скорость света гораздо больше скорости звука, люди поняли очень давно. И это знание они стали применять на практике. Речь идет о световых сигналах, которые активно использовались, например, в Древней Греции. Конечно, догадались использовать свет и другие цивилизации, но у греков все это было развито особенно хорошо.

^{Графический телеграф реконструкция из музея в г. Салоники, Греция}

Греки построили систему, известную как Фриктория. Это башни на вершинах гор. Стража на башнях по цепочке зажигала огни, которые были хорошо видимы на расстоянии до 50 км. Соответственно, отправленное сообщение уходило в нужную точку очень быстро. В некоторых источниках даже говорится о том, что именно так по Греции распространилось сообщение о взятии Трои.


Именно греки придумали специальный код для световых сигналов. У башен было две группы по 5 факелов. Каждый из них представляет собой элемент квадрата Полибия. Соответственно, изменение местоположения элементов в этой матрице позволяло кодировать и передавать самые разные сообщения. Еще один вариант гидравлический телеграф, который использовался по время Первой Пунической войны для отправки сообщений между Сицилией и Карфагеном.

Вот что говорит Википедия по поводу этого телеграфа: На стержнях были нанесены различные заранее заданные коды в разных точках по высоте. Чтобы отправить сообщение, отправляющий оператор будет использовать фонарик, чтобы подать сигнал принимающему оператору; как только они будут синхронизированы, они одновременно откроют патрубки на дне своих контейнеров. Вода будет стекать до тех пор, пока уровень воды не достигнет желаемого значения, после чего отправитель опускает факел, а операторы одновременно закрывают свои краны. Таким образом, продолжительность видимости факела отправителя может быть соотнесена с конкретными заранее заданными кодами и сообщениями.

Применялись семафоры и гораздо позже. В 18 веке была создана иная разновидность оптического телеграфа, сеть которых позже была распространена по всей Франции. Это была коммуникационная сеть военных.


Отдельный элемент системы башня с подвижными шестами. Был разработан алфавит, где каждой букве соответствало определенное положение шестов. Первая линия оптического телеграфа была сооружена между Парижем и Лиллем. Положение шестов меняли при помощи 196 разных положений так что изображать можно было не только буквы, но и отдельные слова. Каждая станция обслуживалась двумя работниками. Один следил за соседней башней и ее шестами, второй копировал положение шестов соседа, и так по цепочке. Проблемой такой системы было то, что работала она лишь в светлое время суток и только при относительно хороших погодных условиях. Облачность, дождь, темнота все это останавливало работу семафоров.


Но в светлое время суток и при хорошей погоде система работала просто отлично. Cкорость передачи данных составляет около 2-3 символов в минуту между соседними станциями. От Парижа до Лилля один символ доходил примерно за две минуты, а это 230 км. Для того времени просто мечта.

Системы, основанные на тех либо иных сигнала широко использовались в XIX и XX веках, особенно в военное время. После изобретения азбуки Морзе все упростилось во много раз.

Изобретение Белла

Сейчас существует много DIY-проектов, где аудиосигнал передается при помощи лазера. Построить такую систему не так и сложно. Но все эти проекты базируются на идее Александра Белла, который еще в 1880 году создал фотофон. Основной носитель информации в нем свет, не лазер, конечно, но солнечный свет. При этом именно фотофон Белл считал самым важным своим изобретением, а не телефон.


Действие этого прибора основано на свойстве селена менять электропроводимость под воздействием солнечных лучей. Они отражаются от зеркала, которое, в свою очередь, вибрирует под влиянием звука. Получатель сигнала здесь как раз кристаллические селеновые ячейки. Зеркало модулировало луч света, фокусируя или рассеивая свет от источника. Белл с партнером создали тестовую установку, которая помогла передать сигнал на расстояние около 213 метров.

Но, конечно, у этого устройства было огромное количество недостатков, включая возможность работы лишь при ясной погоде и на относительно небольшом расстоянии. Но как бы там ни было, изобретение Белла считается предшественником современных волоконно-оптических линий.

Ну а потом стекловолокно

Если исключить парочку военных проектов, то телекоммуникации в XX веке реализовывались посредством коаксиальных кабелей и излучения с частотой 1-10 ГГц. Так все было до момента появления оптоволокна в 70-х годах прошлого века. Очень быстро именно оно стало основным каналом связи с огромной пропускной способностью.

Оптоволокно стало ответом на проблемы коаксиальной связи. Главный ее недостаток заключается в том, что сигнал нужно усиливать примерно через каждый километр, чтобы компенсировать потери при передаче. При беспроводной радиочастотной (РЧ) связи интервал ретранслятора может быть намного больше, но в обоих случаях полоса пропускания ограничена ~ 100 Мбит / с из-за низкой частоты несущей РЧ.


Оптоволокно решало все эти проблемы. И спустя пару лет оптоволокно стало тем, чем оно является и сейчас. Так, еще в 1977 году компания General Telephone and Electronics (сейчас корпорация GTE) отправила первый в мире прямой телефонный трафик через оптоволоконную систему со скоростью 6 Мбит / с. Сегодня всемирная волоконно-оптическая сеть насчитывает более 400 миллионов километров, что почти в три раза превышает расстояние до Солнца.

Оптоволоконную связь улучшили благодаря методам мультиплексирования, включая мультиплексирование по длине волны, временным разделением или пространственным мультиплексированием с разделением. В лаборатории комбинация этих методов показала отличный результат данные удалось передать со скоростью в 11 Пбит/с, с потерями всего в 5% на каждый километр. Ретрансляторы устанавливаются каждые 80 км, что, конечно, гораздо лучше, чем в случае коаксиального кабеля.

Интернет из лампочки

Кроме оптоволокна, есть и другие способы скоростной передачи данных, причем безо всяких кабелей. Это беспроводная оптическая связь, как она есть. LiFi двунаправленная высокоскоростная беспроводная коммуникационная технология.


Правда, для этого способа нужна светодиодная лампочка, а не лампа накаливания. Понятно, что работает технология только в зоне прямой видимости, причем чем дальше о точки передачи данных, тем хуже связь.


^{Одна из первых иллюстраций, разъяснявших принцип работы системы. Здесь, как видим, наладонники вместо смартфонов}

Для LiFi разработан собственный протокол, IEEE 802.15.7, который определяет три физических (PHY) уровня с разными пропускными способностями:

• PHY I был создан для наружного применения и работает на скоростях от 11.67 Кбит/с до 267.6 Кбит/сек.
• PHY II позволяет достигать скоростей передачи данных от 1.25 Мбит/с до 96 Мбит/сек.
• PHY III предназначен для множественных источников с определённым методом модуляции: Color Shift Keyring (CSK), что можно перевести как Манипуляция смещением длины волны. PHY III может достигать скорости от 12 Мбит/с до 96 Мбит/сек.

Технология не получила особого распространения, но кое-где применяется. В основном, речь идет о промышленных системах, в местах с сильными электромагнитными помехами, где почти любая радиосвязь невозможна или затруднена.

А что насчет больших расстояний и беспроводной оптической связи?

К сожалению, здесь похвастаться особо нечем. Многие компании начинали тестовые испытания технологии передачи данных при помощи лазеров или иных оптических систем. Но, как правило, эти испытания не выходили за пределы лаборатории или тестовой площадки.


Например, в прошлом году разработчики из Alphabet построили в Кении экспериментальную беспроводную сеть, которая работает на основе света. Это не оптоволокно, основа системы луч света, который фокусируют на удаленной точке приема приемной станции.

Проект получил название Project Taara. В ходе его реализации удалось добиться передачи данных на расстояние примерно в 20 км без развертывания проводной инфраструктуры. Тесты показали неплохой результат. Но несмотря на это, проект потом решили закрыть.

То же самое можно сказать относительно второго проекта этой же компании, Loon. Несколько лет этот проект развивали, но буквально несколько недель назад приняли решение закрыть.

Есть менее масштабные проекты, которые были реализованы. Например, компания Koruza предлагает лазерную связь на скорости около 10 Гбит/с, но расстояние при этом не превышает 150 м. В некоторых случаях интернет-провайдеры используют лазерные трансмиттеры для обеспечения связью удаленных от основной магистрали объектов. Иногда подобные системы создают и пользователи но такие системы не слишком распространены.

Кроме того, в начале года Илон Маск рассказал о том, что спутники Starlink оснастили лазерной связью для покрытия полярных регионов. И уже через год все спутники Starlink, которые отправляются на орбиту, будут оснащаться лазерной связью.

Благодаря дополнительному виду связи широкополосный доступ в интернет получат и жители Аляски, о чем компания рассказывала в заявке для FCC.

Лазеры дают возможность спутникам держать связь не только с наземными станциями, но и друг с другом, причем неважно, где находится коллега в той же орбитальной плоскости, или в соседней. Соответственно, оператор сможет минимизировать количество наземных станций, расширяя зону покрытия удаленных регионов, где наземных станций вообще нет. Кроме того, снижается и latency, поскольку уменьшается количество посредников между спутниками и наземными станциями.

Tesla давно мечтает сделать камеры, работающие не хуже лидара. Если ее мечта осуществится, это сильно поможет конкурентам.



Всем хорошо известно, что думает Илон Маск о применении лидара (технологии трехмерного изображения) в беспилотных автомобилях. Он не планирует использовать ее в Tesla и считает костылем. Это очень спорная точка зрения, только время покажет прав ли он.

Tesla продвигает технологию, называемую псевдо-лидаром или виртуальным лидаром. Эта технология заключается в построении инструментов для создания снимков с камеры (стерео или обычных). Нужно выяснить насколько далеко находится каждый пиксель на снимке. Лидар вычисляет расстояние до каждого пикселя. Он определяет сколько времени требуется световому импульсу, чтобы попасть в пиксель и вернуться обратно со скоростью света. Люди оценивают расстояние, используя мозг. Мы знаем насколько большие те или иные предметы и как они движутся. Это дает нам представление о том насколько далеко они находятся. Мы также используем стереозрение, потому что у нас два глаза. Однако стереозрение работает только на относительно близком расстоянии. Еще есть параллакс движения вы наблюдаете за тем как движутся предметы на фоне и используете некоторые другие подсказки, чтобы определить расстояние до объекта.

Это удивительные явления. Человеческий мозг легко с ними справляется. Вы можете делать это даже с одним закрытым глазом пока ведете автомобиль. Люди пытаются создать методы машинного обучения, которые тоже смогут определять расстояние по изображению, используя нейронные сети. Это и есть виртуальный лидар. Вот результат одного интересного исследования.

Обучить виртуальный лидар гораздо проще, чем обучить обычные нейронные сети. Для этого обычно требуется множество изображений, для которых люди кропотливо вычисляют расстояния. Поскольку на тестовой машине может быть установлен действительно дорогой лидар, вы можете прокатиться на ней и получить не только тестовые данные, но и показатели с лидара. Вы показываете нейронной сети кучу изображений с реальным расстоянием, вычисленным лидаром, и сеть учится определять расстояние самостоятельно. Этот метод своеобразный вид обучения без учителя (unsupervised learning). Вам не нужны люди, определяющие расстояние вручную. Обучение без учителя значительно дешевле чем с учителем. Что нейронные сети могут делать действительно хорошо, так это обучаться. Их можно также обучать на данных симулятора, чтобы улучшить свои модели.

Можно также полагаться на то, что объекты реального мира меняют расстояние определенным образом. Эти изменения можно предсказать. Когда вы видите объект, движущийся по всем законам физики, ваша оценка расстояния, скорее всего, будет правильной. Если вы увидите, как объект прыгает в космосе каким-то невообразимым образом, вы будете знать, что ваши расчеты вероятно ошибочны.

Нейронные сети с этим справляются. Их единственная проблема в том, что они смотрят на отдельные кадры, а не на движущиеся изображения, как люди. Мы часто ошибаемся, когда речь идет о статичных изображениях. Со временем методы машинного обучения смогут превзойти нас в этом. Проблема в том, что мы должны убедиться, что эти методы чрезвычайно надежны. Вы также должны обучать нейронные сети на вещах, которые вы сами никогда не видели. Это будет для них своеобразным вызовом. Например, что-то необычное замаячило впереди на тропинке вашего переулка. Вам нужно узнать насколько далеко эта штука находится, причем узнать наверняка и в ближайшее время. Если это машина, вы знаете размер машины, поэтому понимаете как далеко она находится. Также можно показать нейронной сети поворачивающую машину. Для человека это нормальное явление, но нейронная сеть может быть такого никогда не видела. Когда вы видите какой-то объект, то задаетесь вопросом: это большой объект вдали или маленький объект вблизи? Единственный способ узнать это увидеть связь объекта с геометрией дороги. Это сложнее.

Если кто-то справится с этой задачей, у него будет инструмент, который сможет делать снимки с камеры и создавать трехмерное облако точек благодаря лидару. Поскольку камеры дешевле, на создание этого инструмента уйдет гораздо меньше денег. Также этот инструмент сможет справляться с очень большими расстояниями. Многие лидары ограничены расстоянием в 120 метров. Дорогие лидары могут распознавать объекты на расстоянии 240 метров. Люди же способны понять, что находится на расстоянии мили.

Ирония в том, что разработчики лидара сделали эту технологию, зависящей от облака точек и потратили много времени на ее улучшение. Если идея с псевдо-лидаром внезапно выгорит, то создаст качественные облака точек, которые можно будет сразу же использовать. Те, кто надеется на псевдо-лидар, получат другой опыт использования данных в этой форме. Им придется придумать как объединить другие элементы своей системы зрения с оценкой расстояния. К таким элементам относится сегментация изображения на разные объекты и их классификация. Tesla может быть совсем не готова использовать тот прорыв, на который так надеялась.

Компании, использующие лидар, наоборот окажутся в выигрыше. Отлично, мы можем заменить дорогой лидар чем-то подешевле, скажут они. Если они еще и производят лидар (как Ford, Cruise, Waymo и Aurora), то осознают как много денег потратили впустую.

Ясно одно нужно определять расстояние до любых объектов на дороге и делать это быстро и качественно. Мы уже видели, как беспилотный автомобиль Tesla несколько раз врезался в грузовики, шлагбаумы и заглохшие транспортные средства, которые были скрыты автомобилем, внезапно выехавшим на дорогу. Когда датчики обнаруживают препятствие на дороге, вам нужно знать наверняка, насколько далеко это препятствие находится. Это необходимо для экстренного торможения. Лидар почти всегда дает эту информацию, а компьютерное зрение нет. Псевдо-лидар это попытка решить проблему. На данный момент большинство других компаний планируют решить ее с помощью лидара. Они знают как он работает и ожидают, что он станет дешевле.

Конечно, если Tesla решит эту проблему внутри компании, она не поделится решением с другими. Однако демонстрация решения может побудить другие компании сделать то же самое. Команда распознавания объектов может также разработать инструмент, который просто попытается сопоставить оценку расстояния с классификацией, а не создавать облако точек подобно лидару.

Перевод: Диана Шеремьёва

---

Читать еще полезные статьи:

• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
• Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
• [Прогноз] Motornet сеть обмена данными для роботизированного транспорта
• Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
• Камеры или лазеры
• Автономные автомобили на open source
• McKinsey: переосмысляем софт и архитектуру электроники в automotive
• Очередная война операционок уже идет под капотом автомобилей
• Программный код в автомобиле
• В современном автомобиле строк кода больше чем

Под катом научно-популярная лекция о современном применении лазеров и принципах работы лазерных устройств, тех самых, которые помогают победить рак и идентифицировать коронавирус, определять строение тканей, передавать данные и строить города, сводить татуировки и делать мышей счастливыми.



Ну и, надеюсь, вы уже видели самую большую в мире лазерную установку длиной 130 метров, установленную в Сарове в ВНИИЭФ. Она предназначена в том числе для изучения термоядерного(!) синтеза.


Эта статья расшифровка лекции Дмитрия Артемьева, старшего преподавателя кафедры лазерных и биотехнических систем Самарского университета и м.н.с. научно-исследовательской лаборатории Фотоника. Дмитрий прочитал эту лекцию в нашей самарской Точке кипения прямо перед введением режима всеобщей самоизоляции.

Что такое свет

Для полноты картины начнем с азов. Из курса физики известно, что свет это электромагнитная волна или поток фотонов. Поскольку одна из характеристик электромагнитных волн длина волны, под светом (излучением) мы будем подразумевать электромагнитную волну длиной от 1 нанометра до нескольких сантиметров. Таким образом, наше определение покрывает диапазон от рентгеновского до инфракрасного излучения.



Видимый для нашего глаза диапазон занимает очень маленький интервал, порядка 300 нанометров.

Если говорить про диковинные диапазоны, такие, как рентгеновские, то, например, в прошлом году создание лазера на свободных электронах, который работает в рентгеновском диапазоне, стало одной из главных тем и было номинировано на Нобелевскую премию по физике. Интересно, что победитель в этой номинации тоже был связан с лазерной техникой: премию присудили за создание сверхкоротких и сверхмощных импульсов. Кстати, часть исследований проводили в России, в Нижегородском институте общей физики.

Чем лазер отличается от обычной лампочки

На картинке сравнение основных характеристик. Особо отметим, что максимальная мощность лазера многократно выше мощности источников, которые применяются в лампах. Но не каждому лазеру это нужно: часто для применения достаточно долей ватта, милливатта или микроватта, чтобы получить просто какое-то определенное излучение.



Вспомним, что ширина видимого диапазона излучения порядка 400 нанометров. Примерно такой же по ширине спектр имеет лампа накаливания, поэтому при перемешивании цветов мы видим белый свет. В свою очередь, ширина диапазона лазера может составлять 0,1 нанометра. Это уникальное свойство лазера используется при проведении некоторых спектральных исследований и точных прецизионных измерений.

Если посветить лазерной указкой из одной стороны комнаты в другую, мы увидим на противоположной стене лишь небольшое пятно, демонстрирующее узкую направленность излучения и малую расходимость пучка лазера. А у лампы дневного света или накаливания излучение практически изотропно, т.е. направлено во все стороны.

У естественного света отсутствует определенная направленность вектора электрического поля, это означает, что свет не поляризован. То есть у света обычной лампочки вектор E (напряженность) направлен в различные стороны. В случае лазерного излучения вектор E имеет определенное направление, колебания происходят в одной плоскости. Такая поляризация тоже делает лазерное излучение в какой-то степени уникальным.

Физика процесса

Лазер изобрели в конце 50-х прошлого столетия. В 1964 году за открытие лазерного излучения американец Чарльз Таунс и советские ученые Александр Михайлович Прохоров и Николай Геннадьевич Басов получили Нобелевскую премию. Причем Прохоров и Басов открыли не лазер, не усиление света, а усиление излучения микроволнового диапазона, так называемый мазер.



Лазер аббревиатура из пяти латинских букв: Light Amplification by Simulated Emission of Radiation. В переводе с английского это означает усиление света под действием вынужденного излучения. Ниже представлены три диаграммы. Сначала, чтобы произошло излучение, необходимо, чтобы электрон или частица перешли в возбужденное состояние. Для этого частица должна получить энергию. После этого она перейдет на более высокий энергетический уровень.



Дальше возможны два сценария. Если частица случайным образом перейдет на более низкие энергетические уровни, то мы получим спонтанное излучение. Однако если на частицу, находящуюся на верхнем энергетическом уровне, воздействовать определенным фотоном, то есть направить на нее свет определенной длины волны, то произойдет уже вынужденное излучение. И фотон, рожденный в результате такого внешнего воздействия, будет тождествен тому фотону, с которым он провзаимодействовал. Так получается когерентное излучение, при котором волны равны друг другу.

Как устроен лазер

Перед вами схема первого лазера. Это классический рубиновый лазер, созданный в 1960 году американским ученым Теодором Мейманом. Для работы прибора нужна активная среда, в данном случае кристалл рубина, и два зеркала. Одно зеркало глухое, с коэффициентом отражения, близким к единице. Второе полупрозрачное, в зависимости от типа лазеров коэффициент отражения у него может отличаться как на доли процента, так и на десятки процентов относительно глухого зеркала.



В качестве оптической накачки для твердотельных лазеров, как правило, используется другое оптическое излучение. В первом лазере на кристалле рубина применялись лампы белого света, которые содержали синий и зеленый спектры именно их кристалл рубина поглощает лучше всего.

Итак, классическая схема лазера: это активное вещество (рубин), резонатор (два зеркала) и система накачки. В других схемах накачка может происходить не только от оптического излучения, но и, например, при помощи электрического разряда (в газовых лазерах). Но в первую очередь лазеры отличаются по типу активной среды: твердотельные лазеры, газовые лазеры, лазеры на парах металлов. Выше мы упоминали лазер на свободных электронах, сейчас он активно разрабатывается и модернизируется. Также сейчас популярны диодные (полупроводниковые) лазеры и волоконные, где в качестве активной среды используется оптическое волокно.

Где применяется лазерное излучение

Лазерное излучение можно использовать в медицине, промышленности, связи, военном деле и науке. На картинке ниже примеры медицинских инструментов. Так, сейчас очень популярны лазерные скальпели для коррекции зрения. Они помогают скорректировать геометрию хрусталика, чтобы избавить от близорукости или дальнозоркости, исправить астигматизм и так далее. Лазер идеален для операций на глазе не только из-за очень маленьких размеров пучка важно и то, что время воздействия таким скальпелем можно сократить до фемтосекунд. Различные типы излучений используются для косметических операций. А в стоматологии ультрафиолетовое излучение применяют для затвердевания зубного клея, который очень хорошо его поглощает.



В промышленности с помощью лазеров производится точнейшая обработка стали: гравировка, вырезание отверстий с очень тонкой и чистой кромкой. Свойства лазерного излучения используют для закаливания некоторых металлов. Чаще всего в современной промышленности применяется волоконный лазер.



В строительной сфере лазеры применяют, чтобы определять расстояния или выстраивать геометрию. Сейчас лазерные уровни продаются во всех строительных магазинах, причем стоят недорого.



Военные и охотники уже давно используют лазерные прицелы. При этом лазер редко используют для прямого нанесения ущерба: пока такие аппараты слишком громоздки. Например, в американских вооруженных силах проводился эксперимент, в ходе которого лазерная установка устанавливалась на самолете. Для чего понадобился целый самолет? Несмотря на небольшой по размерам излучатель, система накачки потребляла огромное количество электроэнергии, а активная среда сильно нагревалась. Так что почти все пространство самолета занимали системы питания и охлаждения лазера.



В нашей стране также разрабатываются подобные системы. Пару лет назад у нас было анонсировано лазерное оружие Пересвет. Пока о нем известно только то, что оно размещается на мобильной платформе, на грузовике. В остальном, увы, гостайна.
Отдельно надо сказать про использование лазеров в научных исследованиях. Например, ученые в Сарове используют лазер в процессе термоядерного синтеза: для облучения мишени излучение высокой мощности фокусируется в пятне минимальных размеров.

Такие лазеры могут занимать большие пространства: для термоядерной реакции нужен серьезный источник излучения, размеры которого могут достигать сотен метров.

Лазерная установка УФЛ-2М в Сарове

Наряду с такими гигантами, сравнимыми по габаритам с футбольными стадионами, в последнее время набирают популярность миниатюрные лазеры на так называемых наноструктурах.
Лазеры активно используются в системах связи, в том числе спутниковых. Одно из самых полезных для связистов свойств распространение излучения в оптическом волокне: оптоволоконные системы позволяют передавать до сотен гигабайт в секунду на огромные расстояния.

Как устроено оптоволокно

Принцип работы оптического волокна основан на эффекте полного внутреннего отражения. Посмотрите на картинку ниже: у нас есть струя воды, и если на вход подать излучение, то при изгибе струи оно не выходит наружу, а распространяется внутри.



Именно так и распространяется излучение по среде с более высоким показателем преломления относительно его оболочки. Этот принцип позволяет передавать данные на десятки, сотни и тысячи километров с минимальными потерями.

В качестве источника оптического излучения используются либо светодиоды, либо лазерные диоды. У лазерного диода более высокие характеристики, но и стоит он дороже.



В телекоммуникационной технике, как правило, применяют полупроводниковые лазеры с длиной волны 1,3 или 1,55 микрометра. Эти длины волн не попадает в полосу поглощения различных гидроксильных групп, которые есть в составе волокна. Таким образом, сигнал не поглощается и не затухает на протяжении многих километров.

В качестве детекторов можно использовать фотодиоды, PIN-диод и лавинный фотодиод. Они отличаются по чувствительности. Если нужно зарегистрировать очень слабый сигнал, берут лавинный фотодиод. Если сигнал на десяткисотни ватт, то можно применить любые другие типы фотодиодов.

Лазерное излучение и биологические объекты

При падении лазерного пучка на биоткань может произойти поглощение этого излучения, а также пропускание, рассеяние или флуоресценция. Еще один из возможных вариантов абляция, сгорание верхних слоев ткани. При этом внутренние слои не повреждаются.

При поглощении имеет место коагуляция различных частиц, то есть их слипание. Этот эффект применяется при использовании лазера в хирургии в качестве лазерного скальпеля. В отличие от механического скальпеля, разрез сосуда или ткани происходит практически бескровно. К тому же лазерный луч может быть значительно тоньше, чем острие металлического скальпеля.

На графике ниже элементы, которые могут находиться в сосудах, в крови, в тканях кожи. Как мы знаем, человек более чем на 70% состоит из воды. Вода также присутствует в каждой биологической ткани. Есть меланин, который окрашивает нашу ткань. Если мы загорели летом, то меланина в тканях кожи становится существенно больше. А имеющийся у всех нас гемоглобин может быть в двух состояниях насыщенный кислородом (оксигемоглобин) и без кислорода (дезоксигемоглобин).



График показывает, насколько активно различные элементы поглощают излучение с разными длинами волн. Таким образом, при использовании лазера с определенной длиной волны мы можем добиться селективного поглощения.

Или, к примеру, возьмем два источника излучения с разными длинами волн: один попадает в максимум поглощения, другой в минимум. При дифференциальном контрасте можно получить концентрацию определенных веществ. Мы видим, что максимумы спектров окси- и дезоксигемоглобина разнесены между собой. Таким образом мы можем определить концентрацию, например, оксигемоглобина.

Это очень важно при проведении хирургических операций. Сейчас в любом хирургическом отделении стоит прибор, который отслеживает насыщенность крови кислородом. Этот датчик позволяет в режиме реального времени определять, что происходит с тканью пациента в нужном месте.

Диагностика, визуализация, лечение рака...

В некоторых диагностических системах используют несколько лазеров с разными длинами волн. Они помогают проводить исследования по различным клеточным структурам: как они себя ведут, какую дают реакцию на препараты.



Выше упоминалось, что лазер может счищать верхние слои кожи. Это используется, в частности, для удаления татуировок. Косметологические салоны сводят наколки твердотельным лазером с длиной волны 1064 нанометра.

Еще одно распространенное применение лазеров фотодинамическая терапия, которая часто применяется при лечении онкологических заболеваний. Вначале в ткань человека вводится фотосенсибилизатор вещество, которое накапливается в агрессивных раковых клетках. После этого на опухоль она, как правило, окружена здоровой тканью воздействует лазер с длиной волны, попадающей в максимум поглощения данного фотосенсибилизатора. В результате излучение поглощается только раковыми клетками. Таким образом, мы выжигаем раковую опухоль, не задевая здоровую ткань.



Лазер применяется в медицине для визуализации. Например, в оптической томографии он служит источником света (см. схему). В качестве источника света также можно использовать суперлюминесцентный диод: он также излучает за счет вынужденного рассеивания, но не имеет такой степени когерентности.



Источник света направлен на светоделитель. Часть излучения отражается на зеркало, а другая направляется на объект, отражаясь от которого обе волны могут взаимодействовать между собой. Если две когерентные длины волны взаимодействуют между собой, происходит интерференция. И на детекторе мы регистрируем набор интерференционных полос, после обработки которых можно получить картинку среза ткани.

Оптический когерентный томограф, принцип действия которого показан на схеме, есть во всех крупных городах. Данная технология позволяет построить трехмерную картину объекта, в данном случае глаза. И пространственное разрешение, где мы можем отделить один пиксель от другого, может составлять единицы микрон. Аналог данной технологии ультразвуковое исследование. Только для УЗИ используется не оптическое излучение, а ультразвуковая волна. У ультразвука глубина проникновения выше, чего не скажешь о точности: пространственное разрешение измеряется в миллиметрах, а не в микронах.

Почему нужно комбинировать методы

В Самарском университете данный подход использовали для исследования тканей кожи и легкого с онкологическими образованиями. На фото слева восстановленное 3D-изображение тканей легкого. А справа фотография участка, с которого происходила регистрация сигнала.



На картинке слева заметно различие структур между собой. Черное это воздух, оттуда сигнал не приходил. Пористая структура, похожая на губку, это здоровая ткань легкого. При переходе вправо можно наблюдать, как возникают слои. Они более плотные и имеют определенную структуру, которая характерна для онкологических новообразований в тканях легкого. Это пример плоскоклеточного рака, удаленного в результате операции в Самарском онкологическом центре.

Такой же подход применялся для исследования тканей кожи. С его помощью легко определить базально-клеточную карциному, однако другие типы рака часто бывают похожи между собой, и диагностировать конкретный тип заболевания становится невозможно. Поэтому оптические методы исследования необходимо дополнять спектральными.

На следующей иллюстрации представлена диаграмма комбинационного (неупругого) рассеяния света, так называемое рамановское рассеяние. Здесь мы снова наблюдаем энергетические уровни, с которыми познакомились при рассмотрении вынужденного рассеяния.



На картинке показано, как лазерное излучение возбуждает колебания в молекуле. При этом 99,999% этого излучения не изменяет длины волны. Но некоторая часть излучения после взаимодействия с молекулой может измениться. Эта доля изменения энергии соответствует колебанию связей, на которые было направлено лазерное излучение.

В результате комбинационного рассеяния света мы получаем набор полос, положение которых привязано к конкретному колебанию нашего объекта. С помощью этих данных мы можем определить, какие колебания у нас есть. В свою очередь, по интенсивности колебаний определяется количественный состав этих компонент.

На фото момент исследования в Самарском онкологическом центре. Так происходит визуализация образца ткани при помощи дерматоскопа, разработанного там же.



На следующем слайде характерные графики спектров комбинационного рассеяния для кожи и новообразований. В определенных полосах спектра интенсивность может увеличиваться либо уменьшаться. Так, в полосе 2 интенсивность для злокачественной меланомы увеличивается на 100%. И за увеличение этой интенсивности отвечает изменение компонентного состава в этой области. В частности, если речь идет о биохимических изменениях в ткани, то меняется соотношение ДНК и РНК в клетке. Также может меняться соотношение белков и липидов в ткани.



Подобное исследование проводилось и для тканей легкого. Мы видим, что можно отличить злокачественные образования от доброкачественных. Также для анализа данных могут применяться различные математические подходы например, регрессионные модели, которые позволяют быстро находить спектральные отличия в большом массиве данных.



Итак, исследование биологического объекта при помощи лазеров и спектральной техники позволяет получить огромный набор данных. Для их обработки приходится прибегать к математическим методам, которые, в свою очередь, надо реализовать на компьютере с использованием специального ПО.

Подведем итоги

Биофотоника дает широкие возможности для диагностики состояния тканей в режиме реального времени, позволяет осуществлять лазерную абляцию очищение верхних слоев кожи. Лазерный скальпель широко применяется в хирургии. Также при облучении лазером в организме могут ускоряться какие-то процессы, например выработка кислорода в сосудах или каких-то тканях. Либо замедляться, если это необходимо.

Все оптические технологии используются для неинвазивных исследований без непосредственного контакта инструмента с тканью. Для более точного исследования в различных диапазонах можно использовать сразу несколько лазеров. Но это далеко не все возможности. Мы не упомянули такое интересное направление, как оптогенетика воздействие лазерного или оптического излучения на когнитивные функции. Исследователи воздействуют на нейроны в определенных областях мозга, пытаясь улучшать настроение, стимулировать выработку гормонов и так далее. Пока такие опыты проводятся на животных. На фото мышь, в череп которой вживлено оптическое волокно для соответствующих исследований.



В связи с текущей пандемией стоит отметить, что упомянутая выше рамановская спектроскопия технология, которая может использоваться для исследования вирусов. Здесь снова междисциплинарный подход: вирусы частицы размером 20200 нанометров, нужно их как-то уловить. Вирусы содержатся в крови, которая движется по некоему капилляру. Следовательно, в капилляр устанавливаются специальные наноловушки наноструктуры, способные поймать и захватить частицы определенного размера. После захвата частиц проводим их облучение лазером и регистрацию рамановского рассеяния вот теперь мы можем точно сказать, что это. Преимущество оптических технологий в данном случае в том, что вирусы обнаруживаются даже при минимальной их концентрации.

***

На наш взгляд, мы перечислили большинство наиболее интересных областей применения лазеров. Хотя наверняка могли что-то забыть. Так что, если кто-то подкинет интересных фактов в комментариях, с удовольствием поплюсуем.

Распознавание трехмерных объектов в Apple iPad 11 Pro, оснащенном лидаром, стало более глубоким и детализированным. Для этого также используются ToF-камеры с разными технологиями измерения дальности положения точки.

Apple инициировала гонку использования лидаров в различных продуктах. Компания Apple встроила лидар в свой iPad Pro 11, и теперь кажется, что лидарами хотят пользоваться все.

Маневр Apple и реакция на него повлияли на всю электронную промышленность. Поставщики микросхем и датчиков пересматривают свои планы. Некоторые уже изменили свои бизнес-модели.

Но что такое лидар? Компания Apple выбрала этот термин для описания нового датчика, который измеряет глубину другими словами, это датчик, который распознает объекты в трех измерениях.

Лидар в планшетах и смартфонах это, по сути, просто разновидность технологии для распознавания трехмерных объектов, объяснил Пьер Камбу, главный аналитик отдела фотоники и дисплеев компании в Yole Dveloppement.

Многие инженеры, работающие в различных областях будь то беспилотные автомобили, смартфоны или планшеты изучали способы использования информации о глубине данных вместе с пикселями и цветами, получаемыми с помощью датчиков, распознающих двумерные объекты. Так, например, лидары используются в автомобильной промышленности для определения расстояний до объектов, расположенных вокруг высокоавтоматизированных транспортных средств.

Недавно представленный Apple iPad 11 Pro использует лидар для улучшения представления дополненной реальности. Данный лидар спроектирован для комплекта разработки ARkit 3.5, созданного компанией Apple.

Особая технология, используемая для определения и измерения глубины делает этот лидар важным. Именно эта технология стала причиной того, что за этим датчиком следят другие производители мобильных устройств, в том числе Huawei и Vivo.

Разные методы распознавания трехмерных объектов

Для распознавания трехмерных объектов инженеры пользуются различными методами. В их число входят стереозрение, структурирование света и замер времени полета (ToF). Еще больше усложняет ситуацию тот факт, что технология ToF теперь представлена в двух вариантах: iToF и dToF. iToF измеряет фазовый сдвиг, а dToF непосредственное время полета.

Apple iPhone X обладает функцией распознавания лиц с помощью структурированного света. Его оценка глубины работает с помощью ИК-излучателя, посылающего 30,000 точек, расположенных в зафиксированном порядке. Точки невидимы для людей, но не для ИК-камеры, считывающей деформации в шаблоне, отражающиеся от поверхностей на различной глубине.

С выходом iPad 11 Pro, распознавание трехмерных объектов стало более глубоким и детализированным благодаря использованию технологии dToF. На сегодняшний день iPad Pro от Apple единственный потребительский продукт, использующий технологию dToF. Многие производители смартфонов уже используют iToF для получения более качественных фотографий (ToF-камера может размывать фон на фотографиях), но не dToF.

Метод структурирования освещения обеспечивает высокую точность определения глубины, но его недостатком является сложная постобработка, необходимая для расчета глубины при сопоставлении с образцом.

Преимущество метода dToF, напротив, заключается в его способности обеспечить простоту постобработки. Впрочем, считается, что сложность использования этой технологии заключается в том, что для измерения времени полета с небольшим количеством фотонов в одном измерении требуются фотодетекторы с высокой чувствительностью (например, однофотонные лавинные фотодиоды) и большим размером.

В настоящее время iToF является наиболее распространенным методом распознавания трехмерных объектов. Он обеспечивает высокую точность определения глубины, простоту постобработки и высокое пространственное разрешение с использованием малогабаритных фотодетекторов, широко используемых в датчиках двумерного изображения.

Тем не менее, для распознавания трехмерных объектов Apple пошла по менее протоптанной дороге. Компания решила использовать структурированный свет для идентификации лиц. Для дополненной реальности Apple использует dToF.

Итак, вот вопросы, которые задают все в мире распознавания трехмерных объектов: Что такое dToF? Из чего состоит эта технология? И кто разработал ее компоненты?

Разбор от System Plus Consulting, подразделения Yole Dveloppement представил подробности устройства модуля распознавания трехмерных объектов в Apple iPad 11 Pro.

В интервью EE Times Сильвен Халлеро, старший аналитик по технологиям и формированию стоимости в System Plus, объяснил, что лидар в iPad 11 Pro состоит из лазера с вертикальными излучением (VCSEL) от Lumentum и разработанного компанией Sony приемника CMOS-датчика, работающего в ближнем инфракрасном диапазоне (NIR), измеряющего время полета.

CMOS-датчик, работающий в ближнем ИК-диапазоне на однофотонных лавинных фотодиодах от Sony

Разрез CMOS-датчика от Sony, проведенный в рамках исследования его устройства, стал откровением для экспертов, следящих за развитием фотоники. В том числе и для Cambou, подразделения Yole.

Разрез CMOS-датчика от Sony, проведенный в рамках исследования его устройства, стал откровением для экспертов, следящих за развитием фотоники. В том числе и для Камбу, работающего в Yole. В своем недавнем блоге, он писал, что нечто, что выглядело как старое устройство с iToF и 10-микронными пикселями, оказалось первым потребительским CMOS-датчиком с внутрипиксельным соединением и, да речь о массиве однофотонных лавинных диодов".



Внутрипиксельное соединение важное свойство. Компания Sony впервые интегрировала CMOS-датчик, используя 3D-стекинг для ToF-датчиков. Внутрипиксельное соединение позволило разместить CMOS-датчик изображения вместе с логической подложкой. Благодаря интегрированной логической матрице, датчик может производить простые вычисления расстояния между iPad и объектами, объяснил Халлеро.

Компания Sony проложила себе путь в сегмент dToF, разработав новое поколение CMOS-датчиков с массивами однофотонных лавинных диодов с 10-микронными пикселями и разрешением 30 килопикселей.

Впрочем, это не просто технологический подвиг компании Sony. Речь идет также о том, что Sony изменила концепцию своего бизнеса.

Традиционно, японский гигант больше работал над обработкой изображений. а не над сканированием. Тем не менее, Камбу заявляет, что год назад компания Sony переименовала свое полупроводниковое подразделение, и теперь оно называется Обработка изображений и сканирование. Далее, Sony предприняла два шага. Первым стала поставка iToF-датчиков компаниям Huawei и Samsung в 2019 году, эти сделки принесли Sony порядка 300 миллионов долларов. Второй шаг выигрыш в конкурсе разработки dToF-сенсоров для Apple iPad".

Камбу подозревает, что dToF-сенсоры в конечном итоге могут попасть и в iPhone. В своем анализе он отмечает, что доходы Sony от датчиков, вероятно, превысят 1 миллиард долларов в 2020 году на рынке, который только что превысил отметку в 10 миллиардов долларов. Этот успешный переход от обработки изображений к сканированию сыграл важную роль в постоянном укреплении позиций Sony на рынке CMOS-датчиков. Все это станет основой для процветания нового подразделения.

Вертикально-излучающие лазеры от Lumentum

В дополнение к CMOS-датчику от Sony, лидар оснащен лазерами с вертикальным излучением от Lumentum. В конструкции данных лазеров имеются несколько электродов, подключенных к излучателю.

Таха Аяри, аналитик по технологиям и формированию стоимости компании System Plus, сосредоточил свое внимание на новом этапе обработки (названном mesa contact), добавленном компанией Lumentum в свой лазер с вертикальным излучением. Лазер от Lumentum излучает свет с поверхности подложки. Точная настройка излучения требует управления питанием и применения различных элементов управления к излучающим массивам. Аяри считает, что Lumentum добавили эту технологию, чтобы улучшить тестирование компонентов на подложках.

Для генерации импульса и управления мощностью и формой луча в излучателе используется IC-драйвер от Texas Instruments. В схеме используется корпус на базе подложки кристалла (WLCSP), формованный с пяти сторон.

Наконец, как утверждает System Plus, для создания точечной диаграммы в лазере от Lumentum используется новый дифракционный оптический элемент (DOE) от Himax.

На следующих страницах мы делимся несколькими слайдами, созданными System Plus, которые иллюстрируют то, что было обнаружено при разборке, а также мы добавили несколько слайдов, описывающие перспективы рынка лидаров.



Apple iPad Pro features: RGB main camera module, wide camera module and rear LiDAR module



Heres how the cross section of the LiDAR module looks like.



Image Sensor Overview



What VCSEL Die Looks like



VCSEL Driver IC packaged in fan-in WLCSP 5-Side VCSEL Driver Die



Diffractive Optical Element





Подписывайтесь на каналы:
@TeslaHackers сообщество российских Tesla-хакеров, прокат и обучение дрифту на Tesla
@AutomotiveRu новости автоиндустрии, железо и психология вождения

---

Читать еще полезные статьи:

• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
• Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
• [Прогноз] Motornet сеть обмена данными для роботизированного транспорта
• Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
• Камеры или лазеры
• Автономные автомобили на open source
• McKinsey: переосмысляем софт и архитектуру электроники в automotive
• Очередная война операционок уже идет под капотом автомобилей
• Программный код в автомобиле
• В современном автомобиле строк кода больше чем

Каждую секунду вокруг нас протекает множество физических и химических процессов, которые крайне сложно зафиксировать. Сложность заключается не только в габаритах участвующих объектов, но и в скорости самих процессов. В современных исследованиях большую роль играет скоростная съемка, позволяющая запечатлеть сверхбыстрые динамические явления. Но даже у такой технологии есть свой предел, который утрировано можно обозначить кадрами в секунду. Ученые из университета Шэньчжэня (Китай) смогли создать исключительно оптическую систему, способную достичь 15 триллионов кадров в секунду. Какие техники и явления были использованы в данной разработке, что показали практические опыты, и где данное творение может найти свое применение? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.

Основа исследования

Высокоскоростная визуализация является неотъемлемым инструментом изучения таких шустрых динамических процессов как фемтосекундная лазерная абляция, распространение лазерных филаментов, молекулярная динамика, взаимодействие ударных волн в живых клетках и т.д.

Вполне ожидаемо, что сверхбыстрая оптическая визуализация, которая может обеспечить визуализацию переходных процессов без размытия, является желанным инструментом для ученых из самых разных областей науки (химия, физика, оптическая инженерия, материаловедение, биомедицина и т.д.).

На данный момент уже существует ряд методик, позволяющих достичь вполне неплохих результатов в области оптической визуализации. К примеру, визуализация с временным разрешением, основанная на методах накачки и зондирования, отлично справляется с воспроизводимой переходной динамики с высокой частотой повторения. Однако данная методика теряет свои преимущества при работе с процессами, которые имеют низкую частоту повторения или не повторяются вовсе.

Заменить метод накачки-зондирования можно однократной оптической визуализацией. В некоторых работах удавалось даже достичь 25 миллионов кадров в секунду (Mfps). А вот сжатая сверхбыстрая фотография (CUP от compressed ultrafast photography) может работать с частотой кадров 0.1 триллиона кадров в секунду (Tfps) с временным разрешением ~ 50 пс за счет применения алгоритма на основе алгоритма компрессионного зондирования* (compressive sensing).

Компрессионное зондирование (compressive sensing)* методика получения и восстановления сигнала за счет знания о его предыдущих значениях, которые разрежены или сжаты.

Пространственное разрешение такого метода может быть масштабировано до 7 lp/mm (пар линий на миллиметр, далее пл/мм). Если же добавить 20х объектив, то получится фазочувствительная сжатая сверхбыстрая фотография (pCUP), способная выдать пространственное разрешение в несколько микрометров и скорость визуализации в 1 Tfps.

В такой методики можно достичь хороших показателей пространственного разрешения, чего нельзя сказать о временном разрешении. Следовательно, необходим метод, который сможет объединить сильные стороны вышеописанных методов воедино.

По заверению ученых, отличным кандидатом на эту роль подходит оптическое параметрическое усиление (OPA от optical parametric amplification). Применяя OPA к оптическому изображению, информацию, содержащуюся в сигнале, можно скопировать на холостое изображение. Данная особенность вдохновила ученых на создание нового метода однократной сверхбыстрой оптической визуализации, названного формированием изображения посредством неколлинеарного оптического параметрического усиления (FINCOPA от framing imaging based on noncollinear optical parametric amplification; NCOPA от noncollinear optical parametric amplification).

Неколлинеарное устройство позволяет преобразовывать информацию в последовательных кадрах в пространственно разделенные холостые изображения с помощью многокаскадных оптических параметрических усилителей, накачиваемых последовательной серией лазерных импульсов.

Данный полностью оптический метод также лишен каких-либо узких мест, связанных с активными механическими и электронными компонентами для быстрого сканирования, что критично для высокой частоты кадров.

Принцип работы системы FINCOPA

Изображение 1

Схема выше является иллюстрацией работы системы FINCOPA. Был использован импульс выборки с достаточно большой временной шириной, чтобы охватить всю информацию в целевом переходном процессе. Кроме того, последовательность ультракоротких импульсов (обозначенных как trigger-1, 2, 3 и 4) была использована для запуска и переключения информации изображения с разных временных срезов импульса выборки на другую последовательность ультракоротких импульсов (помеченных как recorded-1, 2, 3 и 4) с использованием каскадных преобразователей оптических изображений. Поскольку записанные изображения пространственно разделены друг от друга, их можно принимать разными CCD (ПЗС от прибор с зарядовой связью) камерами.

Кадровые интервалы определяются относительными задержками между импульсом выборки и импульсами запуска, тогда как время экспозиции изображений можно оценить, используя длительность импульсов запуска. Таким образом, время экспозиции, эффективная частота кадров и номер кадра не зависят друг от друга.

Для реализации этой идеи необходима фемтосекундная лазерная система с фемтосекундным временным разрешением. Как отмечают ученые, тут крайне важна точная временная синхронизация между импульсами запуска и импульсом выборки. Достичь этого удалось за счет получения как импульса выборки, так и импульсов запуска от одного и того же лазерного источника, что снижает временные колебания между синхронизированными импульсами до нескольких фемтосекунд. Номер кадра (N) определяется отношением полной доступной мощности импульса запуска к мощности, необходимой для запуска каждого преобразователя оптического изображения.

OPA может отображать информацию о сигнале в холостом изображении, поэтому оптические параметрические усилители могут служить преобразователями изображения. Кроме того, использование ультракоротких импульсов в качестве накачки для OPA означает короткое время экспозиции при визуализации OPA, то есть высокое временное разрешение.

В оптическом параметрическом усилителе OPA возникает только во время взаимодействия между накачкой и сигналом, а это означает, что информация об изображении отображается в холостом только под действием накачки. Накачка имеет гораздо меньшую длительность импульса, чем сигнал, поэтому она может действовать как оптический затвор. Выдержку можно оценить по длительности импульса накачки, а временное разрешение в основном определяется длительностью холостого импульса. Обе длительности будут равны друг другу, если толщина кристаллов OPA будет достаточно тонкой для подавления временного отклонения между сигналом и импульсами накачки.

Кроме того, сверхкороткая длительность импульса накачки способствует высокой интенсивности накачки (например, > 100 ГВт/см²), что также положительно влияет на усиление OPA и позволят достичь большой пространственно-временной полосы пропускания.

Другими словами, интенсивность накачки для OPA определяется требуемым усилением OPA и полосой пропускания, но также ограничивается требуемыми размерами изображения и доступной мощностью накачки для OPA.

Для конкретных интенсивности накачки и размеров изображения или площади накачки каждого усилителя количество усилителей или количество кадров можно оценить, поделив общую мощность накачки на мощность накачки каждого усилителя. Кроме того, время задержки между импульсом накачки и сигнальным импульсом определяет экспонированные временные срезы сигнала в каждом усилителе ().

Из различий между каждым значением можно определить интервалы кадров. В системе FINCOPA значение ограничивается только минимально доступными размерами шага линий временной задержки (DL от delay lines) и флуктуациями траекторий луча лазера. Как правило, интервал кадров больше, чем продолжительность импульса накачки.

На изображении 1b показана экспериментальная установка FINCOPA.

Используемый фемтосекундный титан-сапфировый лазер имеет следующие параметры: 1 кГц; 800 нм; 3.5 мДж; длительностью импульса ~ 40 фс. Выход лазера сначала проходит через генератор второй гармоники (ГВГ): 0.2 мм -BBO кристалл. Временное разрешение экспериментальной установки составляет около 50 фс.

Примерно 30% лазерного импульса преобразуется во вторую гармонику (т.е. импульс 400 нм) с длительностью импульса ~ 40 фс. После прохождения через разделитель длин волн (WS от wavelength separator) импульс 400 нм разделяется на четыре дочерних импульса группой делителей луча (BSG от beam splitter group), включая три 50:50 делителя, для накачки четырех оптических параметрических усилителей (NCOPA-1NCOPA-4). Количество усилителей или количество кадров равно четырем, что в основном ограничено выходной мощностью импульса фемтосекундной лазерной системы (~ 3.5 Вт на частоте 1 кГц). Если энергия фемтосекундного лазера достигает 7 Вт, количество кадров можно оценить в 4 х 7/ 3.5 = 8.

Непреобразованный основной импульс 800 нм отражается WS. Около 1% лазерного импульса с длиной волны 800 нм направляется в расширитель импульсов (PS от pulse stretcher) распределитель импульсов, который увеличивает длительность импульса до 50 пс. Затем расширенный импульс работает как выборка для освещения целевого сверхбыстрого события, а также как сигнал последующих оптических параметрических усилителей.

В описанной выше установке между целевым объектом и оптическими параметрическими усилителями используются четыре оптических системы формирования изображений (от OIS-1 до OIS-4), так что плоскости цели и плоскости усилителей сопряжены друг с другом. OIS-1 отображает цель на NCOPA-1 с помощью оптического увеличения, чтобы соответствовать пространственной полосе пропускания усилителя, таким образом оптимизируя качество изображения. OIS-2, OIS-3 и OIS-4 используются для 1х релейной визуализации. Четыре части кристаллов -BBO толщиной 0.5 мм и сечением 29.2 градуса работают для OPA при фазовом согласовании типа I.

В каждом усилителе накачка и сигнал расположены с небольшим углом пересечения (~ 2 градуса) внутри кристаллов -BBO, так что генерируемое холостое изображение пространственно отклоняется от них обоих. Время задержки между ними можно независимо регулировать с помощью DL (от DL-1 до DL-4).

На каждом пути холостого изображения используется линза для отображения -BBO кристалла на CCD камере для оптимизации качества изображения.

Характеристики системы FINCOPA

Использование фемтосекундного лазерного импульса в качестве накачки для получения изображений с помощью OPA имеет несколько преимуществ. Во-первых, более сильный импульс накачки может обеспечить более высокий прирост оптического параметрического усиления. Во-вторых, такой импульс позволяет получить большую пространственную полосу пропускания.

Доступная интенсивность накачки в основном ограничена повреждением OPA кристалла от лазерного воздействия, которое также зависит от длительности импульса накачки: чем короче длительность накачки, тем выше доступная интенсивность. Для фемтосекундных импульсов интенсивность накачки может достигать сотен ГВт/см². А вот наносекундные импульсы обычно имеют интенсивность ниже 10 ГВт/см². В проводимых экспериментах накачка была установлена на уровне 15 ГВт/см², а коэффициент усиления OPA составлял около 30.

Перед проведением фактических испытаний необходимо было произвести пространственную и временную калибровку.

Для начала необходимо было откалибровать поперечное положение четырех CCD (ПЗС) и увеличение оптической системы формирования изображения. Это было сделано путем одновременного захвата тестовых изображений с CCD.

Далее определялось начальное время, т.е. нулевой момент времени, когда сигнал взаимодействует с системой накачки NCOPA-1 (накачка-1). Этот параметр можно менять, настраивая задержку первого импульса накачки через DL-1. Соответственно, нулевые позиции NCOPA-2, NCOPA-3 и NCOPA-4 могут быть зафиксированы путем настройки временных задержек их систем накачки так, чтобы сигнал, усиленный NCOPA-1, также был максимизирован за счет NCOPA-2, NCOPA-3, и NCOPA-4 одновременно.

Кадровое изображение, которое было перенесено с помощью холостого импульса (idler-1) и снято камерой CCD-1, является первым изображением. Последующие три холостых изображения с CCD-2, CCD-3 и CCD-4 стали вторым, третьим и четвертым изображениями соответственно. Их моменты относительно нулевого времени были отрегулированы с помощью DL-2, DL-3 и DL-4, чтобы изменить временные задержки лучей накачки.

Сверхбыстрая визуализация плазменной решетки

Чтобы проверить производительность FINCOPA, была сконструирована плазменная решетка в качестве первого образца. Это связано с тем, что такая решетка имеет регулируемые структуры с пространственным периодом до 10 мкм и сроком службы, измеримом в пикосекундах. Следовательно, для визуализации такого образца необходимо субпикосекундное временное разрешение и пространственное разрешение на уровне микрометров.

Решетка возбуждалась двумя неколлинеарными ультракороткими импульсами с длиной волны 800 нм с помощью неколлинеарного интерферометра (NCI от noncollinear interferometer). Полная энергия возбуждающего импульса составляла 2.4 мДж, а фокусное расстояние линзы (L) 250 мм. Период решетки регулируется за счет изменения угла пересечения двух лучей (2).


Изображение 2

На 2а представлена структура решетки для 2 = 3.8 градуса, а 2b показывает одномерный профиль интенсивности, записанный вдоль вертикальной белой линии на 2а.

Было установлено, что период модуляции решетки составляет 12 мкм, что соответствует плотности штрихов около 83 пл/мм в вертикальном направлении. Согласно концепции устройства, NCOPA могут разрешать пространственные структуры с пространственной частотой до 36 пл/мм, посему в OIS-1 было настроено 3х увеличение для визуализации образца на NCOPA для 83 плмм решетки.

Два импульса возбуждения для образца поступали от лазерной системы Ti:S с частотой 1 кГц вместе с селектором одиночных импульсов. В отсутствие селектора одиночных импульсов событие повторялось с частотой 1 кГц, поэтому оно было зарегистрировано методом накачки-зондирования.

Накачка-зондирование использовалось для регистрации эволюции плазменной решетки с NCOPA-1 и CCD-1, которая, как видно на 2с, включает 16 фрагментов изображения.

Каждый из фрагментов имеет вертикальную белую линию для калибровки пространственного положения в горизонтальном направлении. На каждом фрагменте изображения плазменная решетка распространяется слева направо. А нулевой момент времени был определен как момент, когда плазма пересекает белую линию на первом фрагменте изображения (2с).

График 2d демонстрирует изменение модуляции в зависимости от задержки. Анализ этих данных позволяет предположить, что после прохождения импульса накачки через белую линию плазменная решетка становится монотонно сильнее, но начинает исчезать через 4 пс.

Для покадровой визуализации был установлен селектор одиночных импульсов на выходе системы Ti:S для создания однокадровой плазменной решетки.


Изображение 3

На изображении выше представлены четыре группы снимков, каждая из которых включает четыре кадра видеозаписи решетки, полученной с помощью системы FINCOPA (видео 1).


Видео 1

На 3а интервалы времени между соседними холостыми изображениями составляют 100 фс. Это означает, что FINCOPA работает с частотой кадров 10 Tfps (видео 2).


Видео 2

На 3а также видно, что полосы плазменной решетки слева направо постепенно становятся видимыми с течением времени, что означает, что плотность электронной плазмы монотонно увеличивается от 0 до 300 фс.

На 3b представлены кадры в период времени 0, 200, 400 и 600 фс, т.е. с интервалом между кадрами 200 фс (видео 3).


Видео 3

Полосы на плазменной решетке становятся все более четкими, что можно проверить по изменению модуляции вдоль белых линий (3f).

Основываясь на данных из 3е и 3f, интервал между кадрами был увеличен до 1 пс, а зафиксированный момент NCOPA-1 был перенесен из нулевого временного момента на 1 пс (видео 4).


Видео 4

На 3с и 3g показаны изображения и кривая модуляции, отражающие тенденцию к увеличению плазменной решетки (3а и 3b).

На 3d показаны кадры при 5, 8, 20 и 30 пс (видео 5). Видимость полос со временем уменьшается, а это означает, что плазменная решетка начинает постепенно исчезать начиная с 5 до 30 пс. В результате в отличие от 3e3g, модуляция на 3h со временем уменьшается.


Видео 5

Для сбора полной информации со снимков 3е-3h были получены временные характеристики нормализованной модуляции решетки по белым линиям каждого изображения (синие метки на 4а; красные метки соответствуют 2d, полученному накачкой-зондированием).


Изображение 4

Сравнение результатов работы обоих методов (т.е. сравнение красных и синих меток) показало, что результаты обоих методов совпадают, т.е. система FINCOPA работает исправно.

В случае, когда 2 = 2.5 градусов, период плазменной решетки становится около 18 мкм (т.е. плотность штриховки составляет 56 пл/мм).

Были проведены такие же эксперименты, как и на изображении 3, но уже с 2 = 2.5, а не 3.8 градусов. Результаты (4b) показывают хорошее совпадение нормированных модуляций между методом накачки-зондирования и методом FINCOPA.

Далее была рассмотрена эволюция решетки вдоль направления ее распространения. Из 4х4 кадров был получен коэффициент модуляции в зависимости от пространственной координаты вдоль направления распространения при различных значениях , например 0.8, 1, 2 и 4 пс (5а).


Изображение 5

Пик модуляции смещается вправо с увеличением , что объясняется тем, что пара импульсов накачки распространялась слева направо. Поскольку плазменная решетка представляет собой объект с низкой модуляцией интенсивности, измеренный контраст изображения относительно низкий. Используя пространственную фильтрацию, удалось удалить фон и увеличить контраст изображения.

Другое наблюдаемое явление заключалось в том, что пиковые значения модуляций уменьшались с удалением от центра вдоль направления x. На 5b представлена эволюция модуляции решетки в зависимости от времени от 0 до 30 пс в четырех положениях вдоль направления x (т.е. х = 15, 60, 90 и 500 мкм). Все положения показывают аналогичную эволюцию модуляции, но максимумы уменьшаются при сдвиге положения от центра влево. Таким образом, 5b подразумевает зависимость модуляции решетки от x, которая может быть результатом зависимости интенсивности возбуждающего импульса от x.

Сверхбыстрая визуализация вращающегося оптического поля

Изображение 6

Для дополнительной проверки временного разрешения FINCOPA было выполнена визуализация (схема установки на 7b) сверхбыстрого вращающегося оптического поля с частотой 20 Гц и скоростью вращения более 10 триллионов радиан в секунду (Tрад/с).


Изображение 7

Низкая частота повторения (20 Гц) означает, что этот вид оптического поля может быть усилен до чрезвычайно высокой мощности (например, до десятков тераватт и даже выше). Однако для лазерной системы низкая частота повторения обычно сопровождается большой скачкообразной флуктуацией ее выходных импульсов, так что метод накачки-зондирования может привести к значительной неточности измерения.

Изучаемое поле было создано путем двух чирпированных вихревых импульсов с разными топологическими зарядами (l) и временной задержкой (t). Если настроить временную задержку пары чирпированных импульсов на 1 пс, оптическое поле поворачивается с разностью угловых частот = 27 Трад/с (т.е. цикл вращение равен 466 фс).

Система FINCOPA визуализировала это событие с интервалом кадров t = 66.7 фс, т.е. с частотой в 15 триллионов кадров в секунду (видео 6). На изображении 6 показано поле, поворачивающееся на угол 0.9 рад за 200 фс.


Видео 6

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.

Эпилог

Часто говорят, что мастер ничто без своих инструментов. Возможно это и преувеличение, ведь талант, навыки и знания никто не отменял. Однако в аспекте исследования каких-либо процессов инструменты играют далеко не последнюю роль.

В данном труде ученые продемонстрировали работоспособную систему скоростной визуализации, которая способна запечатлеть что-либо с частотой кадров до 15 триллионов. Подобных показателей доныне не было, потому смело можно говорить про установление нового рекорда.

Сами авторы уверены, что их детище позволит познать очень много нового как в явлениях и процессах, которые уже изучены, так и в тех, что пока не могли быть рассмотрены из-за отсутствия необходимой аппаратуры.

Конечно, авторы исследования не намерены поддаваться бахвальству, ибо их система требует улучшений и доработок, которые в будущем смогут привести к тому, что метод FINCOPA станет столь же обыденным и распространенным, как и обычная микроскопия. По крайней мере, это мечта ученых. Станет ли она реальностью, покажет время.

Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята. :)

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?

Если взглянуть на произведения из категории научная фантастика, то можно найти немало общих элементов. Конечно же, одним из самых явных являются невероятные технологии роботы, космические корабли, стазис-камеры, и т.д. К лидерам по частоте появлений в кино, играх и фильмах можно с уверенностью причислить и голограммы. Праотцом голограмм считается, как неудивительно, Айзек Азимов, упоминающий эту технологию в цикле романов Основание. Первым же кино-дебютом для голограммы стал фильм Зардоз 1974 года с Шоном Коннери в главной роли. С тех пор голограммы начали появляться практически во всех научно-фантастических фильмах до той степени, что эта технология перестала удивлять, а порой начала вызывать откровенную неприязнь своей невероятной универсальностью в качестве инструмента продвижения сюжета. Однако, несмотря на недовольное ворчание некоторых киноманов, ученые по всему миру испытывают живейший интерес к этой невероятной технологии. Группа исследователей из университета Бригама Янгам (США) создали новый вариант технологии визуализации голографических изображений, которые буквально оживают на глазах. Данный труд уже освещался на Хабре, но давайте рассмотрим его подробнее. В чем же секрет подвижных голограмм, в чем их особенность и как все это выглядит? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.

Основа исследования

Еще в 2018 году был опубликован труд (A photophoretic-trap volumetric display), в котором ученые описывают устройство для объемного отображения с помощью фотофоретического* треппинга (photophoretic trapping). Работа устройства основана на удержании частицы в фотофоретической ловушке, которая перетаскивает частицу через каждую активную точку изображения в свободном пространстве (до 1 см³).

Фотофорез* явление, когда мелкие частицы, взвешенные в газе (аэрозоли) или жидкости (гидроколлоиды), начинают двигаться при освещении достаточно интенсивным светом. Причиной этого явления является неравномерное распределение температуры освещенной частицы в текучей среде.

Когда частица перемещается в свободном пространстве, она освещается лазером видимого диапазона, чтобы сформировать изображение, которое может увидеть человек.

Данная технология нова и требует решения множества проблем, основными среди которых являются увеличение объема свободного пространства от 1 см³ до 100 см³ и устранения фундаментальной неспособности объемных дисплеев создавать виртуальные образы в свободном пространстве. Вторая проблема и стала главной задачей рассматриваемого нами исследования.


Изображение 1

В данном труде использовалась фотофоретическая визуализация на основе оптической ловушки (OTD от optical trap display), способная создавать в воздухе как плоские, так и трехмерные объекты (1b и 1c).

С помощью OTD можно создать изображение на краю объема рабочего пространства и изменить его видимый параллакс так, чтобы наблюдателю казалось, что изображение находится за объемом рабочего пространства (1d). Этот эффект называют перспективная проекция и достигается в OTD путем изменения масштаба, формы и параллакса объекта на плоскости фонового изображения по мере движения наблюдателя. При этом сама плоскость также может поворачиваться лицом к наблюдателю, если она конечна (т.е. не сферическая).

Авторы предыдущих исследований указывают на то, что существует ограничение все точки изображения должны лежать вдоль линии, идущей от наблюдателя через объем дисплея. Точки, которые пользователь воспринимает на задней панели, больше не являются объемными, потому что они больше не совпадают с физическими рассеяниями, поэтому они теряют атрибут идеальной аккомодации*, но получают возможность резко увеличивать воспринимаемый размер изображения.

Аккомодация* физиологическая настройка глаза, позволяющая удерживать объект в фокусе при изменении расстояния до глаза.

Используя перспективную проекцию, OTD может одновременно генерировать как реальные объемные точки изображения для переднего плана, так и моделированные необъемные точки изображения для фона.

Теория устройства

Как мы уже поняли, визуализация на базе оптических ловушек работает, удерживая одну или несколько частиц в фотофоретической ловушке. В разных трудах роль удерживаемых частиц исполняли самые разные материалы с самой разной геометрией и габаритами. В данном труде были использованы частицы целлюлозы размером 10 мкм. Когда ловушка перемещалась, частицы перемещались вместе с ней, проходя через все точки изображения. Когда частица достигала определенной точки изображения, она освещалась комбинацией красного, зеленого и синего света.

Прохождение частицы через точку происходило несколько раз в секунду, создавая видимое для человека изображение (1a). Зрительная система человека может обрабатывать от 10 до 12 кадров в секунду и воспринимать их индивидуально, в то время как более высокие скорости воспринимаются как движение. Посему 10 кадров в секунду можно считать нижней границей убедительного фона для данной методики визуализации.

Чем выше разрешение и частота обновления системы, тем более убедительным может быть этот эффект, поскольку наблюдатель не сможет воспринимать обновления отображаемых изображений.

Одной из наиболее общих форм перспективы является трассировка лучей, при которой наблюдатель (человек или камера) рассматриваются как одна точка E = (x₀, y₀, z₀) плюс отображаемая точка изображения X = (x, y, z) и плоскость, на которой отображается P. Нахождение пересечения прямой EX с плоскостью P дает координату точки X в пикселях. Перспективная проекция может быть определена следующим матричным соотношением для плоскости P, перпендикулярной линии EO, где O начало координат:



Матрица перспективной проекции предназначена для проецирования сцены из пространства на плоскость. Это позволяет отображать трехмерные точки с использованием двухмерной поверхности.

Практическое испытание устройства

Чтобы продемонстрировать смоделированные виртуальные изображения с использованием модифицированного параллакса (перспективной проекции), было создано плоское (2D) OTD-изображение луны на задней стороне рабочего пространства. Эта плоскость, в свою очередь, находилась на передней стороне трехмерной миниатюры дома (2b).


Изображение 2

Камера (наблюдатель) была размещена на вращающемся штативе (2a). Частота смены кадров визуализированной луны сохранялась на уровне 12 кадров в секунду. Количество вокселов (объемных пикселей) в секунду, визуализируемых в ходе опытов, составило примерно 10000 в секунду. Частота обновления векторных изображений была 28 Гц, однако повышенная скорость приводит к снижению качества. Потому было решено снизить частоту до 12 Гц, что снижает эффект мерцания.

Функция воспроизведения изображения OTD менялась перспективной проекцией синхронно с движением кронштейна камеры. Скорость движения камеры составляла примерно 0.0194 м/с. Камера была сфокусирована на дымоходе дома (примерно z = 2 мм). Радиус поворота составлял 100 мм до передней грани объектива камеры. Размеры дома составляли 7.7 х 10.6 х 7.4 мм. Первоначальный диаметр луны составлял 0.5 мм, а скорость ее движения 12 кадров в секунду.

Результаты исследования

Изображение 3

На 3a-3c луна нарисована в плоскости перед домом (z = 0 мм), при этом она не меняется, обеспечивая контрольное изображение. На 3d-3f луна все еще нарисована при z = 0, но при вращении камеры луна смещается в сторону для получения параллакса, соответствующего объекту, воспринимаемому при z = 8 мм. На 3g-3i видео с камеры наложено на симуляцию Blender (оба с включенной перспективной проекцией). При этом наблюдается незначительное смещение, вызванное несовершенством устройства, но относительный параллакс согласуется с результатами моделирования с высокой точностью (средняя ошибка составила всего 5.88%).

Анализ результатов экспериментов показал, что измененный параллакс действительно создает изображения, воспринимаемые за рабочим пространством. Модифицированный параллакс после учета смещения показал хорошее согласование с результатами моделирования, что указывает на потенциальную эффективность увеличения отображаемого пространства объемного дисплея за пределы физических границ дисплея.

Несмотря на вышеописанные результаты, данная методика обладает некоторыми ограничениями: отсутствие диспаратности*, необходимость отслеживать положение глаз наблюдателя и несоответствие аккомодации/вергенции* и других визуальных сигналов.

Вергенция* одновременное движение обоих глаз в противоположных направлениях для получения или сохранения целостного бинокулярного зрения.

Диспаратность* различие взаимного положения точек, отображаемых на сетчатках левого и правого глаза.

Эксперименты проводились с использованием камеры, т.е. монокуляра. Чтобы методика визуализации голограммы была эффективна для людей, необходимо реализовать точный бинокулярный параллакс. А для этого OTD должен обладать управляемым анизотропным рассеянием.

Второе ограничение, связанное с отслеживанием наблюдателя, является достаточно серьезной проблемой, так как обычные OTD-изображения не требуют знания положения пользователя и по-прежнему обеспечивают угол обзора почти 4 стерадиан*.

Стерадиан* единица измерения телесных углов, т.е. части пространства, которая является объединением всех лучей, выходящих из данной точки (вершины угла) и пересекающих некоторую поверхность. Полный телесный угол (полная сфера) равна 4 стерадиан.

Однако, если достичь направленного рассеяния, то отслеживание наблюдателя может быть исключено как минимум в двух измерениях (горизонтальном и вертикальном). Третье же измерение (расстояние от наблюдателя до изображения) по-прежнему будет необходимо для идеальной реконструкции перспективы, поскольку перспективная проекция основана на трехмерной точке наблюдения.

Последним ограничением является несоответствие между аккомодационной меткой, которая заставляет пользователя фокусироваться на плоскости проекции, и меткой параллакса, которая заставляет зрителя фокусироваться на воспринимаемой точке. Подобное несоответствие стереопсиса* и аккомодации может вызывать неблагоприятные побочные эффекты для наблюдателя.

Стереопсис* бинокулярное восприятие формы, размера и расстояния до объекта; субъективное ощущение глубины пространства.

Чтобы смягчить негативные эффекты, необходимо разместить плоскость перспективной проекции на таком расстоянии, где параллакс более важен, чем аккомодация.

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.

Эпилог

В данном труде ученые впервые продемонстрировали практическое применение OTD для создания эффекта, аналогичного виртуальным изображениям на дисплеях с оптической ловушкой.

Все это стало возможным благодаря работе ученых, которую они проделали еще в 2018 году. Тогда они смогли создать методику визуализации объектов в свободном пространстве. Фундаментом этой методики стали оптические ловушки, которые улавливают частицы в воздухе с помощью лазера. При передвижении частица следует за ловушкой, а за ней остается освещенный лазером путь, парящий в воздухе. Авторы методики назвали это 3D-принтер для света.

По словам авторов исследования, большинство 3D-дисплеев требуют, чтобы зритель смотрел на экран, но их разработка позволяет создавать физически присутствующие изображения, плавающие в свободном пространстве. Другими словами, перед нами реальный объект, а не какая-то иллюзия.

Видео, в котором авторы исследования рассказывают о своем творении.

В будущем авторы труда намерены заняться совершенствованием своей разработки, в том числе и увеличением рабочего пространства устройства. По их словам, если правильно подобрать параллакс движения, то можно визуально увеличить размеры рабочего пространства без их фактического физического увеличения. Этот трюк позволит создать иллюзию дисплея вплоть до бесконечного размера, говорят ученые.

Голограммы, возможно, всем изрядно поднадоели, учитывая их частоту появления в кино, литературе и видеоиграх. Однако в реальном мире они все еще крайне редки, а их возможности весьма ограничены. Посему, пока мы с восхищением (или неприязнью) любуемся голограммами в кино, ученые продолжают трудиться в поте лица, чтобы эта технология перестала быть научной фантастикой, а стала для нас столь же реальной и обыденной, как и для героев кинематографа.

Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята. :)

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?

На Хабре недавно упомянули о том, что Илон Маск рассказал об оснащении спутников Starlink лазерной связью. Глава компании поведал об этом в своем Twitter. Окей, но для чего это все?

Дело в том, что в большинстве регионов Земли компания Маска устанавливает наземные базовые станции, которые взаимодействуют со спутниками и пользователями. Но на полюсах Земли, по понятным причинам, с установкой базовых станций может возникнуть проблема. Поэтому сейчас тестируется новый способ связи. Лазерами оснастили 10 спутников Starlink, которые недавно отправились на орбиту Земли с очередным пуском Falcon 9.

К слову, для запуска этих 10 спутников на полярные орбиты, на высоту 560 км, компании потребовалось дополнительное разрешение Федеральной комиссии связи США (FCC). И это разрешение было получено.

И что дальше?

Согласно планам, озвученным Илоном Маском, в следующем году все спутники связи, запускаемые в космос, получат лазерные системы. В 2022 году для Starlink это станет стандартом конечно, в том случае, если сейчас все пройдет гладко. На данный момент лишь полярные спутники получили лазеры.

Благодаря дополнительному виду связи широкополосный доступ в интернет получат и жители Аляски, о чем компания рассказывала в заявке для FCC.

Лазеры дают возможность спутникам держать связь не только с наземными станциями, но и друг с другом, причем неважно, где находится коллега в той же орбитальной плоскости, или в соседней. Соответственно, оператор сможет минимизировать количество наземных станций, расширяя зону покрытия удаленных регионов, где наземных станций вообще нет. Кроме того, снижается и latency, поскольку уменьшается количество посредников между спутниками и наземными станциями.


Благодаря Starlink и их лазерам, все жители США, а позже и Земли, смогут получить равный доступ в интернет. Равный в плане пропускной способности канала и задержкам. Последние будут минимальными и сравнимы с характеристиками наземного широкополосного интернета.

Межспутниковая лазерная связь была протестирована SpaceX ранее. В сентябре 2020 года компания рассказывала о том, что испытывала космические лазеры для передачи сотен гигабайт данных между двумя спутниками. Когда лазерная связь будет полностью развернута, Starlink станет одним из наиболее быстрых вариантов передачи данных для всего мира, сообщалось в заявлении компании.

В прошлом году представители Starlink заявили вот что: Скорость света в вакууме выше, чем в оптоволокне, поэтому космические лазеры обладают потрясающим потенциалом для соединений с низкой задержкой. Лазерная связь также позволит нам обслуживать пользователей, где нет прямой связи с наземной станцией например, над океаном и в регионах, где нет оптоволокна.


Ждать целый год до ввода лазерных установок придется потому, что сами лазерные системы пока что недешевое удовольствие. Снижение стоимости космических лазеров и быстрое их производство сложная проблема, над которой команда все еще работает, говорится в заявлении Starlink.

Сейчас важная задача для компании не только запуск спутников, но и развертывание наземных станций. В США их уже около 20.

Нужно больше полярных спутников

В ноябре 2020 года компания попросила FCC разрешить запуск 348 спутников на полярные орбиты. Пока что разрешение получено лишь для 10 аппаратов. Комиссия оценит интерференцию этих систем со спутниками и оборудованием других компаний, и после детального анализа результатов исследования.

Есть и проблемы. Так, конкуренты Starlink, например Project Kuiper, Viasat, Kepler Communications и Pacific Dataport попросили FCC наложить запрет на запуск даже 10 полярных спутников. Они считают, что новые аппараты будут оказывать негативное влияние на работу любого другого оборудования на орбите. Но FCC ответила, что SpaceX разрабатывает спутники с оглядкой на подобные проблемы. Поэтому 10 аппаратов никому не повредят, а вот выяснить, какое именно влияние они оказывают на другие системы можно.

Активнее всех палки в колеса велосипеду Starlink пытается вставлять Project Kuiper Джеффа Безоса. Илон Маск даже обвинил Amazon в том, что компания старается затормозить развитие конкурента, несмотря на то, что собственная спутниковая система Amazon находится в зачаточном состоянии, и до выхода в рабочий режим ей нужны годы и годы.

А как всем этим управлять?

Вопрос вовсе не праздный. Поскольку многие компании собираются выводить тысячи спутников на новые орбиты, а SpaceX уже вывела больше 1000 аппаратов, требуется создать надежный способ управлять всей этой армадой.

Один из методов управления разрабатывает НАСА.
Организация считает, что малые спутники могут работать совместно, причем в определенной степени автономно. Аппараты, о которых идет речь тестовые экземпляры, это CubeSat массой менее килограмма. Они будут общаться друг с другом в рамках S-диапазона.


Проект необходим для того, чтобы доказать возможность управления сотнями и тысячами аппаратов на орбите как единым целым. Дело в том, что таких систем становится все больше, а управлять таким количествам аппаратов очень сложно. Нужно учитывать массу факторов, таких как скорость, положение на орбите, положение спутников относительно друг друга и т.п.

Если бы ученые смогли объединить хотя бы часть спутников в разные сети, то управление стало бы гораздо более простым и опасность столкновений, а значит, меньше опасность увеличения количества космического мусора на орбите планеты.

Надежная технология по управлению большим количеством спутников нужна, как воздух. Ведь лишь SpaceX в скором времени планирует довести свою группировку спутников до 12 тысяч. И это только первый этап программы, после его завершения стартует второй, согласно которому на орбите должно оказаться еще 30 тысяч спутников. Общая стоимость проекта составляет $10 млрд.

Лидары работают как глаза, которые могут видеть на 360 градусов, и многие автопроизводители используют их для построения трехмерных карт среды, окружающей автомобиль. На пути к массовому использования лидаров, впрочем, существует определенные проблемы и трудности.

Автомобильные приложения лидаров возникли после конкурса DARPA Grand Challenge, проведенного агентством перспективных исследовательских проектов Министерства обороны США (это соревнование было направлено на развитие беспилотных транспортных средств). Лидары были представлены во втором конкурсе в 2005 году. Два года спустя пять из шести автомобилей-участников были оборудованы лидарами, установленными на крыше. С тех поры лидары стали очень быстро развиваться, и согласно прогнозам исследовательской компании Yole Development (Лион, Франция), именно автомобильный рынок будет способствовать их развитию.

Рынок лидаров для ADAS будет расти на 114% за год с 19 млн. долларов в 2019 до 1,7 млрд. долларов в 2025 году, утверждает Алексис Дебре, аналитик по рынку и технологиям из Yole. Ожидания очень высоки, но сейчас рынок лидаров сталкивается с рядом проблем, и на нем нужно предпринимать смелые действия.

Цены снижаются, но объемы поставок очень малы

Исторически сложилось так, что системы лидаров были слишком дорогими для массового производства и интеграции в потребительские автомобили. Сейчас положение дел меняется: производители лидаров стали действовать агрессивно, и за последние три года цены значительно упали.

В прошлом году компания Luminar анонсировала лидарные системы, которые будут стоить меньше 1000 долларов. Компания Velodyne, разработавшая первый 3D-лидар, работающий в реальном времени, в 2005 году, заявила, что к 2024 году их продукты будут стоить порядка 600 долларов (в 2017 они стоили 17 900 долларов). В свою очередь, китайские компании (продукты которых стоят примерно в пять раз дешевле) выводят на рынок устройства, стоящие меньше 1000 долларов, и их доля рынка растет.

Впрочем, падение цены не означает рост объема производства. К настоящему моменты объемы значительно не выросли, равно как и нет массовой интеграции лидаров. Лидары должны отвечать потребностям, утверждает Дебре. На промышленном рынке, в который также входят производство и логистика, существует тенденция к автоматизации, и лидары играют в ней значительную роль. 600 долларов за датчик это все еще большая сумма для американской автомобильной промышленности, особенно если сравнивать с камерами для ADAS, они стоят примерно 80 долларов за штуку. Именно поэтому сейчас мы слышим об автомобильных лидарах небольшого радиуса действия, которые будут стоить примерно 100 долларов.

Впрочем, план Velodyne подразумевает некоторый риск. Дебре сказал, что необходимы перемены, и для автомобильного рынка и промышленности нужно снижение цен.

Многие начинают сотрудничать, но давление растет

Основываясь на анализе партнерских отношений между производителями лидаров и автопроизводителями, Yole делает прогноз, что к 2025 году лидарные системы будут установлены в 3.2% автомобилей.

Пионерами стали Audi и Valeo в 2017 году система Valeo SCALA LiDAR была интегрирована в Audi A8. Сейчас лидары от Valeo используются в Audi A6, A7, Q7 и Q8. Также Valeo сотрудничает с Mercedes, в их недавнем S-Class используется SCALA 2 лидарная система второго поколения.

Позднее были заключены партнерские сделки между Innoviz и BMW, Luminar и Volvo, Velodyne и Hyundai и Ibeo с Wall Motors. Это только начало, и в будущем партнерских сделок будет все больше так сказал Пьеррик Буле, аналитик по технологиям и рынку из Yole.

В отрасли происходит консолидация. Помимо партнерских отношений между производителями и Tier-1/OEM производителями, стоит отметить тот факт, что некоторые лидарные компании были куплены Tier-1 поставщиками. Continental приобрела ASCar, подразделение Advanced Scientific Concepts, в 2016 году, а стартап по производству беспилотных автомобилей Aurora Innovation приобрел Blackmore в 2019 году. В 2018 году ON Semiconductor купила SensL Technologies, а Luminar купила Black Forest Engineering.



Впрочем, Дебре отметил, что пока непонятно какая именно стратегия станет выигрышной, и какого размера должен достигнуть рынок, чтобы произошло множество приобретений.

Мировая автомобильная промышленность действительно сталкивается с значительным давлением. Появление технологий сетевого взаимодействия, систем беспилотной езды, каршерингов и электромобилей (технологий CASE) открывает перед автомобильными компаниями большие возможности. Всем автопроизводителям придется выбрать правильное направление развития, чтобы расставить приоритеты и соответствовать предпочтениям и требованиям клиентов. Буле утверждает, что сейчас индустрия держится на электрификации и системах беспилотной езды. С 2009 года в ЕС введены нормативы выхлопов для новых автомобилей. Выбросы CO2 в среднем должны снизиться на 15% к 2025 году и на 37.5% к 2030 году. Эти сокращения можно перечитать в 95 г/км в 2021 и 81 г/км в 2025. Для электрификации транспорта нужно много исследований и инженерной работы, и некоторые производители оборудования могут из-за этого сократить свои усилия в области беспилотного транспорта, добавил Буле.

Впрочем, компаниям нужно быть осторожными, поскольку дорабатываются и развиваются не только лидары. Буле отметил, что появляются радары сверхвысокого разрешения, также могут появиться тепловые камеры. Лидары по прежнему дороги, они более чем в 10 раз дороже камер и радаров, и если OEM-производители смогут найти более дешевые решения с производительностью лидаров, то они их примут.

Некоторые автопроизводители вообще не используют лидары они делают ставку на сочетания датчиков и вычисления на основе ИИ для достижения автоматизации высокого уровня. Среди подобных компаний наиболее заметной является Tesla. Ее генеральный директор Илон Маск на Autonomy Day в апреле 2019 года утверждал, что лидарами будут заниматься только дураки. Те, кто будут заниматься лидарами, обречены, сказал Маск. Это дорогие и ненужные датчики.

Буле считает, что за методами Teslа стоит внимательно следить. Они используют подход, похожий на использование лидаров. В их автомобилях используются камеры, установленные вокруг всего кузова, и по их изображениям строится трехмерное отображение окружающей среды. Вычисления на основе ИИ используются для анализа разметки и прогнозирования поведения других транспортных средств. Буле добавил, что их система анализирует не только изображения, но и отдельные пиксели, чтобы оценить глубину каждого из них. Также подобными методами и технологиями пользуется Toyota.

Безусловно, Маск заметный мыслитель, который может оказывать значительное влияние на индустрию. Tesla Model S была первым автомобилем с функциями беспилотной езды. Буле сказал, что автопилот Tesla это большой шаг к созданию беспилотных автомобилей, но также добавил, что с момента выпуска произошло множество аварий в результате неправильного использования этой системы. Водители слишком сильно полагались на ADAS.

Смерть пешехода Элейн Херцберг в 2018 году (ее сбил беспилотный автомобиль Uber) открыла глаза OEM, Tier-1 и Tier-2 производителям, сказал Буле. Они поняли, что создать беспилотный автомобиль намного сложнее, чем казалось ранее, и что для разработки полноценных систем беспилотной езды потребуются десятилетия.

Дебре отметил, что Маск не является полным противником лидаров: SpaceX, другая компания Маска, полагается на лидар DragonEye в своих кораблях Dragon и Crew Dragon. У Дебре есть один вопрос к Маску: почему люди не могут наслаждаться безопасностью на земле так же, как и в космосе?

Рынок сдвигается, но сценарии использования все еще ограничены

Ны рынке лидаров доминируют две традиционные топографические компании: Trimble и Hexagon. Благодаря технологиям и бизнес-моделям эти хорошо зарекомендовавшие себя игроки сталкиваются со значительной конкуренцией со стороны новичков. Дебре считает, что возможно эти компании даже смогут приобрести других производителей лидаров, когда ситуация прояснится.

Немецкая компания Sick хорошо зарекомендовала себя в области производства лидаров для автоматизации производств. Они, вероятно, испытывают большее давление со стороны новичков, хотя у них все еще есть продукты, хорошо подходящие для промышленных приложений, сказал Дебре. Новые лидарные компании должны бросить им вызов, предложив либо более дешевые, либо более производительные решения. Отвечая на вопрос о компаниях, оказывающих влияние на рынок, Дебре отметил Oyster, лидарный стартап из Сан-Франциско, который появился в 2017 году. Недавно их капитализация выросла до 140 миллионов долларов. Специфика Oyster заключается в разработке лидаров на основе технологий, доступных на потребительском рынке лазеров с вертикальным резонатором и однофотонных лавинных диодов. Также на рынке есть компания-новичок Valeo, которая тоже сообщает о своих прибылях с рынка лидаров.

Velodyne и Luminar объявили о своем намерении выйти на биржу до конца этого года. Дебре сказал, что в какой-то момент этим компаниям придется зарабатывать, и это сильно повлияет на положение дел на рынке лидаров.

Китайские производители лидаров, такие как Hesai, Robosense и Surestar, также непрерывно растут и расширяют ассортимент своей продукции. Они зарабатывают не только на сниженных ценах на лидары, но и на многочисленных общественных проектах в области беспилотного транспорта.

Многие разработчики беспилотного транспорта проявляют большой интерес к лидарам. Mobileye, подразделение Intel, разрабатывает собственный лидар, а Waymo единственная компания на этом рынке, выпускающая лидары на коммерческой основе.

В целом, положение дел на рынке лидаров меняется. Цены на датчики снижаются и будут продолжать снижаться в ближайшие годы. Все это должно способствовать внедрению лидаров в автомобили.

Но рынку также нужна диверсификация, нужны новые модели лидаров с специализированными характеристиками для различных приложения, как отметил один из аналитиков Yole.

Буле отметил, что разработка лидаров тесно связана с теми сценариями использования, которые хотят реализовать OEM-производители. Не существует лидаров, применимых для нескольких приложений. Характеристики и размещение лидаров определяются приложением или сценарием использования. В качестве примера он привел езду по шоссе, для которой потребуются лидары дальнего действия с малым углом обзора, размещенные по центру автомобиля, в то время как для парковки или городских сценариев потребуются лидары ближнего действия с большим углом обзора, размещенные по бокам.

Первая часть

Оглавление

1. Не конкурент магнитной ленте
2. Жизнь после DiscoVision
3. Заключение

Не конкурент магнитной ленте

LaserDisc не завоевал рынок даже на ранних этапах, потому что он никогда не участвовал в гонке с видеокассетами. Такой вывод можно сделать, если ознакомиться с культурой домашних развлечений конца семидесятых в США.

Если отбросить печатные издания и индустрию игровых приставок в её зародыше, то дома американцу оставалось либо слушать музыку, либо смотреть сериалы на телевизоре. За музыку на радио платить не приходилось по крайней мере не деньгами. В ротации радиостанции держали набор песен, в котором одна и та же мелодия повторялась несколько раз за день. Если какая-то песня особенно нравилась, то музыкальные магазины продавали записи на магнитной ленте или виниловых пластинках. Телевизор даёт доступ к телепередачам и изредка транслируемым фильмам.

Может показаться, что здесь найдётся место устройству, которое умеет проигрывать фильмы. Реальность распорядилась иначе.

Сравним рекламу первых видеомагнитофонов в США и лазерных проигрывателей Magnavox.


Реклама проигрывателя Magnavox МР-8005 из журнала Home Video Entertainment от 1982 года. Реклама ложная, поскольку она продвигает интерактивные функции формата, а этот плеер доступ к главам или кадрам не поддерживает. На момент выхода рекламы 8005 уже не продавался, в продажу пошла модель 8010.

Реклама плееров LaserDisc продвигает систему как вертушку для видео, продвинутое устройство для интерактивных развлечений, которыми управляет пользователь. Чёткую картинку и стереозвук можно разглядеть и расслышать ещё и не на каждом телевизоре: на тот момент они были небольшими и с единственным динамиком. Рекламные буклеты рассыпаются в описаниях контента систем DiscoVision.

Конечно, с качеством звука и картинки футуристичного лазерного плеера спорить было невозможно, но он мог проигрывать только предварительно записанный контент, который покупался отдельно. Да и вообще, зачем покупать фильмы, которые собираешься посмотреть один, от силы два раза? LaserDisc решал проблему, которой у потребителей не было.


Реклама видеомагнитофона Sony Betamax SL-8600. Выпущен в 1979 году, то есть примерно на старте систем DiscoVision. Изначальная рекомендуемая цена 1 150 долларов. Первый плеер Betamax с цифровыми часами. Слоган гласит Смотри когда угодно что угодно.

Легко заметить отличие рекламы ранних видеомагнитофонов: в них нет ни слова о воспроизведении фильмов с предварительно записанных видеокассет. Это устройства для записи телевидения для просмотра в удобное время.

В пятидесятых годах прошлого века в культуру США вошло телевидение. В 1950 году лишь в 20 % американских домохозяйств был телевизор. Через три года ТВ есть у каждой второй семьи. К концу десятилетия телевизор был почти в в 9 из 10 американских домов.


Телевидение было настолько сильным символом статуса, что им брендировали далёкие от видеотехнологий продукты и очень успешно. К примеру, замороженная еда компании Swanson отчасти обязана своей популярности названию TV Dinner. Конечно, были и другие факторы: после Второй мировой всё чаще в семьях работали женщины, а ещё ужин у американцев главная трапеза дня. Но если ужин телевизионный, то он прочно ассоциировался c удобством и техническим прогрессом.

К 1975 году телевидение это норма: лишь 2,9 % семей США обходились без телевизора. Американцы сформировали привычку отслеживать программу передач, болеть за любимую команду при трансляции спортивных соревнований и регулярно смотреть телесериалы.

Неприятная деталь телевидения: оно происходит по расписанию, которым невозможно управлять. Не всегда серию любимой передачи удаётся застать вовремя, а некоторые шоу и вовсе идут слишком поздно для работающего человека. Раннее телевидение (до шестидесятых) вообще происходило исключительно в прямом эфире, и если записи кинескопа на плёнку не осталось, то до наших дней передача просто не дошла. К примеру, ранний Доктор Кто частично утерян. Если запись есть, сериал могут показать повторно (реран), но решение за телекомпанией.

Телевизор это устройство всей семьи. Хотя телеканалов на тот момент в США было три, иногда домочадцам требовалось смотреть разные каналы в одно и то же время.

Именно поэтому видеомагнитофоны рекламировали в первую очередь как устройства для записи по таймеру, а не плеер для фильмов. Даже стоимость кассет не была таким определяющим фактором: при большом желании можно обходиться одной. В первые годы LaserDisc просто не выполнял тех же функций и не конкурировал с Betamax/VHS напрямую.

Постепенно появился рынок предварительно записанных кассет.

Видеомагнитофоны лишь на старте стоили как крыло самолёта. JVC не требовала никакого лицензирования VHS и свободно распространяла стандарт, поэтому свои деки клепали все подряд. Уже к 1985 году видеомагнитофон за 250 долларов имел тот же набор функций, что и аппарат 1977 года за 1300. С LaserDisc аналогичного не произошло: Pioneer гордо лепила ценник в 800900 долларов на CLD-900.

Видеомагнитофоны появились у многих, что решало проблему курицы и яйца наличия рынка для сбыта контента, с которой LaserDisc поначалу справиться не мог. А сервисы видеопроката размазали себестоимость видеокассет на нескольких потребителей. Дорогую в изготовлении кассету не обязательно покупать её можно взять напрокат. В MCA забыли об этом подумать, когда изобретали свой формат.

LaserDisc выжил, но уже не в позиции победителя.

Жизнь после DiscoVision

В сентябре 1979 года MCA в партнёрстве с IBM основала для бизнеса видеодиска компанию DiscoVision Associates (DVA). Так MCA получает доступ к 50 миллионам долларов инвестиций IBM, которые, конечно, рано или поздно закончатся.

Тем временем Pioneer в Японии успешно наладила производство собственных плееров и потихоньку начала развивать технологию. Изначально японцы имели лицензию только на производство проигрывателей, но после ожесточённых переговоров MCA дала право тиражировать диски. Уже в октябре 1980 в Японии начали печатать диски, в том числе для США.

Беспорядок на фабрике MCA в Карсоне и высокая автоматизация чистого производства в Кофу превратили подпись на Напечатано в Японии на диске в гарантию работоспособности и относительной чистоты картинки. И планов наводить порядок на американской фабрике тиражирования у MCA не было, поскольку продажи не росли.


Примеры деградации различной степени тяжести на LaserDisc.

Не стоит думать, что у Pioneer не нашлось своих проблем. К 1984 году в обиход входит термин laser rot деградация носителей LaserDisc. На дисках, которые идеально выглядели в день покупки, внезапно появлялся снег. Картинка наполнялась помехами, звук приобретал статичный шум. Состояние диска могло ухудшаться либо до полной неработоспособности, либо до точки, когда даже плеер терял трекинг. Виной всему был клей, компонент которого негативно влиял на отражающий слой диска. К середине 1985 года Pioneer по большей части исправила проблему, хотя срок жизни оптических накопителей всё равно ограничен.


Первая страница последнего выпущенного буклета новых релизов DiscoVision, июль 1981.

К 1981 году каталог новых релизов DiscoVision давно перестал расти, а деньги у DVA начали подходить к концу. Штат сотрудников фабрики тиражирования дисков в Карсоне сократили до последнего предела, производство замедлилось, зашла речь о продаже мощностей. В буклете DiscoVision от июля 1981 года всего 35 тайтлов.

Через несколько месяцев переговоров, в феврале 1982 года, Pioneer объявляет о покупке фабрики в Карсоне. Этот завод японцы закрыли на переоборудование, по его окончании Карсон начал выпускать диски среднего качества. В 1989 году даже патенты перешли в Японию: IBM и MCA полностью продали остатки DiscoVision Associates за 200 миллионов долларов. Но и до этого Pioneer фактически полностью контролировала LaserDisc, внося коррективы в стандарт.

На всём периоде жизни LaserDisc чувствовал себя значительно лучше в Японии: там контент чаще покупают, а не арендуют, и низкая себестоимость носителя пришлась кстати. Но даже в Японии к концу жизни формата проигрыватель LD был лишь в 10 % домохозяйств.

Кроме японцев LaserDisc покупали любители видео высокого качества по всему миру. Для нас это может показаться странным, поскольку аналоговые лазерные диски обладали целым рядом если не недостатков, то точно особенностей.

30-сантиметровый оптический диск в точности повторяет размеры 12-дюймового винилового альбома. Разработчики технологии решили порадовать магазины и обычных пользователей схожестью размеров. Схожая упаковка, схожие полки, но не вес: каждый оптический диск весил чуть больше 200 граммов, чуть тяжелее виниловой пластинки того же размера. При этом в плеере он раскручивался до 1800 оборотов в минуту (1500 для региона PAL). Даже сам процесс раскрутки занимал несколько секунд, а ровный гул двигателя продолжался во время работы. Видеокассеты с их формой книги с твёрдым переплётом были куда приятнее для транспортировки.

Какой формат вы выберете, чтобы поставить ребёнку мультфильмы: изнашивающийся аналоговый оптический диск, который можно поцарапать, положив на журнальный столик, или твёрдый брусок пластика с защитой магнитной ленты? LaserDisc ещё и оказался оторван от реальной жизни.

Стоимость плееров начиналась от 300 долларов и доходила до 1500. И качество видео сильно варьировалось от модели к модели, поскольку формат аналоговый. Те же DVD читаются примерно одинаково в любом плеере, поскольку они цифровые. Если релиз на цифровом DVD из-за кодов коррекции ошибок может выдержать даже визуально заметную царапину по всему радиусу диска без деградации качества, то аналоговая природа LaserDisc превращала любой дефект на диске в дефект на экране и в динамиках.


Пример царапины на диске.

На диске CAV (Constant Angular Velocity) с постоянной угловой скоростью умещалось до 30/36 минут видео, CLV (Constant Linear Velocity) с постоянной линейной скоростью работали до 60/64 минут (NTSC/PAL, соответственно). CAV первый вариант, и все первые релизы фильмов были на нём. Стоп-кадр на дисках CAV работал без специального буфера памяти, который присутствовал только на дорогих проигрывателях. Диск CAV хранил 54 тысячи кадров, и пользователь мог немедленно перейти к любому из них. Этим, кстати, пользовались коммерческие системы хранения изображений.

С другой стороны, на две CLV-стороны одного диска умещается 120 минут видео, то есть один типичный полнометражный фильм. В CLV тоже работала навигация по главам, пусть и чуть медленнее из-за раскрутки диска.


На CAV-диске хорошо видна структура телевизионного растра, частотно модулированного и отпресованного на диск. На каждый оборот диска нанесены два полукадра. Крупные промежутки между ними это кадровый гасящий импульс, то есть темнота луча кинескопа во время обратного хода после окончания отрисовки полукадра. Также при увеличении видны строчные гасящие импульсы то есть составляющая для гашения луча в перерывах между отрисовкой строк.

Из-за ошибок мастеринга диска или неисправностей механизма наклона лазер иногда читал соседнюю или даже обе соседние дорожки, что приводило к артефактам на экране. Чтобы с этим бороться, Pioneer в 1982 году незначительно улучшила стандарт CLV, включив в него CAA (Constant Angular Acceleration) с постоянным угловым ускорением. У CAA-диска снижение угловой скорости происходит не постепенно, а шагами. Почти все производители приняли схему CAA, и на упаковках дисков её не выделяли никакими знаками новые проигрыватели уже поддерживали CAA. Впервые CAA применили в издании Звёздных войн, а вообще Pioneer в производстве переключалась между CAA и чистым CLV до середины 1993 года. Иногда даже в одном релизе были диски CAA и CLV.

Воспроизведение фильма действительно было связано со сменой диска. Хотя бы раз в час просмотр нужно было прерывать, подходить к проигрывателю и переворачивать диск, а затем ждать, пока он вновь раскрутится. Дорогие модели плееров умели перемещать лазер наверх, но пауза на раскрутку в обратном направлении всё равно присутствовала.


Вероятно, из-за высокой стоимости лазера использовалась сложная схема с транспортировкой, а не второй лазер. Здесь Sony установила U-образную направляющую, на которой ходит лазер.

При всех своих особенностях LaserDisc действительно имел более чёткую картинку, и маркетинг Pioneer смело обещал картинку на 60 % более чёткую, чем VHS. При правильном обращении и отсутствии брака оптические диски изнашивались слабее, чем магнитная лента. Это, кстати, определило интерес к ним в коммерческих организациях, школах и государственных структурах.

Ранние попытки телевидения высокой чёткости были аналоговыми. Стандарт MUSE был разработан для передачи картинки разрешением 19201035, в Японии MUSE-вещание началось ещё в 1991 году. Чтобы записывать такое на LaserDisc, были разработаны специальные плееры с более точной оптикой и более высокой скоростью вращения 2700 оборотов в минуту против 1800 у обычных дисков. Из-за высокой стоимости эта система не зашла далеко, и всего известно о 24 разных дисков в MUSE HiVision, выпускавшихся сугубо для японского рынка.


Арт с персонажами на пустой стороне диска. Источник: Reddit.

Оригинальный LaserDisc имел два канала аналогового звука, и их качество на момент выхода считалось высоким. Позднее для аналоговых каналов появилось шумоподавление CX. Аналоговые каналы для региона NTSC часто использовали для дополнительной информации к примеру, для дорожки с комментариями. Производство плееров с поддержкой только аналогового звука свернули в 1989 году.

В 1982 году потребитель познакомился с CD и несжатым цифровым аудио. В 1985 Pioneer добавила цифровой звук в LaserDisc с такими же характеристиками, что и у компакт-диска: 44,1 кГц (44 056 для NTSC) и 16 бит на каждый из двух каналов. Из-за технических особенностей на дисках PAL могли быть либо 2 аналоговых канала, либо 2 цифровых, у дисков NTSC такого ограничения не было. К концу восьмидесятых цифровая дорожка стала нормой, диски без неё выпускать перестали.

К девяностым обычного стерео стало мало даже от домашнего кинотеатра ждали окружения звуком. С технологией Dolby Surround Pro-Logic из цифрового стерео декодер получает 4-канальный звук: 3 канала (левый, фронтальный, правый) с полной шириной полосы (от 5 Гц до 20 кГц) и 1 тыловой канал с ограниченной полосой (1007000 Гц).

Поддержка Dolby Digital/AC-3 реализовывалась сжатым потоком данных 384 кбит/с на правом аналоговом канале. Без декодера AC-3 будет слышен только статичный шум, с ним 5 каналов от 5 Гц до 20 кГц и канал сабвуфера 2120 Гц. Наконец, звук 5.1 выполняли с помощью DTS, но с битрейтом 1,4 Мбит/с обоих цифровых каналов. Для этого опять же нужен был декодер DTS, который подключался к плееру.


Пульт плеера Pioneer CLD-3070 с колесом управления скоростью воспроизведения.

Бонусный контент расширенных изданий фильмов включал небольшие документальные фильмы и трейлеры. Стоп-кадр на LaserDisc не содержит искажений, которые неизбежны в видеомагнитофонах. Идеальный стоп-кадр дисков CAV допускал слайд-шоу картинок: мета-метки на диске сообщали плееру, что нужно остановить воспроизведение, а затем пользователь по кадру продвигался вперёд. Так на диск включали любые интересные изображения, к примеру фотографии со съёмочной площадки.


Пример изображений подобного слайд-шоу. Воспроизведение замедлено: в структуре видео это лишь отдельные кадры.

Интерактивные возможности дисков CAV сделали их привлекательным решением для создания интерактивных видеосистем для музеев или рекламы. В Японии LaserDisc долгое время оставался предпочтительным форматом для караоке.

Быстротой доступа дисков CAV воспользовались для создания игровых автоматов. При всей красоте графики геймплей Dragon's Lair ограничен: такое сегодня презрительно назвали бы катсценами и quick time events. Игрок нажимает правильную кнопку в нужный момент, и игровой автомат лишь переходит к фрагменту видео. Сегодня мы бы пошутили, что это уровень нажми , чтобы выиграть, но для 1983 года это казалось интересным. Игра даже попала в музей Смитсоновского института. До этого такой чести удостаивались только две игры (Pong и Pac-Man). Вслед за Dragon's Lair последовали похожие проекты, к примеру, Space Ace.


Прочитанный подряд диск игры Dragon's Lair.

---

Компактные камеры и доступность технологий заложили бум для домашнего и полупрофессионального видео. На кассетах распространялись видео на любую тему: от кустарных гайдов по фитнесу до полицейских фильмов об опасности холодного оружия. Домашняя видеокамера работала по любому удобному случаю, а потом семья смотрела это на видеомагнитофоне. Ничто из этого не случилось бы на огромном 12-дюймовом диске, за издание на котором нужно было платить лицензионные отчисления.

Для жителей пространства внутри железного занавеса наиболее интересно, что магнитная лента пусть и с потерями качества, но копируется. Кустарные переводы американского кино на территории СССР никогда не стали бы реальностью, если бы домашним видео руководил какой-то сложный проприетарный формат.

Технологии LaserDisc заложили основу для того, что стало CD. В конце девяностых LD передал эстафетную палочку своему наследнику DVD. Фильмы на LaserDisc выходили в США по 2000 год, в Японии последний релиз состоялся 21 октября 2001 года.

LaserDisc завоевал сердца синефилов восьмидесятых и девяностых. В эпоху аналогового видео он оставался более дорогой опцией для киноманов и людей с достатком.



По материалам AVS Forum, Blam1 (1, 2, 3, 4, 5, 6, 7, 8, 9, 10), Randocity и ura-CALDC.

В научно-фантастическом романе Задача трех тел писателя Лю Цысиня есть эпизод, когда главный герой начинает видеть перед глазами цифры с обратным отсчетом. Никто кроме него не видит этого. Никто не знает что с ним, а главное никто не знает, что случится когда отсчет обнулится. Чуть не сойдя с ума от страха, главный герой все же разбирается, что это было психологическим давлением на него с использованием инопланетной технологии. Нет, это не спойлер, и если вы подыскивали себе для чтения интересную книгу в жанре научной фантастики, то рекомендую книгу Задача трех тел.

Если бы в нашей современной реальности существовала подобная технология, то с большой вероятностью можно предположить, что она использовалась бы для рекламы, которая транслировалась круглые сутки прямо нам в голову. Такие приборы еще не изобрели, но мы движемся в направлении, когда рекламы становится все больше. И уже начиная с 2022 года, реклама будет транслироваться из космоса.


Проект Созвездие от российского стартапа Avant Space предоставляет уникальную возможность для демонстрации рекламы на ночном небе. Для заказчиков такая возможность обойдется $10 млн. Проект предусматривает формирование группировки небольших спутников, оборудованных лазерной системой проецирования изображений на ночном небе.
После подписания контракта с заказчиком Avant Space в течение 24 месяцев изготовит необходимую систему спутников и обеспечит их вывод на орбиту. Такая группировка будет функционировать год, демонстрируя баннер заказчика из космоса. Два десятка спутников, летящих одной группой, будут выстраиваться в определенное изображение, хорошо видное с Земли. По расчётам Avant Space, космическая реклама обеспечит охват более 1 млрд человек по всей планете. Увидеть её смогут жители более чем 130 крупнейших городов.

Как пояснил основатель Avant Space Антон Оссовский, цена в $10 млн справедлива для компании, которая станет первым клиентом. Далее сумма показа будет около $1 млн в месяц. По сути, это инвестиция, которая покрывает стоимость самих спутников (минимум их нужно 20) и их выведение на орбиту. Кроме существенной скидки за счет гигантского охвата аудитории, первый клиент станет участником эксклюзивного контракта, подразумевающего размещение на орбите на целый год. И мы предполагаем, что наша ежегодная выручка составит около $100 млн в год, уточнил он. Стоимость все же зависит от бренда, количества спутников-пикселей. Один пиксель один спутник. Если мы говорим про Кока-Колу, то нужно условно 100 таких аппаратов, а если показать М из Макдональдс, то нужно 20. Это уже совершенно другая цена, сказал он.


Глава компании поделился, что при создании стартапа он шел методом исключения, искал собственную коммерческую нишу, свободную от конкуренции. Он рассказал, что реклама в космосе уже была в 1996 году на станции Мир была развернута надувная банка Кока-Колы, а на ракете Протон появилось изображение бренда пиццерии. Мы подумали, что было бы круто отправить бренд рекламодателя в космос, чтобы сделать его недостижимым для конкурентов, сказал Оссовский. По его словам, спутники на орбите будут не только выстраиваться в надпись или логотип компании заказчика, они будут посылать световую морзянку. Наша реклама будет в виде нового созвездия с эмблемой бренда, которая пролетит над городом в течение трех минут. Лазеры наших спутников не только проецируют логотип брендов на ночном небе, но еще и передают бинарный код, который содержит гиперссылку на сайт заказчика. Код со спутников считывается камерой смартфона, как QR-код, в течение двух-трех секунд и предлагает открыть ссылку в браузере. Такая реклама может привлечь глобальные онлайн-компании, которым важны масштаб и скорость распространения информации.
Техническую реализуемость проекта Созвездие в сентябре 2020 года подтвердили специалисты Ракетно-космической корпорации Энергия (входит в Роскосмос).


Расчеты были подтверждены в ходе испытаний, которые проводились в стратосфере. Будущее искусственное созвездие из спутников станет самой яркой звездой на ночном небе, сопоставимой с яркостью Венеры. Блок лазеров был запущен в стратосферу на высоту около 30 км для того, чтобы подтвердить проектный уровень мощности источника света в условиях, приближенных к космическим. При этом разработчики отмечают, что свечение не будет мешать астрономам. Лазеры будут включаться только во время пролета над мегаполисами и фокусироваться таким образом, чтобы не выходить за их пределы.

Avant Space согласуют с заказчиком рекламы детали полетного задания: форму созвездия, количество спутников, время и место первого появления бренда, список последующих локаций и общее время работы системы. Производство и запуск спутников будет за 24 месяца, а развертывание системы в космосе продлится еще 6 месяцев. В итоге общий срок реализации до первого появления логотипа заказчика в космосе займет 30 месяцев.

Как говорят в самой компании, для запуска и показа рекламы из космоса специальных разрешений не требуется.
На сегодняшний день деятельность человека в космосе регламентируется международными договорами, из которых только два регулируют общие вопросы. Это договор о принципах деятельности государств по исследованию и использованию космического пространства, включая Луну и другие небесные тела, вступивший в силу в 1967 году, и соглашение 1979 года о деятельности государств на Луне и других небесных телах. К договорам, носящим специальный характер, относятся конвенция о международной ответственности за ущерб, причиненный космическими объектами, конвенция о регистрации объектов, запускаемых в космическое пространство, и соглашение о спасении космонавтов, возвращении космонавтов и возвращении объектов, запущенных в космическое пространство. И также есть более современный закон Российской Федерации от 20 августа 1993 года О космической деятельности. В целом международные договоры разрешают любую коммерческую деятельность, которая не вредит людям на Земле и не связана с программами вооружения и военными действиями.

Что будет с рекламой в облачную погоду?

В компании говорят, что это обстоятельство непреодолимой силы, на которое пока нельзя повлиять. У заказчика будут два варианта: либо сменить локацию, либо выбрать другую дату пролета спутников над нужным городом.


В феврале 2020 года директор департамента реализации проектов Объединенной ракетно-космической корпорации (ОРКК) Андрей Диваев сообщил, что первые два микроспутника с лазерными диодами, с помощью которых в дальнейшем можно будет писать послания в небе, отправятся на орбиту в 2022 году.

Ещё в марте 2020 года на сайте Avant Space можно было найти основные характеристики ионного двигателя компании, сравнение с другими похожими устройствами, анализ рынка малых спутников и другую информацию. Сейчас никакой документации не осталось, сайт полностью посвящён проекту рекламы в космосе.
Мы оставили только информацию о ключевых характеристиках технологии рекламы в космосе, а техническую документацию перевели в режим конфиденциальной информации, так как готовим заявку на получение патента на изобретение, объяснил Оссовский.


Это простое на первый взгляд устройство повелевает воистину сложными плазменными процессами и позволяет разгонять рабочее тело двигателя до скоростей в десятки километров в секунду. Базовая схема не нова мы лишь постарались сделать максимально эффективным сам плазменный разряд с помощью возбуждения геликонных волн, говорит со-основательница и гендиректор проекта Avant Space Яна Харлан.

Сверхточное управление спутником, переходы на другие орбиты, возможность перестроения группировки, и все это с самым крутым удельным импульсом в очень миниатюрном виде. Вот например, вся наша система управления двигателем это кубик 10*10*10 см, а в былые времена такая система для ионного двигателя весила почти как взрослый человек.

Рабочее тело двигателя впрыскивается в разрядную камеру. Двигатель может работать на ксеноне, аргоне, криптоне или даже йоде. На данном этапе испытания проводятся с ксеноном. Индуктор, подключенный к ВЧ-генератору, создает переменное электромагнитное поле. Оно взаимодействует со свободными зарядами в разрядной камере, и в результате столкновений между частицами атомы ксенона ионизируются. Положительно заряженные ионы направляются в ионно-оптическую систему, где постоянное электрическое поле между электродами ускоряет их до десятков км/с. Созданный таким образом поток ионов генерирует тягу.

Устройство рассчитано на спутники весом 50-500 кг. Возможные применения не ограничиваются LEO (низкими околоземными орбитами), но также включают дальние космические миссии. Благодаря очень высокому удельному импульсу использование двигателя на борту космического аппарата позволяет уменьшить массу топлива, необходимого для выполнения миссии, и увеличить срок службы спутника. Все необходимые подсистемы включены в комплект поставки GT-50. Общая архитектура системы является модульной, что делает ее гибкой, а ее интеграцию в космический аппарат более дешевой и простой.


Avant Space разрабатывает высокочастотный ионный двигатель и систему управления для малых космических аппаратов. В 2016 году компанию основал Антон Оссовский, в прошлом работавший в космической компании Dauria Aerospace и опытно-конструкторском бюро Пятое поколение.

В ноябре 2017 года Оссовский впервые рассказал о наземных испытаниях ионного двигателя с внешним магнитным полем. Испытания первых моделей двигателя GT-50 и GT-100 проходили в лаборатории Физика плазмы МГУ.

Avant Space резидент Сколково с момента основания. За четыре года компания получила 35,4 млн рублей в виде грантов. В 2019 году фонд одобрил грант на 60 млн рублей на два года, однако компания получила только 30 млн рублей. Ещё 30 млн рублей должен был внести со-инвестор, но после изменения концепции развития и перераспределения средств от второго этапа финансирования отказались.

По данным Сколково, 2019 год компания Авант Спэйс Системс закончила с выручкой в 16,1 млн рублей. Avant Space продала лабораторную модель двигателя GT-50 с некоторыми подсистемами корпорации ВНИИЭМ, уточнил Оссовский.

Свой первый микроспутник на базе платформы Cubesat 16U с собственным электронным ракетным двигателем GT-50 компания показала в августе 2019 года на авиасалоне МАКС. Система позволит управлять движением микроспутника и поддерживать его позицию на орбите, объясняли в Avant Space.

Кроме того, в разработке сейчас находится мобильное приложение для отслеживания созвездий.

---

На правах рекламы

VDSina предлагает серверы в аренду под любые задачи, с космическим функционалом и возможностями ;) Огромный выбор операционных систем для автоматической установки, есть возможность установить любую ОС с собственного ISO, удобная панель управления собственной разработки и посуточная оплата.