Дополненная реальность

В компьютерном зрении часто приходится работать с двумерными изображениями, и значительно реже - с 3D объектами. Из-за этого многие ML инженеры чувствуют себя неуверенно в этой области: много незнакомых слов, непонятно, куда тут применить старых друзей Resnet и Unet. Поэтому сегодня я хотел бы немного поговорить о 3D на примере задачи определения шести степеней свободы, что в каком-то виде синонимично 3D object detection. Я разберу одну из относительно свежих работ на эту тему с некоторыми отступлениями.

Меня зовут Арсений, я работаю ML инженером и веду Telegram-канал partially unsupervised. Эта статья написана по мотивам моего же видео для Data Fest 2020, секция CV в индустрии.

Кратко о задаче

Для начала давайте определимся, что такое шесть степеней свободы (6 DoF - degrees of freedom). Представим себе некоторый ригидный (неизменяемый, т.е. при трансформации все точки будут оставаться на той же дистанции друг от друга) объект в трехмерном мире. Чтобы описать его положение относительно наблюдателя понадобится 6 измерений: три будут отвечать за повороты по разным осям, а еще три - за смещение по соответствующим осям. Соответственно, имея эти шесть чисел, мы представляем, как объект расположен относительно какого-то базиса (например, точки, с которой ведется фотосъемка). Эта задача является классической для робототехники (где находится объект, который нужно схватить роборукой?), дополненной реальности (где нарисовать маску в MSQRD, ушки в Snapchat или кроссовки в Wanna Kicks?) , беспилотных автомобилей и других доменов.

Будем рассматривать статью MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision (Hou et al., 2020). Эта статья, написанная авторами из Google Research, предлагает надежный и, что немаловажно, быстрый пайплайн для решения задачи, будет уместно разобрать его по частям.

Пайплайн состоит из трех основных кусков:

1. Backbone достаточно классический, архитектура в виде песочных часов должна быть знакома каждому, кто хоть раз обучал Unet.

2. Выходы сети не выглядят инновационно. Detection, regression - все знакомые слова! Впрочем, насчет shape могут возникнуть вопросы. Но давайте отложим их на время.

3. Постпроцессинг может показаться загадочным для тех, кто не в теме. Что такое EPnP и почему оно превращает 2D точки в 3D bounding box?

3D для чайников

И здесь сразу нужно сделать важное отступление, которое поможет нам ответить на все эти вопросы. Давайте высокоуровнево посмотрим на некоторую математику 3D мира. Пусть есть некоторый набор 3D-точек X - матрица размером (n, 3), в которой n - количество точек. Как мы помним, шесть степеней свободы - это три поворота и три смещения, т.е. Rigid transformation. Если обозначить R матрицу поворота, а t - вектор переноса (rotation и translation соответственно), будет соблюдаться такое уравнение:

X = X @ R + t

R и t и есть то, что мы хотим найти в этой задаче, они описывают то, как надо сдвинуть и повернуть наш ригидный объект, чтобы он оказался там, где мы его сейчас видим.

Но X - это все еще 3D-координаты. Потому стоит сказать, что еще существует некоторая проективная матрица P. Эта матрица характеризует то, как мы проецируем объект на двумерную плоскость, условно рендерим его. Эта матрица зависит от размера фотографии, фокусного расстояния, искажений, но в нашей задаче ее можно считать константной. Имя такую матрицу, можно получить 2D координаты точек, просто умножив ее на X:

x = X @ P

Совсем на пальцах: мы ищем, как нужно повернуть и подвинуть некий объект, чтобы какие-то его точки спроецировались так, как они сейчас изображены на фотографии. Я все упростил до неприличия, потому отправляю всех желающих просветлиться посмотреть на CS231a.

Подзадача нахождения R и t, зная X, x и P, называется Perspective-n-Point. Т.е. мы знаем, как выглядит наш объект в 3D (это X), знаем, на какое изображение он спроецирован (P) и где на этом изображении находятся его точки. Выглядит как задача оптимизации! Есть целое семейство алгоритмов, которые решают эту задачу, например, некоторые уже реализованы в OpenCV.

Еще некоторые ссылки по теме:
Monocular Model-Based 3D Tracking of Rigid Objects: A Survey (Lepetit et. al 2005) - классический обзор;
EPnP: An Accurate O(n) Solution to the PnP Problem (Lepetit et. al 2008) - сильный бейзлайн;
PnP-Net: A hybrid Perspective-n-Point Network (Sheffer and Wiesel, 2020) - для тех, кто хочет скрестить ужа и ежа, т.е. добавить к PnP немного диплернинга.

Кстати, к этой проблеме подходят и с другой стороны. Адепты deep learning могут найти множество статей, где используется специальный projection layer, который преобразует 2D и 3D точки друг в друга. Обычно, чтобы обучить такой слой, используют синтетические данные, т.к. 3D координаты из реального мира получать дорого и сложно. Пример такой статьи.

Где взять 3D точки?

Итак, нам нужен X - напомню, это набор 3D точек. Откуда его взять?

Самый простой вариант - пытаться найти один и тот же объект на всех изображениях. Берем какую-то 3D CAD модель (готовую, рисуем с нуля, сканируем настоящий объект специальным сканером) и используем его (точнее, какие-то его точки) в качестве X. Иными словами, делаем явное допущение "на фотографии находится именно такой объект" - на первый взгляд, это прямо-таки нагло, но практика показывает, что для оценки 6 DoF этого достаточно.

Более сложный подход - так называемые параметризированные модели. Образцовый пример - Basel Face. Исследователи из Университета Базеля отсканировали много лиц и при помощи PCA обучили такую модель, чтобы изменение малого числа ее параметров позволяло сгенерировать эти 3D лица. Таким образом, можно крутить малое количество ручек - главных компонент и получать довольно разные модели.

Параметризованная модель может быть и куда проще. Например, если мы ищем на фотографии 3D bounding box, в качестве базовой модели можно использовать куб, а для параметризации использовать его соотношения длины-ширины-высоты.

Если наша 3D модель параметризована, ее параметры можно подбирать разными итеративными методами и выбирать такую, на которой reprojection error будет меньше. Т.е. берем некоторую модель X, решаем PnP, получаем R и t и выбираем такой X, чтобы разность x и (X @ R + t) @ P была минимальна, для примера можно посмотреть на procrustes analysis.

Истинные диплернеры идут дальше и в каком-то виде выучивают или 3D модель, или ее параметры. Хороший пример - известная работа DensePose от Facebook Research, которая популяризовала подход с выучиванием dense карты координат. Т.е. модель предсказывает для каждого пикселя его относительное расположение на 3D модели. Дальше можно найти соответствия и получить для каждого пикселя некоторое приближение его 3D координаты.

В статье, которую мы изначально взялись разбирать, есть выход с таинственным названием shape. В зависимости от наличия grouth truth данных (об этом немного позже) авторы либо учат там сегментационную маску объекта (т.н. weak supervision, для улучшения сходимости), либо как раз карту координат объекта.

Также может возникнуть вопрос - координаты каких именно точек мы хотим найти? Ответ простой: на самом деле, нам все равно. 3D модель обычно состоит из тысяч вершин, мы можем выбрать подмножество по своему вкусу. Единственный более или менее важный критерий - приблизительная равноудаленность точек друг от друга; в случае неудачной выборки решение PnP становится нестабильным.

Где взять 2D точки?

Итак, с 3D объектом худо-бедно разобрались, давайте пойдем в более знакомую большинству CV инженеров область, т.е. вернемся в 2D и подумаем, где взять координаты на плоскости.

Для получения 2D координат точек (обычно эта задача называется keypoint detection) популярны два основных подхода: регрессия напрямую (последний слой сети выдает x, y для каждой точки) и heatmap-регрессия (последний слой выдает тепловую карту с пятном около точки). Первый подход может быть быстрее, т.к. необязательно выстраивать полную encoder-decoder архитектуру, второй обычно точнее и достаточно легко обучается (это почти та же сегментация).

Авторы MobilePose не пошли ни по одному из этих путей и придумали интересный гибрид, вдохновившись современными безанкорными архитектурами для детекции вроде CenterNet. Помните, на схеме есть головы Detection и Regression? Так вот, Detection голова предсказывает центр объекта, а Regression - где вершины объекта находятся относительно этого центра.

В этом подходе есть изящный трюк. Я много писал о том, как выбрать 3D модель, а в этом случае все осознанно упрощается: в качестве модели используется простой параллелепипед, он же 3D bounding box! То есть X - это вершины бокса, а x - проекция этих вершин. Значит, достаточно знать соотношения сторон этого бокса (которые мы получаем из самой архитектуры детектора), и остальная магия ни к чему.

Особенности приготовления данных

Во всех около3D задачах вопрос с данными стоит еще больнее, чем обычно. Для сегментации или детекции разметка хоть и требует немало времени, для нее уже есть много инструментов, процесс более или менее понятен и отлажен, да и существующих датасетов полно. Поскольку с трехмерными данными все сложнее, все был соблазн воспользоваться синтетическими данными и нарендерить бесконечный датасет. Все бы хорошо, но модели, обученные на синтетике без дополнительных трюков, обычно показывают значительно худшее качество, чем модели, обученные на реальных данных.

Unlike 2D object detection, it is prohibitive to manually label data for 3D detection. Due to this difficulty of collecting sufficiently large amounts of labeled training data, such approaches are typically trained on real data that are highly correlated with the test data (e.g., same camera, same object instances, similar lighting conditions). As a result, one challenge of existing approaches is generalizing to test data that are significantly different from the training set.

Synthetic data is a promising alternative for training such deep neural networks, capable of generating an almost unlimited amount of pre-labeled training data with little effort. Synthetic data comes with its own problems, however. Chief among these is the reality gap, that is, the fact that networks trained on synthetic data usually do not perform well on real data.

В рассматриваемой статье авторы сделали один из таких трюков: вместо того, чтобы бездумно рендерить весь мир, они сделали комбинацию реальных и синтетических данных. Для этого они взяли видео из AR-приложений (хорошо быть гуглом и иметь много данных из ARCore). В таких видео есть и знание о плоскостях, оценка 6 DoF, полученная при помощи визуальной одометрии, и оценка освещения. Это позволяет рендерить искусственные объекты не где попало, а только на плоских поверхностях, адаптируя освещенность, что значительно снижает reality gap между синтетическими и реальными данными. К сожалению, повторить этот трюк в домашних условиях кажется довольно сложным.

Все вместе

Ура, мы галопом пробежались по всем ключевым концепциям пайплайна! Этого должно хватить, чтобы читатель смог собрать из open source компонентов, например, приложение, которое будет рисовать маску на лице (для этого можно даже не учить модели самостоятельно, готовых сетей для face alignment немало).

Конечно, это будет только прототип. При доведении такого приложения до продакшена возникнет еще много вопросов, например:

• Как добиться консистентности между кадрами?

• Что делать с неригидными объектами?

• Что делать, если объект частично не виден?

• Что делать, если в кадре много объектов?

Именно там начнутся настоящие приключения.

Технология дополненной реальности дает музеям и художественным галереям весомые преимущества, если ее возможности использовать с четко продуманным планом. В частности, с помощью AR-технологии у посетителей появится возможность расширенного взаимодействия с музейными экспонатами и картинами.

Рассмотрим 7 вариантов применения дополненной реальности на примерах музеев и художественных галереей по всему миру. После прочтения вы сможете решить, какая идея подходит именно вам.

1. Дополните коллекцию известными произведениями искусства

Любой музей желает, чтобы в его стенах находились всемирно известные полотна и другие экспонаты. Однако это ограничено отсутствием бюджета. В ход можно пустить креативные идеи. Количество и качество идей зависит от уровня понимания, как использовать уже имеющиеся финансы.

С появлением цифровых технологий это больше не является проблемой: дополненная реальность способна воплотить в жизнь любые идеи даже с ограниченным бюджетом.

В качестве примера рассмотрим проект Латвийского национального художественного музея. В его основе лежит идея воплощения произведений искусства известного латвийского коллекционера в художественной галерее с использованием цифровых технологий. Благодаря AR каждая картина была преобразована в цифровой формат.

Выставка представляла собой несколько увеличенных в размере изображений QR-кодов. Отсканировав один из них, посетители могли детально изучить известные произведения искусства с помощью смартфонов и планшетов.

Ещё один вариант: сотрудничество с художниками для создания эксклюзивной AR-выставки, которая дополнит уже имеющуюся коллекцию. В настоящее время многие художники занимаются цифровым искусством и создают собственные приложения, которые также можно включить в музейную коллекцию. Например, автор приложения SAN.app, используя технологию GPS, размещает свои работы по всему миру.

Таким образом, можно обратиться к талантливым цифровым художникам, которые будут проводить различные AR-выставки в вашем музее.

2. Дайте посетителям возможность самостоятельно познакомиться с коллекцией

На художественных выставках зачастую рядом с экспонатом расположено только имя автора и название. Посетителю приходится самостоятельно интерпретировать произведение и понимать его замысел. Несмотря на наличие экскурсовода, который может рассказать историю любого экспоната, посетителям чаще нравится делать это самостоятельно.

Дополненная реальность дает возможность знакомиться с произведениями искусства в своем собственном темпе. Используя AR-приложения, посетители детальнее изучают интересующие их выставки и произведения в удобное для них время и порядке.

3. Повышайте качество экскурсий с помощью AR-технологии

Речь идет не о замене людей технологиями, а скорее о положительном влиянии технологий на ход экскурсии.

Для многих экскурсии с гидом это возможность пообщаться с другим человеком и задать интересующие вопросы. Однако, пытаясь привлечь в музеи и галереи разные поколения, стоит рассмотреть возможность использования новых технологий. Например, дополненная реальность позволит оживить экскурсию и раскрыть потенциал гида.

4. Сделайте ваш музей лучшим в своем роде

Особое внимание посетителей привлекают музеи, работающие в узкой тематике. Например, музей шоколада, музей мостов, железнодорожный музей, охотничий музей, музей определенной сферы промышленности. В отличие от классических музеев, они привлекают более узкую и мотивированную аудиторию. Такие посетители по-настоящему оценят возможность получить больше информации об интересующем экспонате.

В частности, в Рижском автомобильном музее дополненная реальность используется для демонстрации принципа работы автомобилей прошлой эпохи. Несмотря на то, что такие экспонаты нельзя разместить в обычном месте, он привлекает много посетителей, которые проявляют большой интерес к глубокому изучению техники.

5. Создайте виртуальный AR-портал к музею

В качестве иллюстрации можно рассмотреть проект the Sunshine Aquarium в Токио. Его суть заключается в следующем: путь к аквариуму оснащен системой дополненной реальности. Туристы не просто посещают аквариум, а получают незабываемые впечатления от AR-путешествия еще на подходе к нему.

На этом пути туристы встречают пингвинов, созданных с помощью AR-технологии и GPS. На протяжении всего маршрута интерактивные животные выступают в качестве гидов.

Создание AR-приложений на основе GPS требует значительных издержек и тщательной работы над их продвижением и ознакомлением с ними посетителей. Это особенно актуально для мегаполисов, основные потоки посетителей в которых формируются благодаря туристам.

Отличной альтернативой могут стать приглашения, рекламные буклеты и входные билеты, в которые интегрированы AR-технологии. С их помощью можно подробно продемонстрировать коллекцию музея. Так у посетителей будет реальный опыт работы с AR еще до прихода в музей.

Следующий способ привлечения посетителей в музей размещение выставки или AR-портала в музей в общественном месте, популярном среди туристов. Чем популярнее место, тем больше людей узнает о музее. Посредством AR-технологий туристы могли бы детально ознакомиться с коллекцией музея и приобрести билеты на выставку. Захватывающий опыт работы с AR надолго запомнится и простимулирует людей прийти в музей.

6. Используйте AR-зеркала

Зеркала дополненной реальности это отличная платформа для музеев: посетителям не понадобятся гаджеты для получения информации, а значит, можно будет привлечь больше людей. С помощью AR-зеркал возможно организовать взаимодействие с экспонатами в самом музее и за его пределами. Показательным примером могут служить динозавры, воссозданные с помощью AR-технологий в Парке Юрского периода.

Основная идея волшебного зеркала заключается в возможности посетителей стать участниками исторического события или картины. Такая интеграция впоследствии может стать вирусной и очень популярной, как в случае с успехом Парка Юрского периода.

Поскольку технология может обойтись дорого, при разработке идеи необходимо сконцентрироваться на увеличении степени вовлеченности аудитории музея. Это может быть реализовано в создании исторических реконструкций, футуристических обстановок, разработки аутентичного фона картины или воссоздания вымышленных персонажей или знаменитостей, с которыми посетитель сможет взаимодействовать.

7. Создайте сувениры с AR-эффектом, чтобы посетители захотели вернуться

Обычно в конце экскурсии посетители могут купить копии или миниатюры знаменитых произведений искусства. Именно в них стоит интегрировать технологию дополненной реальности. Например, посредством AR можно передать дополнительную информацию о коллекции, к которой принадлежит экспонат, или подвести итог о посещении музея, показав короткое видео. Такие сувениры несут с собой дополнительную ценность.

Все вышеперечисленные способы использования AR-технологий потенциально помогают музею привлечь новых посетителей и предполагают эффект глубокого погружения.

Тем не менее, каждый музей, определившись со своими целями, должен самостоятельно решить, какую конкретную идею ему следует реализовать.

Сегодня много говорится не только об автоматизации рекрутинга и HR-процессов в компании, но и том, что неплохо было бы разнообразить эти процессы с помощью AR/VR.

Есть ли реальная польза от этого рекрутерам и кандидатам? Или это просто дорогое развлечение для компаний, которые могут себе это позволить?

Геймификация с помощью иммерсивности

Первая мысль, которая возникает при упоминании HR-процессов вместе с AR (дополненная реальность, Augmented Reality) и VR (виртуальная реальность, Virtual reality) это геймификация. Наверняка, многие помнят, что на вынужденной удаленке популярным пристанищем для митингов и тимбилдинга стали онлайн-игры (пример с посиделками в Red Dead Redemption 2 или даже школьные уроки в Half-Life: Alyx). В этом плане роль игр и виртуальной реальности более-менее понятна оживить HR-процессы, заинтересовать, сплотить, вовлечь и тому подобное. Ну и к тому же тренировка как Soft Skills сотрудников, так и непосредственно их профессиональных навыков (начиная от полетных и армейских симуляторов до работы с промышленным оборудованием).

Пример Хьюстонский учебный центр HVAC, у которого в программе обучения технических специалистов есть практическая симуляция работы с оборудованием. В дополнение: на Хабре была статья о VR-обучении сотрудников.

Итого, в общем и целом, с обучением и вовлечение сотрудников роль AR/VR ясна. А что насчет привлечения сотрудников?

Польза AR/VR для рекрутеров

1. Привлекательность компании для кандидатов

Ярмарки вакансий и виртуальные туры по профессии

Чаще всего можно заметить применение AR/VR на ярмарках вакансий, например для интерактива на стендах компаний.

Более того, в удаленном режиме подобные ярмарки вакансий и мероприятия для талантов можно даже проводить в каком-нибудь виртуальном хабе.

Но чаще всего компании идут более реалистичным и действенным путем: создают 360 видео или упрощенную 3D-симуляцию, чтобы провести экскурсию по офису или ознакомить с какими-то рабочими процессами. Сравните избитый рассказ об офисе с кофе, печеньем и PlayStation и эффектным жестом Вот, держи гарнитуру! Сейчас сам все увидишь.

Еще 5 лет назад американская e-commerce компания Jet проводила виртуальные туры для кандидатов знакомство с культурой, офисом и так далее.

Немецкая железнодорожная компания Deutsche Bahn тоже привлекает новое поколение новыми технологиями. Чтобы дать молодежи понимание о профессии, они применяют несложную VR-симуляцию и VR-видео, которые показывают, как работает, например, железнодорожный проводник. И только те, кто реально проникся профессией, идут узнавать о профессии дальше (хороший пример воронки кандидатов).

В 2017-2019 году торговый гигант Walmart начал активно начал тренировать новых сотрудников и оценивать кандидатов на продвижение по службе. Для этого они пользуются Oculus Rift.

Довольно эффектно выглядят VR-туры в AT&T.

AR-навигатор: как добраться до офиса

Многим кандидатам приходилось блуждать с Google-картой, пытаясь найти офис компании в промзоне, или в огромном комплексе, где иногда теряются даже сами сотрудники компании. В таком случае можно организовать своего рода вариант Pokemon Go, в котором можно не ловить существ, а по указателям быстро найти место проведения интервью (вход, подъезд, этаж). Да еще и дать кандидату ощущение заботы о нем и все тот же Wow-эффект. Идея проста: если уж компания позаботилась о таких мелочах, значит она вполне адекватная и можно с ней работать дальше.

2. Оценка кандидатов

Существует мнение, что молодое поколение (GenZ) тяжело мотивировать проходить скучные и утомительные кадровые тесты и проверки. А вот протестировать в игровой форме вполне приемлемо. Примеры: челлендж для инженеров от Jaguar или AR-приложение Domino's Pizza. В этом приложении реализована самостоятельная визуализация и заказ пиццы. Компании это дало двойной эффект: прямой результат для улучшения клиентского опыта и усиления бренда, а также косвенный Wow-эффект для привлечения молодежи в штат компании.

В целом предложение рекрутера: Как насчет иммерсивного опыта в VR? будет принято гораздо более благосклонно, чем приглашение на обычные собеседования. Ну и очевидно, что в такую компанию увеличится поток кандидатов, причем самого разного уровня.

Можно создать некое виртуальное окружение, в котором запустить интерактивные тесты или рабочие квесты. В оценке сотрудников и кандидатов уже давно используется стресс-тестирование (к счастью, не так часто) и проверки на то, как кандидат поведет себя в непривычной ситуации. Даже если разбор сценария это просто виртуальный свайп-переход по блок-схеме да/нет это в любом случае нестандартный стрессовый опыт. А уж если внедрить глубоко проработанную систему оценки можно получить много ценной информации.

Кроме проверки на стрессоустойчивость такой эксперимент даст понимание о способности кандидата учиться на лету.

Подобную технологию оценки применяет, например, Commonwealth Bank of Australia (CBA). Они создали виртуальную среду, где не только знакомят соискателей с особенностями работы, но и оценивают гибкость мышления и способность принимать решения в различных рабочих сценариях.

Кроме того, в докладе, опубликованном в журнале Nature, рассказывается о тестировании добровольцев на стрессоустойчивость с помощью 3 VR-сценариев по 90 секунд каждый. Во время тестирования замеряются жизненные показатели, и результаты анализируются с помощью математической модели.

В облагороженном виде подобные проекты вполне имеют все шансы прижиться среди рекрутеров и HR.

В VR-среде можно проверить многое: от дизайна-мышления до навыков написания кода и построения логики и архитектуры проекта из условных Minecraft-кубиков, означающих какие-то узлы и схематические элементы проекта. В этом плане интересен даже не результат, а сам процесс насколько человек быстро ориентируется, думает, осмысленно двигает элементы, его ход мысли. Ну и, разумеется, будет понятно, насколько легко он коммуницирует.

Впрочем, нужно понимать существенный недостаток VR-оценки. Рекрутеры любят читать язык тела, мимику, невербалику. В этом случае за аватаром ничего этого не будет видно.

Поэтому, конечно же, заменять виртуальным тестированием Face-to-face интервью ни в коем случае не следует. Но если хотите избежать хорошо отрепетированных социально желаемых ответов (одна из основных проблем всех живых интервью), то погружение в подобную среду неплохой вариант.

За рубежом много говорят о том, что будущее VR-рекрутинга лежит еще и в плоскости Diversity и непредвзятости в оценке. И речь здесь даже не о том, чтобы прятаться за аватарками и проходить тестирование анонимно. Сомневаюсь, что в наших условиях это сработает.

Приверженцы этого аргумента говорят о том, чтобы объединить такие AR/VR-системы с моделями для AI-анализа, который бы без человеческого субъективизма мог анализировать паттерны речи и поведения, язык тела (если эта информация доступна), интонацию и так далее. Вопрос спорный: во-первых нужна серьезно натренированная модель, иначе адекватность оценки будет меньше, чем у рекрутера-интерна. Во-вторых, на откуп AI категорически нельзя отдавать принятие решения. Подсветить, составить рекомендованный short-list из списка претендентов, указать на те нюансы, которые заметил ИИ, можно. Но ни в коем случае не принимать решение вместо нанимающего менеджера (здесь могла быть шутка про робота Бендера Родригеса с его подходами к оценке людей).

Итоги

Конечно же, тратить ресурсы и время на разработку или покупку и внедрение какой-то AR/VR технологии только ради того, что это модно, бессмысленно.

Внедрять нечто подобное можно, если вы хорошо подумали и уверены, что:

• Компания может себе позволить бюджет на устройства и ПО для AR/VR.

• Это поможет ощутимо отстроиться от конкурентов и выделиться среди множества похожих компаний, усилить бренд работодателя и такой популярный сегодня Candidate Experience. Конечно, в бренде главное не модные фишки, но все же.

• Будет нормально воспринято кандидатами. Если ваша игра или среда будет вызывать недоумение или провоцировать сарказм, зачем вам такой результат?

• Это поможет сузить поток кандидатов до тех, кто подходит по Culture Fit и по профессиональным навыкам.

Подытожим одним предложением универсальную задачу AR/VR (как и любого другого инструмента) в рекрутинге:

Дать компании понимание, нужен ли ей этот кандидат, и дать кандидату понимание нужна ли ему эта компания.

Иначе нет смысла в таком нововведении. Буду признателен за точки зрения, примеры удачных и неудачных внедрений AR/VR при приеме на работу или оценке кандидатов.

Как не запутаться в большом объеме информации о дополненной реальности, где ее применять и как она работает?

Вопрос эффективности для бизнеса стоит остро, и в условиях пандемии новые инструменты как никогда актуальны. Поэтому мы выпустили White Paper AR механики: все о дополненной реальности, где доступным языком объяснили, как разные подходы в создании дополненной реальности решают боли компаний.

Заметка от партнера IT-центра МАИ и организатора магистерской программы VR/AR & AI компанииPHYGITALISM.

Что вы будете знать после прочтения?

• Как работает AR, механики применения;

• Возможности дополненной реальности;

• Обязательно ли скачивать приложение, чтобы просмотреть контент в дополненной реальности, какие платформы еще можно использовать;

• Тренды развития AR.

• Новые и интересные кейсы с бизнес-метриками и актуальную аналитику.

Подробнее о содержимом whitepaper

Читая наш whitepaper, вы окажитесь в роли заказчика проекта для автомобильной отрасли, который хочет внедрить дополненную реальность.

1. Механики дополненной реальности

Перед продумыванием идеи мы должны убедиться в том, что решение будет эффективно, поэтому обсудим с вами цели и ожидания от внедрения иммерсивного опыта. После этого вдохновимся примерами мировых брендов и разберем как эффективнее показывать контент, что мы хотим рассказать о продукте, и что подчеркнуть.

AR-механика это способ показа контента. В нашем whitepaper мы описали привязку к маркеру, плоскости, геолокации и физическому объекту, а также механику порталов, и привели примеры к каждому из них :)

2. Возможности дополненной реальности

Далее мы обсудим, какие возможности есть в дополненной реальности. Например, создавать фотореалистичные модели людей для показов одежды, менять пространство по одному касанию, создавать собственный брендированный окружающий мир и удаленно работать с коллегами, взаимодействуя вместе в виртуальном мире.

3. Платформы для реализации

В каждом проекте мы должны понимать, кто наша целевая аудитория, так как от этого будет зависеть то, где наш AR-контент можно будет увидеть. Для понимания всех различий мы добавили примеры и преимущества каждой платформы, а также ранее составляли сравнение.

4. Тренды и подборка приложений

Если вы хотите быть в курсе новейших разработок и материалов, мы также выделили тренды в развитии технологий (спойлер: связка дополненной реальности и машинного обучения становится все сильнее). А еще есть подборка крутых приложений для тестов и вдохновения :)

Мы давно выпускаем материалы по VR и AR-технологиям для бизнеса, поэтому также советуем к прочтению:

• VR: применение в тренингах;

• O2O: применение XR-технологий в online-to-offline коммуникациях.

Если вы заинтересовались нашим whitepaper, подпишитесь на бесплатную рассылку, и мы будем регулярно вас радовать не только информационными материалами, но и ежемесячными подборками с кейсами и аналитикой.

Давайте вдохновляться на проекты вместе.

Цифровой мир стал ближе. Согласно исследованию ТМТ Консалтинг и Huawei в 2020 году отечественный рынок VR/AR вырос до 1,4 млрд. рублей, а к 2025 достигнет 7 млрд.

Давайте разберемся со всеми видами реальностей, а затем поговорим о том, что мешает их внедрению.

Термины

Реальный мир (реальная реальность) весь окружающий нас мир, его человек видит своими глазами и без фильтров (смартфонов, очков, шлемов, экранов и прочего оборудования).

Дополненная реальность (augmented reality, AR) физический мир с наложенными поверх него подсказками, голограммами, объектами. AR построена на основе реального мира и подчиняется ему во всём.

Виртуальная реальность (virtual reality, VR) полностью цифровой мир. Надев шлем или гарнитуру, человек погрузился в смоделированный компьютером мир образов и звуков, где взаимодействие с объектами и передвижение происходит с помощью тактильных контроллеров.

Смешанная реальность (гибридная реальность, Mixed Reality, MR) мир, где сочетаются реальные и виртуальные объектов. Человек может оценить передний и задний план, видит расположение объектов относительно друг друга и, самое главное есть точка соприкосновения реального и виртуального миров.

На пути внедрения технологий AR/VR/ MR, как и на пути любых перемен, всегда есть препятствия

Зачем менять отлаженные годами процессы

Внедрение цифровых технологий иногда встречает сопротивление структур, желающих работать по привычке. И новые инструменты, на покупку и внедрение которых были потрачены средства, могут стать атрибутами для галочки. Важно перестраивать мышление специалистов, которым предстоит работать по-новому. Это не просто и требует волевых решений руководства. Для настоящего технологического прорыва внутри компании потребуется создать систему, которая объединит технологии и корпоративные ценности.

Малое количество реализованных кейсов ("страх первопроходца")

AR/VR/ MR уже работают в промышленности, медицине, продаже продуктов и услуг, образовании. Они учат тушить пожары, помогают добывать углеводороды, собирать самолеты и локомотивы, проводить хирургические операции, следить за сложным оборудованием, контролировать строительство, выбирать жилье, мебель, одежду.

Дорого и сложно рассчитать экономический эффект

Важно изучить предложения разных компаний. За меньшей ценой может скрываться меньшее число полезных функций. Для расчета экономического эффекта от внедрения, например, системы трёхмерного проектирования в дополненной реальности потребуются исходные данные о потерях, связанных с классическим проектированием (время, цена простоев и срыва сроков, процент ошибок, штрафы, бюджет на ошибки). Это позволит узнать, как сократить сроки и предотвратить расхождения выполняемых работ от проекта, а проекта - от объекта строительства.

Как обучиться работать с новым программным обеспечением с AR/VR/ MR

Программы разрабатываются с понятным интерфейсом, чтобы на адаптацию работы с ними уходило 2-3 дня. Компании-разработчики обучают работе с системами, предоставляют обучающие материалы и инструкции.

Слабый интернет или его отсутствие

Данные на оборудование можно загружать и выгружать по беспроводному и проводному каналу, а использовать потом автономно.

Хрупкость оборудования и совмещение со средствами защиты

Используются планшеты и смартфоны, а когда нужны свободные руки, то смарт-очки. Есть версия очков с защитной каской. Работа в очках не доставляет дискомфорта, вес распределяется равномерно, аккумулятора хватает на большой объем работ. В обращении с любым оборудованием важна аккуратность: будь это небольшой смартфон или огромный станок.

Благодаря передовым технологиям компании поддерживают высокий уровень сервиса для своих клиентов, выпускают востребованную продукцию, выигрывают конкурентную борьбу. А что останавливает от внедрения AR/VR/ MR вас?

Всем привет. Меня зовут Дядиченко Григорий, я СТО Foxsys, и я всё ещё люблю трекинг. Продолжим серию статей после долгого перерыва и поговорим про AR маркеры. Какие технологии есть, чем они отличаются, в чём плюсы и минусы каждой на данной момент. Если интересуетесь AR технологиями - доброе пожаловать под кат!

Что чаще всего подразумевают под AR маркером?

AR маркер это плоская картинка, по которой мы можем определить позицию устройства в пространстве относительно этой картинки. Задачи бывают самые разные, и о них мы поговорим. Просто в общем случае понятие маркера или метки не обязано быть просто плоской картинкой. Но как-то так повелось в AR - что под маркером имеется в виду именно плоская метка, а остальные виды меток уточняются, как цилиндрическая метка и так далее.

По сути, в качестве метки можно использовать любое изображение, которое отвечает требованиям технологии. Чем лучше картинка подходит под технологию, тем точнее будет трекинг, реже будет теряться и в целом с ним будет меньше проблем. Относительно требования к этим картинкам, чтобы трекинг хорошо работал - всё зависит от технологии. Тот же самый инстаграм сильно отличается от того, что считается хорошим маркером в той же вуфории. Базовые правила почти для любой хорошей метки, чтобы определять их на глаз. Больше контрастов, меньше градиентов, отсутствие симметрий (чтобы случайно не получить эффект балерины), так как если скажем картинка центрсимметрична, то невозможно однозначно определить её ориентацию в пространстве.

Применение AR меток и общие рекомендации

Технология меток имеет большое количество применений в самых различных сферах. Основным плюсом данной технологии является широкое покрытие устройств и стабильность работы. Да, в том числе она обладает рядом ограничений, но по сравнению со всеми остальными технологиями при грамотной интеграции - метки в дополненной реальности работают как часы.

Поэтому они отлично подходят для решений, рассчитанных на большую аудиторию со средне бюджетными или дешёвыми устройствами, так как большая часть технологий не требует большой производительности, работает на достаточно широком спектре устройств и работает стабильно если соблюдать несколько правил.

Во-первых, правильно делать сам маркер в соответствии с гайдлайнами конкретной технологии. Во-вторых, печатать сами маркеры на матовой бумаге и стараться не размещать их за стеклом, особенно если стекло не музейное и создаёт большое количество бликов и отражений. И третье, стараться размещать контент, как можно ближе к центру маркера. Так как есть такое понятие, как угловая ошибка.

В случае размещения объекта далеко от центральной оси маркера из-за неточности трекинга и того, что на самом деле с точки зрения ориентации в пространстве всегда есть некоторой шум получается видимое смещение в виде тряски. В разы хуже чистой линейной ошибки смещения за счёт того, что чем дальше объект от места определения ориентации тем выше смещение относительно реального объекта в зависимости от угла ошибки.

Ну и конечно же, последнее - тестировать. Причём в идеале на целевых устройствах, на целевом расстоянии, с целевым размером маркера и в месте, где он будет эксплуатироваться. В последнем, по сути, важную роль играет только освещение в пространстве, так как проблемы трекингом могут создавать два критерия. Освещённость ниже 100 люкс и люминесцентное освещение. Со вторым проблема заключается в частоте мерцания лампы, так как не все технологии корректно обрабатывают данный эффект. С целевым же размером и расстоянием важную роль играет разрешающая способность камеры и воздушная перспектива. Она может влиять на чёткость границ маркера, которые используются для трекинга и из-за это маркер просто не будет распознаваться.

Целевые устройства важны, так как у многих различаются камеры и датчики, что так же влияет на трекинг. Для теста того же ARFoundarion (ARCore) или для сборки B2B проекта на аркоре, чтобы не было никаких вопросов с лицензией, по соотношению цена-качество я выделил для себя Redmi Note серию, нужно только внимательно смотреть, на каком устройстве есть поддержка аркор. Самый недорогой с достаточно качественной работой ARCore это восьмой ноут. Он сравнительно недорогой, но при этом проверять на нём качество трекинга данной технологии самое то. А так всё зависит от множества факторов. Бюджет, требования к системе, ограничения в плане покупке лицензий, какими устройствами обладает целевое устройства или бюджет на устройства для обустройства конкретной локации, и так далее.

Что-то мы глубоко ушли в нюансы работы с технологиями. Поговорим теперь про применение.

В рекламе

Одно из моих любимых это рекламная акция бургеркинга. Она красивая, и при этом отлично показывает, как можно применять технологию в рекламе. Но креативов вокруг маркерной технологии можно придумать достаточно много, а основной плюс её относительно других технологий стабильность. Так как при рекламной акции, рассчитанной на широкую аудиторию негатив никому не нужен, а пользователям будет плевать, почему на их телефоне не работает конкретная технология.

В благотворительности

По сути, очень похоже на рекламу, так как средства примерно такие же, только с целью осветить какую-то проблему.

В музеях и выставках

С помощью технологии меток можно оживить выставку и добавить интересного интерактива. Но, помимо этого, интересно к этому подошли в приложении Artefact. Навигация по точкам интереса обращая внимание на какие-то детали в картинах и рассказ истории об этой точке. Удобно и очень интересно.

В целом применений технологии очень много, и их полное перечисление само по себе растянется на несколько статей. Если даже отойти от телефонов метки используют в навигации дронов в пространстве, как систему рекалибровки и релокализации, в робототехнике, в инженерных задачах. К любой технологии трекинга можно придумать множество применений, так как определение позиции объекта в пространстве позволяет сделать много очень интересных взаимодействий. Когда-то даже был очень интересный концепт оживления настольных игр на Playstaition с помощью Eye Toy. Но перейдём же к самим технологиям. Да в основном я буду разбирать те технологии, с которыми я работал и запускал коммерческие проекты. Итак, приступим!

ARUCo (OpenCV)

Цена: Бесплатное

Поддерживаемые платформы: Android/IOS/WebGL/Win/Mac/Linux/Hololens

Совместимость с Unity: есть

Поддержка устройств: Широкая

https://docs.opencv.org/4.5.2/d5/dae/tutorial_aruco_detection.html

Если вы когда-то видели такие странные квадраты - это Аруко. Это технология для хардкорщиков. Из коробки для AR работает она откровенно плохо. Очень много шума. Но всегда можно реализовать обвязку которая решит эти проблемы. Допустим хорошо тречится так называемый аруко борд. Плюс если реализовать фильтр Маджевика, то тогда и jitter (тряска) будет не так сильно мешать. Основные плюсы: бесплатное (правда на допил уйдёт вероятно больше бюджета), умеет одновременно отслеживать очень большое число маркеров. Минусы: нельзя использовать изображения, кроме квадратов, что подходит далеко не для всех применений.

Vuforia

Цена: зависит от применения

Поддерживаемые платформы: IOS/Android/Win/Hololens

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.ptc.com/en/products/vuforia

Какой разговор про AR метки без Вуфории. Можно перейти правда сразу к главному недостатку технологии. Правильно купить её из РФ довольно сложно, и стоит это очень дорого. В остальном отличная технология. Имеет определение качества в вебе (правда ему стоит доверять с оговорками, так как он не определяет те же самые симметрии нормально). Работает очень хорошо, имеет интересную технологию вумарок. Недостатком с точки зрения долго развиваемого продукта является только тот факт, что у команды вуфории нет привычки к обратной совместимости. То есть каждая большая (а иногда и не очень) новая версия сдк ломает проект чуть ли не целиком, и требует переписать большую часть модулей. Что означает, что в долгосрочной перспективе решение требует поддержки, и поддержка будет дороже других технологий.

EasyAR

Цена: $1400 на приложение /$39 в месяц на приложение

Поддерживаемые платформы: IOS/Android/Win/Mac

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.easyar.com/

Отличная замена Vuforia. До третьей версии требовала небольшого допила в плане фильтрации данных и ряда мелочей, но версии постарше уже работают хорошо и без этого. Хотя на всякий случай со всеми технологиями лоупасс простой не помешает. Довольно просто купить ключ, одна из немногих технологий не по подписке. Работает с точки зрения маркерного трекинга отлично. В целом для широко рынка пока одно из лучших решений по соотношению цена/качество на мой взгляд.

XZIMG

Цена: бесплатно/2100 для использования в html5

Поддерживаемые платформы: IOS/Android/Win/Mac/Html5

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.xzimg.com/Products?nav=product-XAV

Одно из преимуществ технологии, одна из немногих коробочных технологий, работающих с WebGL и вебом в целом https://www.xzimg.com/Demo/AV. Работает неплохо в целом, но меньше спектр подходящих маркеров по сравнению с конкурентами. Бесплатное для коммерческого использования везде, кроме веба.

ARFoundation (aka ARCore/ARkit)

Цена: Бесплатно

Поддерживаемые платформы: IOS/Android

Совместимость с Unity: есть

Поддержка устройств: на Android порядка 20% устройств из общего числа моделей, IOS устройства с процессором A9+

Отличная технология для мобильных устройств. Бесплатная, хорошо работает и за счёт аппаратной поддержки тратит не так много ресурсов телефона. А недостатки, как всегда всё те же. Ограниченная поддержка на устройствах у пользователей. Соотношение постепенно растёт и в пределах нескольких лет возможно устройства будут у большего числа людей. Но пока по оценке данного ресурса (которая по методологии вызывает недоверие в плане точности) https://www.aronplatform.com/mobile-ar-penetration-2020/ AR supported устройства есть у 41.6% держателей смартфонов. Если посчитать точнее, думаю это число будет меньше. Но терять 60% аудитории в рамках акции или некоей платформы из-за технологии AR это должно быть весьма обоснованным решением.

SparkAR

Цена: Бесплатно

Поддерживаемые платформы: Android/IOS

Совместимость с Unity: нет, но можно сделать ссылку в приложении

Поддержка устройств: широкая

https://sparkar.facebook.com/ar-studio/

В спарке также есть возможность пользоваться AR метками. И если целевой аудиторией компании являются пользователи инстаграма и основной таргет шейринг это отличное решение. Основные минусы: политики фейсбука и инстаграма + ограниченность инструментов для отрисовки графики. К плюсам можно отнести бесплатность, быстрый доступ к аудитории. Важный нюанс, который надо иметь в виду разработчикам, то, что маркеры для той же вуфории отличаются от маркеров для спарка. У фейсбука своя технология и свой гайдлайн, который имеет ряд отличий в том, какой маркер будет хорошо работать.

Достойные упоминания

Это были не все технологии маркерного трекинга, так же на рынке присутствует Wikitude, ARmedia, MAXST - но с данными технологиями мне не довелось поработать, поэтому ничего не могу сказать про их качество работы, и какие-то тонкие моменты.

Спасибо за внимание! Если вам была интересна тема, то, когда у меня в следующий раз появится время постараюсь написать обзор на тему Hand Tracking или чего-нибудь её.