Яна Артищева закончилапрограмму НИУ ВШЭ ВШБИ Менеджмент игровых проектов(МИП). Теперь делает игры для виртуальной реальности. Поговорил с ней насчёт любимых игр детства, перспектив и проблем VR и фишек обучения геймдеву в НИУ ВШЭ ВШБИ. Интервью выходит при поддержке МИП.

1. Почему решили прийти в игровую индустрию? Сложно было перейти?

Любимыми компьютерными играми моего детства были игры компании Konami (спасибо, Кодзима!), в которые я играла на школьных компьютерах Yamaha MSX. Просто играть было мало, сразу же захотелось сделать сделать собственную игру. И я окунулась в изучение программирования - Basic, ассемблер и машинные коды, затем Pascal, C, Java С тех пор я постоянно пробовала писать игры. Но профессией это стало только в начале 2000х, когда появились мобильные телефоны с играми на Java. Мобильные игры возродили жанр старых "8-битных" казуалок и пиксел-арта. Если для создания качественной игры для PC требовалась Команда, Деньги и Месяцы (а нередко и Годы), то сделать игру для мобильного телефона можно было вдвоём с подругой-художницей за 1-2 месяца. И в 2003 году мы с друзьями создали небольшую компанию. Идея проекта была в том, чтобы игры были бесплатны, а деньги зарабатывались показами рекламы между уровнями. В общем, в 2003 мы изобрели то, что много лет спустя назовут free2play ;) К 2005 году мы выпустили дюжину небольших казуальных игр, сделали баннерную сеть с таргетингом, статистикой и прочими фишками. Нашли первых клиентов - Евросеть, издательство CD-Land (они предоставляли призы для наших еженедельных турниров), реселлера BeeLine. Мы быстро подняли аудиторию до 80,000 уникальных пользователей - больше, чем аудитория журнала "Мобильный портал", где мы давали рекламу. Но как мы ни старались, нам не удалось найти рекламодателей, готовых заплатить реальными деньгами, а не компакт-дисками и прочими призами. В 2007 году мы свернули проект, а игры сдали в аренду Samsung Fun-Club'у. В минусе не остались, но и особо не разбогатели. А через год или два встроенная реклама появилась в играх на андроидах и айфонах. Но уже без нас. Так я получила первый урок, что недостаточно сделать хороший и востребованный продукт. Кроме разработчиков продукту жизненно необходим продажник!

2. Как вам помогла образовательная программа НИУ ВШЭ "Менеджмент игровых проектов"? Что вы почерпнули? Какие, по-вашему, плюсы и минусы этого курса?

Когда я услышала от своего коллеги по Azur Games, чтопрограмма Менеджмент игровых проектов просто огонь, мне показалось, что он несколько переигрывает с восторженностью. Теперь я и сама могу сказать, что курс МИП-7 одна из самых ярких страниц моей жизни. Серьёзно! Нет ничего более захватывающего, чем учиться тому, что даёт тебе самый дикий драйв в жизни. Когда среди учебных предметов нет ни одного скучного, неинтересного или ненужного. Когда тебя окружают единомышленники. Это куда круче, чем обычный ВУЗ. Мне удалось увидеть разработку игры с точки зрения других участников процесса продюсера, маркетолога, аналитика, коммьюнити-менеджера, пиарщика. Ретеншн нулевого дня, выгорание и прочие MAU-DAU для меня больше не птичий язык. Были бы у меня эти знания лет 15 назад кто знает, как бы сложилась судьба моих канувших в Лету проектов telegames.ru и AR-Go. Что же касается минусов Очень жаль, что этот курс так быстро закончился. И огромный минус для нынешних студентов то, что эпидемия коронавируса перенесла большую часть курса в онлайн. Нетворкинг, сотрудничество между студентами, живая помощь преподавателей, ставших твоими друзьями это сложно переоценить. Не знаю, удалось ли в онлайне сохранить этот драйв, этот крутейший team spirit.

3. Почему именно VR?

Создавать собственные миры непередаваемое чувство. Ты придумываешь мир, его логику (или алогичность), настроение, как он будет выглядеть. А потом Потом случается чудо. Ты не просто видишь этот мир в проекции на маленький прямоугольничек 40-дюймового дисплея. Тыоказываешьсявнутри придуманного и созданного тобой мира. Религия говорит, что Бог создал человека по своему образу и подобию? Думаю, нашему создателю доставляет радость видеть, как его дети становятся как и он Творцами. Кто-то творит миры на страницах своих книг. Кто-то дарит жизнь мирам Пандоры и мира Льда и Пламени. А кто-то, подобно Рене Корда из "Нейромансера" Роджера Желязны, создаёт почти реальные, почти осязаемые миры. VR позволяет почувствовать себя творцом, создателем, волшебником, создающим живой мир, в начале которого было Слово (и слово было гейм-дизайн документ).

4. Какие VR-игры вам нравятся?

Когда-то я запоем играла в квесты тогда этим словом назывались не задания в рамках игры, а отдельный класс игр, где основу геймплея составлял нарратив, история, которую тебе нужно разгадать и пройти. Space Quest, Gabriel Knight: Sins of Fathers, Leisure Suit Larry, Secret of Monkey Island, Loom, Torin's Passage, Kyrandia, Neverhood это неполный список игр-приключений, которые сформировали мои геймерские пристрастия. Нарратив, история, в которую ты погружаешься для меня это основное удовольствие от игры. Квесты, перенесённые в VR это уже не просто приключение, которое ты помогаешь пройти персонажу на экране компьютера или мобильника. Это ещё одна жизнь, которую ты проживаешь. Это Storytelling, превратившийся в Storyliving. Из VR-игр для меня стала настоящим открытием Hellblade: Senua's Sacrifice. У игры есть множество недостатков. Это и кошмарный UI, абсолютно несовместимый с VR, и чисто программерские баги, и многое другое. Но замечательная история, прекрасный визуал, абсолютно естественные, реалистичные движения и мимика заставляют забыть обо всех минусах, запоем пройти игру в 3 дня за 27 часов. И ты бежишь в магазин за геймпадом, когда твои пальцы атрофировались от попыток вслепую (VR же) бегать по клавиатуре Буду банальной, но сейчас для меня лучшей VR-игрой стала Half-Life: Alyx. Это очень чисто и качественно сделанный продукт. Alyx определённо подняла планку для VR-игр и в плане графики, и в плане геймплея. Игра не позволяет тебе скучать, надолго застряв на каком-то этапе. Это настоящий шедевр. Неожиданно понравилась игра Wolfenstein: Cyberpilot. Да, у неё размытая графика, она проходится за одно утро. Но увлекательная история, качественное русское озвучание, французский шарм все эти моменты определённо меня покорили. Ещё у меня в фаворитах The Walking Dead: Saints & Sinners и Westworld: Awakening. Но пока они который месяц ждут, когда закончится мой роман с Alyx. Немного разочаровала игра Obduction. Я несколько лет ждала этот тайтл от создателей легендарного M.Y.S.T. (в который я в своё время так и не сыграла). Но слишком пустынный и статичный мир, которому плевать, что ты третью неделю не можешь продвинуться А тебе есть, куда уйти и я ушла в Alyx и Westworld. Когда-нибудь я непременно вернусь в Obduction. Непременно. Когда-нибудь. Наверное

Приятной неожиданностью стало отечественное VR-приключение "Эффект Кесслера". Несколько лет назад оно было разработано для развлекательных VR-площадок, сейчас его можно купить в Steam. Не шедевр, но отличный вариант, чтобы познакомить с VR своих друзей или родственников, ни разу не надевавших шлема.

Но не нарративом единым. Весьма неплоха оказалась VR-версия Angry Birds. А Beat Saber, этот хит всех времён и народов я долгое время презирала за примитивность. Хотя тут скорее всего взыграла ревность, что не я придумала такую простую и популярную игру. В итоге приняла и полюбила. Beat Saber стал первой покупкой для моего Oculus Quest.

5. Как оцениваете нынешнее состояние и будущее VR?

Что касается B2B VR он уверенно занял своё место под солнцем, и в его будущем особых сомнений ни у кого нет. А вот домашний VR много лет постоянно пытаются хоронить. В том, что у бытового, домашнего VR есть будущее, я не сомневаюсь. Есть игроки, для которых важен нарратив. Есть любители крутого визуала. VRжевыявил ещё одну категорию игроков: иммерсионисты те, кому важно погружение в игру. Начав в 2015 активно играть в VR-игры на лучшей на тот момент мобильной VR-платформе Gear VR, я через пару лет обнаружила, что больше не могу в плоскоэкранные игры. Я честно пыталась заставить себя играть в Far Cry 5, в Метро 2033 и бросала, не отыграв и пары дней. Вместо удовольствия от игры на плоском экране я чувствовала недоумение что я делаю? зачем? Даже Armikrog, сиквел любимейшего много лет назад Neverhood, не удержал меня и недели Последний год армиягеймеровдомашнего VR пополнилась владельцами шлемов Oculus Quest. И последние полгода я постоянно встречаю в фейсбучных группах, посвящённых Квесту, изумлённые посты: Я больше не получаю удовольствия от обычных игр! А вы? Да, рынок пока невелик по объёму в сравнении с мобильным или PC-рынком. Но он уверенно растёт. Нет недостатка в качественных VR-играх. Многие американские семьи покупают по 2-3 шлема Oculus Quest и делают полноценные домашние VR-зоны, о которых владельцы отечественных малогабариток и мечтать не могут Полагаю, в ближайшие 2-3 года рост VR-аудитории ускорится, а лет через 5 она будет вполне сравнима с аудиторией игровых консолей.

6. Какие жанры, по-вашему, больше подходят для VR?

Однозначно спортивные и фитнесс-игры. Никакая мобильная или PC-игра не заставит вас потерять столько калорий и пропотеть так, как это сделает Beat Saber или Knockout League. Раньше на этом поле пытались играть Nintendo Wii и Kinect. Теперь их место занял домашний VR.

Социальные VR-приложения только в этом году в VR прошло множество конференций, выставок, концертов, фестивалей: Last Horizon,Laval Virtual 2020, goEast А какие бесплатные концерты в формате 360 проводит МТС! Это же потрясающе находясь на самоизоляции, надеть VR-шлем и два часа зажигать на живом концерте любимой группы!

Даже наш инди-проект Owling? Crowling? Bowling! не оказался в стороне в начале июня в интерьере виртуального готического замка нашей игры прошла выставка картин художника Александра Верстова. Осенью в нашей игре запланирована выставка известного фото-художника.

Полагаю, в ближайшие два-три года появятся полноценные интерактивные фильмы и сериалы, которые превратят нас из пассивных зрителей в реальных участников разворачивающейся истории. Но язык такого нового кинематографа пока лишь предстоит изобрести. Многие приёмы, отлично зарекомендовавшие себя в классическом кинематографе, категорически не годятся для VR. С нетерпением жду революцию, которую VR в сочетании с искусственным интеллектом произведут в нарративном жанре!

Ну и не стоит забывать, какой контент привёл стандарт VHS к мировому господству. Без сомнения, интимный жанр будет всё активнее осваивать VR и послужит локомотивом для создания новых технологических решений, которые сделают погружение в VR реалистичнее и достовернее.

7. Какие сложности возникли при разработке для VR?

Сложностей, увы, пока немало.

• Прежде всего отсутствие отработанных приёмов UX/UI. Пока это сплошной R&D с более или менее удачными находками.

• Специалистов с опытом разработки и продвижения VR-продуктов куда меньше, чем спецов по мобильным играм, так что сформировать команду профессионалов для VR сложнее, чем для мобильной или десктопной игры.

• VR-шлемы девайс пока экзотический, поэтому непросто организовывать и удалённую разработку. В нашей команде VR-шлемы есть только у двоих из 10 разработчиков. Приходится разрабатывать игру так, чтоб она могла работать и в VR, и в десктопном режиме, чтобы каждый из нас мог тестировать игру хоть со шлемом виртуальной реальности, хоть без.

• VR-игрок как правило не сидит за компьютером, а активно двигается на игровой площадке. Если для домашнего пользователя можно ограничиться площадкой 2x2 метра, то площадки для VR-арен могут доходить до нескольких сотен квадратных метров. Дома или в офисном опенспейсе игру для VR-арены не разработать, нужна большая площадка для тестирования хотя бы 10x10 метров.

• У PC VR другие требования к технике нужны довольно мощные компьютеры, а для VR-арен и специализированные устройства. Стоимость оборудования для VR-арены (камеры Optitrack, компьютеры-ранцы, шлемы и др.) может достигать многих миллионов долларов.

8. Чем отличается разработка для VR от обычного геймдева? Другие специалисты, методология?

В VR необходимо уделять особенное внимание тем моментам, которые не особенно критичны для десктопной или мобильной игры. В обычной игре, делая кат-сцену, достаточно создать только тот участок игрового мира, который видит камера. В виртуальной реальности игрок может крутить головой во все стороны, поэтому для кат-сцены приходится создавать всё окружение вокруг игрока, а это в разы больше работы. Также необходимо принимать во внимание, что игрок видит сцену не в виде плоской проекции, а в стерео. При портировании десктопных игр в VR необходимо это учитывать. В своё время мне очень хвалили Skyrim, и я с нетерпением ждала выхода VR-версии этой игры. Но в самом начале игры всё впечатление от неё мне испортил спрыгивающий с телеги пленник.Вместо того, чтобы стоять на полу телеги, он висел сантиметрах в 15 над ним. Понятно, что в PC-версии это было незаметно ступни пленника отрисовывались поверх днища телеги, и у зрителя, наблюдающего эту сцену на экране монитора, было впечатление, что персонаж надёжно стоит досках. Но в VR я отчётливо видела эту непреднамеренную левитацию , что он не стоит, а висит. Моё "погружение" в игровой мир было полностью разрушено. Поиграв ещё минут 10, я выключила игру и больше к ней не возвращалась.

Передвижение в виртуальном мире особая тема. Из-за того, что ощущения движения тела игрока не совпадают с тем перемещением, которое он видит в VR, возникает укачивание как при морской болезни на борту корабля. Путём проб и ошибок VR-разработчики изобрели разнообразные способы, позволяющие в той или иной степени успешно бороться с укачиванием. Но пока морская болезнь всё ещё остаётся серьёзной проблемой при приложений виртуальной реальности.

Для снижения укачивания в VR есть разные трюки и хитрости. В первой версии моей игры Dragonsnake VR игрок превращался в огнедышащего дракона. Но поначалу многих игроков довольно сильно укачивало. В итоге сделали игрока наездником, оседлавшим дракона и голова дракона, которую постоянно видит перед собой игрок, стала визуальным стабилизатором. Благодаря этому приёму укачивание снизилось процентов на 30. Но пришлось адаптировать геймплей и сюжет игры к новой роли главного героя.

Не каждый игрок способен провести в виртуальной реальности дольше 15 минут (хотя я легко могу проводить в VR по 8-9 часов непрерывно). Это тоже приходится учитывать при планировании игровой сессии.

Лично мне очень не хватает возможности работать с VR-контентом непосредственно в виртуальной реальности. Сейчас наконец стали появляться подобные инструменты. Unreal Engine позволяет работать со сценой, одев VR-шлем. Из средств 3D-моделлинга стоит обратить внимание на Gravity Sketch. Но, к сожалению, пока не появилось решений для полноценной разработки логики приложения в VR. Есть попытки перенести в VR редактирование исходных текстов, но это определённо не самая удачная идея. Более интересны эксперименты с визуальным программированием в VR соединяя между собой визуальные блоки (blueprints), разработчик задаёт логику виртуального мира. Увы, простое копирование способа разработки с "плоского экрана" в виртуальную реальность обречено на неудачу. Для разработки программной логики непосредственно в виртуальной реальности нужны новые идеи и решения, "заточенные" именно под VR.

Интересно, что с недавнего времени мы перенесли наши еженедельные брифинги по игре из Skype в саму игру. Запустив её, мы в облике студентов магической академии собираемся в старинном замке, где разворачивается история Owling Crowling Bowling. Кто-то надев VR-шлем, кто-то сидя перед экраном своего компьютера. Теперь во время совещаний мы можем подойти к конкретной точке игровой локации, обсудить, что не так с текстурой или освещением буквально показать пальцем, что требуется доработать. До карантина мы собирались в кафе, чтобы протестировать физику нашей игры. Теперь мы тестируем её непосредственно в VR. Ну и, конечно, непередаваемое ощущение, когда ты не просто делаешь игру, а создаёшь мир, внутри которого можешь оказатьсявнутри, а не смотреть на его плоскую проекцию через окошечко дисплея!

9. Как оцениваете состояние образования по геймдеву вообще и по VR в частности?

За последние годы появилось множество курсов, помогающих "войти" в геймдев XYZ School, Нетология и множество других. Я давно работаю в игровой индустрии, и тем не менее, несколько лет назад прошла курс "Менеджмент игровых проектов" в Высшей Школе Экономики. Мне захотелось взглянуть на процесс разработки и продвижения игр не только с программерской позиции, но и с точки зрения маркетолога, геймдизайнера, биздева и др. Курс оставил самые яркие впечатления! Теперь мне гораздо проще находить общий язык с коллегами по проекту. Появились новые профессиональные знакомства. Что касается обучения VR-разработке, возможно и есть хорошие очные курсы, но я о таких не знаю. Зато есть немало обучающих онлайн-ресурсов. У Вышки был отличный крус VR-разработки на Unreal Engine, но он был закрыт из-за недавней смерти Станислава Маеренко, одного из преподавателей курся. Стоит изучить уроки и туториалы на ресурсах Unity 3D и Unreal Engine. Весьма неплохой цикл лекций от лондонского университета (University of London) по созданию VR-персонажей я нашла на Coursera. Ну и на YouTube огромнейшее количество разнообразных мануалов и туториалов самого разного качества. Хотя по моему глубокому убеждению, и создание контента виртуальной реальности, и обучение VR-разработке со временем переместятся в виртуальную реальность ведь это наиболее естественная среда для работы с виртуальной реальностью.

Вот такая вышла беседа. Мог бы повториться, о чём говорили, но вы ведь это уже видели. Спасибо, что читаете. Будем популяризировать геймдев в месте. Глядишь, и станет он у нас гордым и классным.

Артур Кларк как-то сказал, что развитая наука неотличима от магии. Отчасти нам повезло жить в то время, когда в этом утверждении можно убедиться наглядно. И если большинство технологий предлагают нам модифицировать внешние атрибуты (смартфоны, планшеты, умные гаджеты мы носим на теле),то нейропротезы куда глубже проникают в наш мозг, принимая на себя часть задач. В таком случае и возникает вопрос: где заканчивается личность и начинается человек?

Современное нейропротезирование

Тренд нейропротезов не раз поднимался разными институтами, приоритетно военными. Вести боевые действия, при этом не рискуя боевыми единицами дорогого стоит. Также игровая индустрия подтолкнула нейроинтерфесы, хоть и не инвазивные. Однако. Рынок медицины предлагает куда более глубокое вмешательство в работу мозга, с новыми возможностями для каждого пациента.

На что способны нейропротезы

Нейропротезы призваны восстановить связи между мозгом и мышцами человека. Или же предложить человеку достойную альтернативу. Рассмотрим пример известных киборгов современности: Найджел Экланд и Хью Герр. В первом случае речь идет о человеке, который потерял конечность из-за несчастного случая на производстве. Теперь, вместо руки он пользуется кибер-протезом, который практически ничем не отличается от родной конечности. Кроме как невозможности передавать тактильные ощущения. Также есть и проблема обратной связи.

Проблема обратной связи это то, что Вы, дорогой друг, чувствуете в -20, когда в толстых перчатках пытаетесь найти мелочь в кармане. Вы чувствуете свою руку, Вы знаете, что она беспрекословно выполняет Ваши команды. Но Вы понятия не имеете, нащупали ли Вы заветную монету или нет. Точно так же кибернетический протез без обратной связи буквально не способен передать тактильное ощущение. Вернее сказать - не был способен.

Хью Герр - альпинист, который в 16 лет потерял обе ноги из-за обморожения. Травма стала поводом для того, чтобы не просто создать себе лучшие ноги, но и подарить такую возможность другим людям. Как случайной жертве теракта на Бостонском Марафоне, так и военным, которые теперь могут переносить грузы в 40-60 кг с такой же легкостью, как и без нагрузки.

Вот только особенность протезов Хью Герра в том, что они напрямую коннектятся к оставшейся нервной ткани человека. При ампутации, в бедре остаются нервные окончания, которые никоим образом не задействуются. Подключив к ним электроды становится возможно не просто передавать импульс от мозга к протезу, но и передавать тактильное ощущение от конечности к мозгу.

Разумеется, для грамотной работы необходимы и процессоры, которые обрабатывают и интерпретируют сигналы как от мозга к протезу, так и в обратном порядке. Но достаточно ли теперь только этого? Отнюдь, ведь можно пойти куда глубже.

Илон Маск (а куда же без него), известен своим участием в создании проекта Нейролинк. Те самые заветные электроды, которые интегрируются в мозг, и занимаются передачей сигналов напрямую из храма сознания на внешние передатчики. И если описанные выше протезы способны восстановить человеку конечность, то нейропротезы дают возможность полностью парализованному человеку общаться, печатать, играть в игры. Подобные разработки не новы. К примеру, квадриплегия успешно может устраниться, если вооружить человека соответствующими электродами и парой внешних рук-протезов. Такой человек, используя силу мозга, сможет не только шевелить конечностями, но и накормить себя бисквитом.

Особенности пропускных возможностей

Сегодня бутылочным горлышком нейроинтерфейсов остается пропускная способность. Грубо говоря, это количество данных, которые мы можем пропустить через интерфейс. Сейчас проблема упирается в отторгаемость организмом всего, что мы пытаемся вживить в него. К примеру, воткнуть электрод в мозг - решаемая задача. Но через 6-12-24 месяца этот электрод перестанет работать, затянутый слоем фагоцитов.

Чтобы этого не произошло, стоит уточнить несколько важных нюансов:

• Решить проблему отторгаемости. В целом, проводники из золота уже помогают решить эту задачу. Но здесь скорее сам организм не так агрессивно отторгает их, нежели полупроводники настолько хороши;

• Проблема интеграции. Нейрохирурги могут провести проводники в нужные участки мозга, но это требует операции в несколько часов. Илон Маск предложил решение. В его видении, такая процедура должны быть как поход к стоматологу. И в рамках проекта Neuralink ему удалось это сделать. Робот, созданный компанией Woke Studios специально предназначен для того, чтобы проводить тонкие операции по подсаживанию в мозг проводников;

• Проблема пропускного канала. Вживить в мозг электрод это не проблема. Такие решения использовались для лечения эпилепсии. Вот только самые передовые клиники использовали десяток проводников. Лабораторные эксперименты поднимали планку до сотни. Но только фаундеры Neuralink замахнулись на 1000.

Что это дает нам? Если человека парализует ниже шеи, то сейчас это приговор. А вот через 2-5 лет человек сможет не только выживать, но и жить. Нейроинтерфейс, который сообщается с мозгом через 1000 электродов, позволяет человеку вести активную жизнь на социальных платформах. Печатать, общаться, решать задачи. Быть полезным для себя и для общества.

Точка отсчета. Что обещает мир будущего

Я не футуролог. Просто смотрю и делаю выводы. Вы, дорогой друг, можете сделать то же самое в комментариях. Поделитесь своим мнением на этот счет. Я же полагаю, что это только промежуточная ступень в мир, где можно будет жить в сети и оффлайне одновременно. И к этому ведут следующие предпосылки:

1. Рост вычислительных мощностей. Экстраполяция Мура постоянно умирает и возрождается. А вычислительные мощности становятся все доступнее. Не говоря уже о системах связи, подчиняющихся закону Метклафа;

2. Есть мнение, что технологии покушаются на наше сознание. Это не совсем так. Наше сознание изменяется информационными паттернами. Технологии это только тонкие инструменты, предлагающие нам новые возможности в обмен на новые обязанности;

3. Не будет такой утрированной картины как в Матрице, да и про мыслепреступления рано заикаться. Точнее всего ситуация обрисована в книге Дэйва Эггерса Сфера. Фильм с Гермионой не рекомендую, они извратили концовку до невозможности! Зато книга наглядно отображает как будет использована такая технология в руках эффективных менеджеров.

С предпосылками разобрались, переходим к результатам.

Полноценный нейроинтерфейс и риски для сознания

Буквально 20 лет назад смартфоны казались чем-то совершенно невероятным. Просто представьте, что нас ждет в следующие 20 лет! И самое главное, не будьте догматичными. Сценарии любого фильма, книги или игры предлагают несколько утрированные решения. Каким же может быть полноценный нейроинтерфейс в действительности?

Энергоэффективный, не отторгаемый, гибко синхронизирующийся с реальностью. А вот как быть по поводу угрозы хакинга и дистанционного захвата сознания? Ведь уже были прецеденты с кардиостимуляторами, которые можно было удаленно захватывать, убивая носителя. Стоит ли ожидать такого от нейроинтерфейса?

Маловероятно. Безусловно, наше сознание это гибкая система интерпретации мира. Мы охотно принимаем одни паттерны и убеждения, в то же время отказываясь от других. Вот только изменения сознания обуславливает не электрод, воткнутый в мозг, а контент, который мы потребляем. И если электрод не способен стимулировать нейроны, то можно было бы выдохнуть

Но это не совсем так. Современные нейропротезы предусматривают не только передачу информации, а и легкую стимуляцию нейронов, поощряя их рост. Конечно, протоколы безопасности будут защищать мозг от перегрузок, но даже эта проблема условно абстрактна. Попытка описать угрозы нейропротезирования схожа с кризисом сточных каналов Лондона в конце позапрошлого века. Из-за избытка лошадей город буквально утопал в навозе. А буквально через несколько десятилетий стены домов сотрясались от рокота двигателей автомобилей.

Суть проблемы нейропротезирования останется прежней. Отторгаемость, адаптивность, уязвимость для людей со злыми умыслами. И, вполне может быть, окупаемость таких ментальных сетей будет выстаиваться не от принципов рекламы, а от личной приверженности людей тем делам, которыми они занимаются. Или тем идеологиям, которые заказывают зрелища. Напишите, пожалуйста, в комментарии, что Вы думаете по этому поводу?

Deus Ex. Из человека в бога?

Наличие скальпеля не сделает Вас хирургом. Сами по себе нейроинтерфейсы предлагают только новые возможности для тех, кто знает, как их использовать. Можно и с самого навороченного ПК смотреть мемы, майнить или писать продающие текста. Я не хочу превозносить роль нейроинтерфейсов, но она у них не сказать, что скромная.

Пока что, компании патентуют новые решения, предлагают дополненную реальность или создают решения для людей с инвалидностью. Как мне кажется, рассвет эры нейроинтерфейсов придется на вторую половину этого десятилетия. Впрочем, наши смартфоны, часы, ноутбуки и планшеты тоже можно считать в какой-то мере нейроинтерфейсами, только с очень низкой пропускной способностью и посредниками в виде наших глаз и пальцев.

Однако, все решают социальные связи. Сознание всего человечества, как единого существа открывает перед нами новые возможности. Разумеется, для этого недостаточно только технологии, необходима еще и подходящая идеология. Что ж, возможно, рано или поздно, мы придем к такому результату. Совершенствуя не только кибернетические инструменты, но и тонкий алгоритм наших душ.

Хорошего Вам вечера, друзья! Надеюсь, до встречи!

Казалось бы, в 2020 году каждая индустрия должна быть тесно связана с технологиями. Но пока остается много сфер, в которых не хватает и IT-стартапов, и взгляда IT-специалистов. Этим отраслям, может быть, и не страшна технологическая революция они просто никуда не денутся. Но им и тем, кто в них работает, давно пора меняться.

1. Образование

В российских школах, особенно в общеобразовательных, пока нет системного подхода к IT. Это стало еще более заметно сейчас, когда школьники то уходят на дистанционное обучение, то возвращаются с него, а учителям приходится с трудом разбираться в нехитрых технологиях видеосвязи.

В школах и сисадминством, и ведением отчетов, и психологическими тестированиями занимаются преподаватели информатики. Нам не хватает специалистов, которые будут заниматься только этим, и ставок на них нет, - говорит Сергей Адамский, учитель информатики в пензенской школе. - Если бы таких специалистов было достаточно, то у нас было бы больше времени, чтобы готовить более красочные уроки с более актуальным контентом. Сейчас это невозможно.

Но эта проблема касается не только преподавателей информатики, она затрагивает все аспекты работы школ: их сайты, безопасность Wi-Fi сетей, планы перехода на дистанционку и обратно и так далее. А надеяться на массовое внедрение совсем интересных вещей вроде AR и VR-технологий пока стоит скорее в сферах обучения специалистов и в платном образовании, чем в школах. Школа, с которой я сотрудничаю, получила грант в рамках нацпроекта Цифровая экономика, и теперь они сами создают контент для школьников, например, экскурсии и 3D-модели комплектующих компьютера. Но в целом пока в русском сегменте мало образовательного контента под AR и VR, - говорит Сергей.

Если бы такой комплексный и инновационный подход к обучению стал как можно более массовым, это не только сделало бы школьные будни интереснее, но, может быть, еще и дало бы учителям и школьникам больше шансов наконец-то найти общий язык.

2. Сельское хозяйство и пищевая промышленность

В России в сельском хозяйстве и производстве продуктов сейчас не хватает не только IT-специалистов, но и квалифицированных специалистов вообще. Сложность с нехваткой кадров связана с тем, что экспертиза в этом направлении пока только наращивается, а инициатива по внедрению инноваций и разработке IT-решений исходит извне - обычно от IT-интеграторов, крупных производителей семян и средств защиты растений, крупных агрохолдингов.

Средний и малый бизнес не может позволить себе такие дорогостоящие технологии. К тому же сама отрасль достаточно консервативна: не все аграрии в курсе, как IT-решения могут помочь им увеличить производительность. Они пока не видят в этом большого смысла и не очень хотят вкладываться в рискованные, с них точки зрения, инновации, - говорит Юлия Фурсова, старший консультант направления Chemicals в Hays.

Это особенно неприятно, учитывая, как много интересных стартапов в последнее время появляется именно в этих отраслях за рубежом: от автономных роботов, собирающих урожай, до сенсоров, которые могут передавать информацию о состоянии почвы, и систем, которые позволяют делать точные климатические прогнозы.

Тем не менее, сейчас, в условиях пандемии, российские аграрии все же начали плавно переходить к внедрению инноваций: например, к продажам через электронные площадки, что было непросто представить еще в 2019 году. Поэтому в обозримом будущем специалисты, чьи навыки необходимы для цифровой трансформации, будут в большей степени востребованы и в сельскохозяйственных компаниях.

3. Медицина

О цифровизации в медицине говорят очень много и очень давно. Понятно, что в сфере, которая целиком построена на науке, нельзя не поспевать за развитием технологий. Это касается и фармацевтики, и усовершенствования медицинского ПО, и разработки совершенно новых видов оборудования. Для всего этого нужно огромное количество специалистов, которые могли бы работать на стыке IT и медицины.

Конечно, прорывные технологии это очень важно. Но даже в более простых и привычных с технологической точки зрения вещах будь то обеспечение безопасности данных пациентов или разработка сервисов телемедицины можно было бы продвигаться гораздо быстрее. Здесь тоже не помешало бы не просто больше специалистов с технологическими знаниями, а еще и хорошее понимание (со стороны медиков-руководителей), насколько они действительно важны.

Недостаток понимания работает в обе стороны: yедостаток понимания работает вобе стороны: например, втех телемедицинских проектах, которые сейчас активно развивают IT-сервисы (отСбербанка доЯндекса), совсем непомешалобы уделять больше внимания реалиям работы врачей ипсихологическим тонкости работы спациентами наприемах, считает хирург и сооснователь сервиса ПроДокторов Сергей Федосов. Это бы позволило сделать такие сервисы гораздо более полезными и удобными для врачей и пациентов.

4. Журналистика

Иногда найти нужную информацию среди десятков перепечаток одной и той же новости оказывается так трудно, что чувствуешь себя детективом. Многим СМИ приходится пересказывать своими словами тексты на горячие темы, чтобы привлекать внимание пользователя и не терять свои показатели читаемости. Увеличивать же посещаемость за счет ценных и по-настоящему интересных материалов, в которых было бы много новой информации, для некоторых СМИ оказывается слишком трудоемко.

Компетенции в сфере IT могут серьезно изменить эту ситуацию. Умение и рассказывать истории, и использовать IT-инструменты позволяет журналистам делать свою работу гораздо точнее и эффективнее. В XXI веке умение писать код для журналиста не менее важно, чем умение писать текст, - рассказывает Роман Анин из Важных историй. Раньше я часто старался проверять крупнейшие госконтракты и их получателей, чтобы выявить из них фирмы-однодневки и фирмы, связанные с чиновниками. На это тратилась куча времени и это не получалось сделать систематически, а значит, я постоянно что-то упускал. Но после того, как я написал код, который делает анализ за меня, я не упускаю ничего и трачу на это в тысячу раз меньше времени.

Навыки программирования и другие понятия об IT-инструментарии чтобы уметь хотя бы поставить задание IT профессионалу позволяют журналистам не только быть точнее, не упускать важную информацию и экономить время, но и создавать интерактивные истории, данные в которых будут обновляться в режиме реального времени (например, с результатами выборов). А это гораздо интереснее и полезнее для читателя, чем статьи, которые стремительно устаревают.

5. Ритейл

2020 год показал, что электронная торговля не просто удобна для покупателей - иногда она бывает буквально жизненно важна. В первом полугодии доля интернет-торговли на российском рынке впервые составила почти 11%, приблизившись к показателям, например, США (где она составила около 14%). Ритейл-сети, интернет-магазины и сервисы доставки столкнулись с необходимостью обрабатывать гораздо большие объемы заказов, чем раньше, и не все оказались к этому готовы. У крупных компаний возрос спрос на специалистов практически всех специальностей, связанных с IT.

Если в крупных городах магазинам и службам доставки удалось предоставить покупателям практически все современные технические возможности интернет-торговли - выбрать оптимальный способ оплаты, получить товар без контакта с курьером и так далее - то в городах поменьше таких удобных сервисов пока что недостает, особенно если речь идет не о крупнейших сетях и сервисах, а о местном бизнесе.

Причем это касается не только российских регионов, но и заграницы: тот уровень удобства сервиса, к которому привыкли москвичи, например, совсем не характерен для Германии или для многих других стран, где, казалось бы, атмосфера для стартапов гораздо более дружелюбная, а потребитель более требовательный.

Поэтому ритейл это одна из тех перспективных сфер, где у стартаперов и больших компаний, которые готовы нанимать хороших разработчиков, есть еще много регионов и рынков, где они могли бы развернуться в своих экспериментах.

А как вы считаете, в каких сферах серьезно не хватает руководителей и сотрудников, которые разбирались бы в IT?

Через 30 лет большинство из нас будут здоровы, рассказал нам один из оптимистов медицинский отрасли. Но для этого через 20 лет станут доступны индивидуальные средства: буквально личные таблетки, персональные протезы, курсы, диеты, рекомендации. Но перед этим за 10 лет вся сфера здравоохранения должна полностью перестроиться и стать персонифицированной по фокусу и превентивной по подходу. А чтобы это произошло, уже вчера одни создали рекомендательные ИИ-платформы, другие запустили телемедицинские стартапы, третьи внедрили электронные досье и построили гибридные вычислительные системы. О том, что происходит в отрасли сегодня и как она будет развиваться в ближайшие годы, мы побеседовали с экспертами известными врачами, руководителями государственных и коммерческих клиник и фармацевтических компаний.

В идеале медицина должна не лечить болезни, а поддерживать здоровье эту мысль высказали многие наши собеседники. Этот подход требует перестройки всех процессов всей отрасли и всех участников, кстати, включая пациентов, многие из которых до сих пор ставят себе диагноз через интернет-поисковик, а в клинику обращаются тогда, когда заболевания переходят в тяжелую стадию. И хорошо бы, если бы советы давал специальный программный ассистент, созданный медицинскими специалистами для первичной диагностики. Это было бы абсолютно современно. Но пока происходит не так.

Вопреки расхожему мнению о том, что учить и лечить может любой, когда дело касается серьезных болезней, мы пытаемся найти самого лучшего, квалифицированного врача и надеемся только на его опыт и экспертизу. Трансформация сферы здравоохранения для огромного количества людей станет трансформацией жизни. Основная идея грядущих изменений в медицине предупреждение заболеваний и поддержание здоровья.

Трансформация уже идет

Пациенты приходят в медучреждение не из-за того, что у него самая продвинутая информационная система, замечаетВладислав Сараджев, заместитель директора МКНЦ им. А.С. Логинова. Они идут к врачам. И если нам удается с помощью технологий сделать так, чтобы врачу было удобнее работать то и пациенты будут довольны.

Инновации внедряются не ради инноваций. Но прошедший год показал, что при возникновении эпидемических ситуаций, нагрузка на каждого врача серьезно увеличивается, поэтому очень важно оказать серьезную технологическую поддержку специалистам. Невозможно одномоментно увеличить число людей, работающих в системе здравоохранения, но можно масштабировать технологии. Новые решения снимают с медиков рутинные операции и становятся помощниками в анализе результатов исследований и в принятии решений. Новые гаджеты, системы мониторинга и анализа вскоре упростят промежуточный контроль здоровья, оставив врачам те случаи, когда действительно требуется их экспертиза. Современные ИТ-инструменты позволяют эффективнее работать с имеющимися данными и предоставить пациентам доступ к необходимым ресурсам и полезной информации. Благодаря технологиям мы уже выигрываем время, необходимое для спасения жизни людей.

Директор Ассоциации разработчиков и пользователей искусственного интеллекта в медицинеБорис Зингерман, рассказал нам, что уже сейчас сложно переоценить роль ИИ в медицине: Объем информации, с которой приходится иметь дело врачу как в повседневной практике, так и при анализе научных материалов огромен. Например, если раньше рентгенологу приходилось смотреть одну-две рентгенограммы, в фас и в профиль, то сегодня компьютерная томограмма это 500, 1000 снимков. В период ковида у всех на слуху истории с тем, что ИИ очень хорошо обрабатывает снимки с КТ легких: точно определяет стадию развития заболевания, степень поражения. Тем самым эффективность врача-рентгенолога, который должен просматривать десятки и сотни таких снимков ежедневно, повышается в 2-3 раза.

Мы живем в эпоху информационного всплеска в медицине. Если 20 лет назад отрасль не рассматривалась как область для масштабного применения компьютерных вычислений, то уже 10 лет назадпо некоторым оценкамв системе здравоохранения генерировалось 30% мировых данных в цифровой форме. Сегодня постоянно появляются новые медицинские данные, по объемам сопоставимые со всеми сериалами, которые штампует индустрия развлечений.

Большинство экспертов считают, что именно здравоохранение является той областью, где информационные технологии, цифровая трансформация способны дать максимально ощутимые позитивные эффекты для общества.

Задачи и тренды трансформации

Здравоохранение стратегически важная для Microsoft индустрия, отметилаЮлия Майорова, директор департамента по работе с малым, средним и корпоративным бизнесом. Мы следим за тенденциями развития отрасли, видим усилия по созданию системы поддержки здоровья граждан, изменение парадигмы взаимоотношений врач-пациент, которая потребует серьезной перестройки процессов, повышение их прозрачности, а также формирование новых знаний и навыков у специалистов. Мы видим свою роль в том, чтобы поддерживать эти тенденции, способствовать их реализации, помогать оптимизации и развитию системы здравоохранения и, таким образом, улучшать качество жизни и здоровья людей.

Microsoft работает с более чем 160 тысячами организаций системы здравоохранения в 140 странах и отмечает четыре основных направления развития отрасли:

• Пациентоцентричность (комплексное управление здоровьем человека вместо обращения к отдельным врачам).

• Датацентричность (аналитические инструменты для принятия обоснованных решений на основе больших массивов данных).

• Превентивность (увеличение роли профилактики, раннего выявления заболеваний и создание условий для поддержания здорового образа жизни).

• Ценностно-ориентированное здравоохранение (распространение моделей, стимулирующих медицинские организации максимизировать соотношение между затратами на оказание медицинских услуг и достигнутыми результатами).

Уже совсем скоро наиболее прочное положение на рынке займут те медицинские организации, которые будут способны работать с данными о пациентах и о собственной работе и формировать более персонализированные предложения. Они окажутся готовы к любым популяционным и технологическим сдвигам.

Совместно с партнерами и заказчиками во всем мире и в России Microsoft работает над созданием решений, способствующих трансформации здравоохранения, обеспечивающих технологические возможности по поддержанию эффективности бизнес-процессов, глубокому анализу структурированных и неструктурированных данных, что позволяет делать ценные выводы как на основе такого анализа информации. Среди решений, созданных российскими компаниями, можно отметить следующие примеры:

• омниканальная платформа для автоматизации коммуникаций, включая автоматизацию записи на прием к специалисту,

• консолидированная аналитика объединенных данных из разных медицинских информационных систем,

• платформа для телемедицины с ИИ-инструментами и когнитивными сервисами,

• приложение, которое сокращает время от вызова до оказания помощи пациентам с подозрением на инсульт,

• комплекс для бесконтактной диагностики и реабилитации,

• программный сервис для обработки геномных данных, ориентированный на молекулярную онкологию.

Новое решение от Microsoft создает настоящее ощущение присутствия, стирая границы, и открывает новые возможности для совместной работы и использования в бизнесе.

В рамках глобальной конференции Ignite 2021 былапредставленановая платформа смешанной реальности Miсrosoft Mesh. Алекс Кипман эксперт Microsoft в области технологий смешанной реальности и искусственного интеллекта, ведущий разработчик HoloLens презентовал ее во время иммерсивного выступления и рассказал про сценарии ее использования в совместной работе.

Microsoft Mesh позволяет создать у пользователей полное ощущение присутствия. Например, у людей создается впечатление, что они в одной комнате, даже когда они находятся на разных континентах. Пользователи могут взаимодействовать с 3D-контентом или друг с другом через приложения с поддержкой Mesh на любой платформе или устройстве. С помощью Mesh можно организовать так называемую холопортацию, передавая фотореалистичное изображение в смешанной реальности, а также создавать виртуальные аватары, с помощью которых можно выражать эмоции.

Базовым сценарием использования Mesh может быть совместное виртуальное присутствие в переговорной комнате, к примеру, в Teams. Но это только начало как и все продукты Microsoft, сама платформа станет основой для формирования экосистемы приложений, которые будут использовать данную технологию. Благодаря Microsoft Mesh туристические компании смогут передавать опыт виртуального путешествия, архитектурные бюро проектировать здания, создавая их виртуальную модель, а в производственном цехе удаленный эксперт сможет работать виртуально рядом со своим коллегой. Или же, как продемонстрировал в рамках конференции создавший голографическую лабораторию партнер MicrosoftOcean Xвместе с режиссером Джеймсом Кэмероном, платформа даст возможность ученым сотрудничать из любой точки мира, совместно делая новые открытия. Также свой сценарий использования Mesh продемонстрировала компанияNiantic(создатель Pokmon GO), представив демо Pokmon GO с использованием HoloLens 2.

Платформа Mesh будет доступна на различных устройствах, в том числе HoloLens 2, а также на большинстве гарнитур виртуальной реальности, планшетах, смартфонах и ПК. Предварительный просмотр приложения Microsoft Mesh для HoloLens 2 будет доступен с сегодняшнего дня, наряду с предварительной версиейAltspaceVR, в которую включена поддержка Mesh. В будущем Microsoft намерена интегрировать Mesh, созданную на основе облака Microsoft Azure, с Teams и Dynamics 365 и предлагает партнерам активно участвовать в развитии данной платформы, чтобы совместными усилиями создавать новые решения на базе технологий смешанной реальности для огромного количества сценариев использования.

Более подробная информация о Microsoft Mesh доступна вблоге.

Технология дополненной реальности дает музеям и художественным галереям весомые преимущества, если ее возможности использовать с четко продуманным планом. В частности, с помощью AR-технологии у посетителей появится возможность расширенного взаимодействия с музейными экспонатами и картинами.

Рассмотрим 7 вариантов применения дополненной реальности на примерах музеев и художественных галереей по всему миру. После прочтения вы сможете решить, какая идея подходит именно вам.

1. Дополните коллекцию известными произведениями искусства

Любой музей желает, чтобы в его стенах находились всемирно известные полотна и другие экспонаты. Однако это ограничено отсутствием бюджета. В ход можно пустить креативные идеи. Количество и качество идей зависит от уровня понимания, как использовать уже имеющиеся финансы.

С появлением цифровых технологий это больше не является проблемой: дополненная реальность способна воплотить в жизнь любые идеи даже с ограниченным бюджетом.

В качестве примера рассмотрим проект Латвийского национального художественного музея. В его основе лежит идея воплощения произведений искусства известного латвийского коллекционера в художественной галерее с использованием цифровых технологий. Благодаря AR каждая картина была преобразована в цифровой формат.

Выставка представляла собой несколько увеличенных в размере изображений QR-кодов. Отсканировав один из них, посетители могли детально изучить известные произведения искусства с помощью смартфонов и планшетов.

Ещё один вариант: сотрудничество с художниками для создания эксклюзивной AR-выставки, которая дополнит уже имеющуюся коллекцию. В настоящее время многие художники занимаются цифровым искусством и создают собственные приложения, которые также можно включить в музейную коллекцию. Например, автор приложения SAN.app, используя технологию GPS, размещает свои работы по всему миру.

Таким образом, можно обратиться к талантливым цифровым художникам, которые будут проводить различные AR-выставки в вашем музее.

2. Дайте посетителям возможность самостоятельно познакомиться с коллекцией

На художественных выставках зачастую рядом с экспонатом расположено только имя автора и название. Посетителю приходится самостоятельно интерпретировать произведение и понимать его замысел. Несмотря на наличие экскурсовода, который может рассказать историю любого экспоната, посетителям чаще нравится делать это самостоятельно.

Дополненная реальность дает возможность знакомиться с произведениями искусства в своем собственном темпе. Используя AR-приложения, посетители детальнее изучают интересующие их выставки и произведения в удобное для них время и порядке.

3. Повышайте качество экскурсий с помощью AR-технологии

Речь идет не о замене людей технологиями, а скорее о положительном влиянии технологий на ход экскурсии.

Для многих экскурсии с гидом это возможность пообщаться с другим человеком и задать интересующие вопросы. Однако, пытаясь привлечь в музеи и галереи разные поколения, стоит рассмотреть возможность использования новых технологий. Например, дополненная реальность позволит оживить экскурсию и раскрыть потенциал гида.

4. Сделайте ваш музей лучшим в своем роде

Особое внимание посетителей привлекают музеи, работающие в узкой тематике. Например, музей шоколада, музей мостов, железнодорожный музей, охотничий музей, музей определенной сферы промышленности. В отличие от классических музеев, они привлекают более узкую и мотивированную аудиторию. Такие посетители по-настоящему оценят возможность получить больше информации об интересующем экспонате.

В частности, в Рижском автомобильном музее дополненная реальность используется для демонстрации принципа работы автомобилей прошлой эпохи. Несмотря на то, что такие экспонаты нельзя разместить в обычном месте, он привлекает много посетителей, которые проявляют большой интерес к глубокому изучению техники.

5. Создайте виртуальный AR-портал к музею

В качестве иллюстрации можно рассмотреть проект the Sunshine Aquarium в Токио. Его суть заключается в следующем: путь к аквариуму оснащен системой дополненной реальности. Туристы не просто посещают аквариум, а получают незабываемые впечатления от AR-путешествия еще на подходе к нему.

На этом пути туристы встречают пингвинов, созданных с помощью AR-технологии и GPS. На протяжении всего маршрута интерактивные животные выступают в качестве гидов.

Создание AR-приложений на основе GPS требует значительных издержек и тщательной работы над их продвижением и ознакомлением с ними посетителей. Это особенно актуально для мегаполисов, основные потоки посетителей в которых формируются благодаря туристам.

Отличной альтернативой могут стать приглашения, рекламные буклеты и входные билеты, в которые интегрированы AR-технологии. С их помощью можно подробно продемонстрировать коллекцию музея. Так у посетителей будет реальный опыт работы с AR еще до прихода в музей.

Следующий способ привлечения посетителей в музей размещение выставки или AR-портала в музей в общественном месте, популярном среди туристов. Чем популярнее место, тем больше людей узнает о музее. Посредством AR-технологий туристы могли бы детально ознакомиться с коллекцией музея и приобрести билеты на выставку. Захватывающий опыт работы с AR надолго запомнится и простимулирует людей прийти в музей.

6. Используйте AR-зеркала

Зеркала дополненной реальности это отличная платформа для музеев: посетителям не понадобятся гаджеты для получения информации, а значит, можно будет привлечь больше людей. С помощью AR-зеркал возможно организовать взаимодействие с экспонатами в самом музее и за его пределами. Показательным примером могут служить динозавры, воссозданные с помощью AR-технологий в Парке Юрского периода.

Основная идея волшебного зеркала заключается в возможности посетителей стать участниками исторического события или картины. Такая интеграция впоследствии может стать вирусной и очень популярной, как в случае с успехом Парка Юрского периода.

Поскольку технология может обойтись дорого, при разработке идеи необходимо сконцентрироваться на увеличении степени вовлеченности аудитории музея. Это может быть реализовано в создании исторических реконструкций, футуристических обстановок, разработки аутентичного фона картины или воссоздания вымышленных персонажей или знаменитостей, с которыми посетитель сможет взаимодействовать.

7. Создайте сувениры с AR-эффектом, чтобы посетители захотели вернуться

Обычно в конце экскурсии посетители могут купить копии или миниатюры знаменитых произведений искусства. Именно в них стоит интегрировать технологию дополненной реальности. Например, посредством AR можно передать дополнительную информацию о коллекции, к которой принадлежит экспонат, или подвести итог о посещении музея, показав короткое видео. Такие сувениры несут с собой дополнительную ценность.

Все вышеперечисленные способы использования AR-технологий потенциально помогают музею привлечь новых посетителей и предполагают эффект глубокого погружения.

Тем не менее, каждый музей, определившись со своими целями, должен самостоятельно решить, какую конкретную идею ему следует реализовать.

У кого в руках технологии - тот владеем миром. Как минимум, может им управлять. Но нам нужно еще меньше - найти путь к покупателям и с каждым днем продавать все больше товаров. Тут есть два варианта: либо рынок развивается так, что технологии становятся его неотъемлемой частью, либо продавцы и производители сами стимулируют использование технологий для повышения продаж. При последнем сценарии, рынок подтянется сам.

Поскольку мы постоянно занимаемся аналитикой товаров на отечественных и зарубежных рынках, то встречаем массу вариантов того как технологии используются в торговле. И в последнее время все чаще мы слышим о технологии дополненной реальности, которую пытаются прикрутить то к витринам интернет-магазинов, то к бутылка игристого, продающегося на полках гипермаркета.

Мы нашли существующие исследования рынка AR, отыскали кейсы отечественных разработчиков и собрали примеры использования дополненной реальности производителями и продавцами, чтобы понять насколько широко технология шагает по стране и миру. А поскольку наша основная сфера интересов - маркетплейсы, мы попытались понять как AR может быть использован там и используется ли вообще. Рассказываем и показываем.

Дополненный рынок

Рынок AR стремительно растет. Это логично, поскольку смартфоны и гаджеты, которые поддерживают данную технологию или могли бы с ней работать сегодня есть практически у всех. AR, в какой-то степени проще дышится среди потребителей. Технология нетребовательна к оборудованию - пройтись по дополненной реальности, в той или иной степени, может каждый. Мы нашли данные зарубежных исследований под авторством Engine creative в которых прогнозируется, что уже в этом году количество мобильных пользователей AR вырастет до 811 миллионов человек. И если на время отвлечься от продаж и пристально посмотреть в сторону самой технологии, то можно узнать, что доход от AR c каждым годом растет и в 2021 году может достигнуть 3,1 млрд долларов, а к 2024 - 3,78 млрд долларов.

Поскольку нас интересуют именно продажи, мы захотели взглянуть в сторону потребительного поведения и отношения покупателей к технологии дополненной реальности. Итог - покупатели ждут, когда бренды и производители предоставят им новые форматы взаимодействия с продуктом. Вот такие цифры приводит в своем исследовании уже упомянутое выше агенство:

- 69% покупателей ждут, что бренды дадут им возможность взаимодействовать с товаром посредством AR и выпустят мобильные приложения;

- 76% уверяют, что делали бы больше покупок при условии, что смогли бы если бы заранее осматривать товары с помощью дополненной реальности;

- 42% покупателей считают, что использование дополненной реальности помогает принять решение о последующей покупке.

Эксперты также уверены, что использование AR может не просто повысить продажи, но и с большей вероятностью довести определенные группы товаров до конечного клиента. Об этом в своем исследовании заявили ученые Городского университета Гонконга и Сингапурского университета управления. Они пришли к выводу, что AR перспективнее всего применять там, где высока неопределенность, связанная с товарами. То есть в тех случаях, когда покупатель просто не может оценить продукт (размеры, детализацию, актуальность товара для его стиля или интерьера) находясь на расстоянии от витринной полки. Исходя из этого ученые прижил к выводу, что дополненную реальность лучше всего использовать в нескольких случаях:

- при продаже продвижении малоизвестных товаров и брендов;

- для увеличения продаж дорогостоящих товаров;

- для стимуляции перехода офлайн-клиентов в онлайн-каналы продаж (например, с рекламного баннера со ссылкой на приложение или сайт).

Согласитесь, что такие выводы звучат очень логично. Если покупатель маркетплейса заказывает упаковку стирального порошка или корм для домашних животных - он имеет хотя бы примерные представления о том как будет выглядеть физический продукт и его упаковка. Когда речь идет о необычной детской игрушке, новом гаджете или дизайнерском кресле - представить, например, их габариты и внешний вид крайне сложно. Да, все подробности о товарах можно прочитать в их описаниях и характеристиках. Но покупатели - занятые, а иногда и ленивые люди, которые редко взаимодействуют с текстом и принимают решения на основе изображений товаров.

Как в таком случае быть покупателям, которые не могут оценить товар просто по фотографиям в карточке маркетплейса. С каждым днем количество товаров на таких площадках растет, а отличать предложения честных продавцов от мошенников становится все сложнее. У покупателя есть два варианта - отказаться от заказа непонятно, неизвестного товара или заказать и вернуть, в случае, если он не оправдает их ожиданий. Как в таком случае быть продавцам? Они постоянно рискуют тем, что их товары будут путешествовать по стране от склада до склада, потому что покупатели продолжать оформлять возвраты. Либо получат сотни недовольных отзывов от тех, чьи ожидания не оправдались. Кажется, пора находить какие-то решения.

Точки отсчета

Точки отсчета
Как можно использовать дополненную реальность в реальности? Недавно компания-разработчик PHYGITALISM опубликовала в сети большой кейс-исследование в котором собрала всю актуальную информацию об AR и рассказала о возможных механиках ее использования. Получилось внушительный список из следующих пунктов:

Понятно, что такие механики очень логично ложаться на активности в event-сфере - презентации и выставки. Например, во время автомобильной выставки можно помочь зрителям взглянуть пот обшивку машины и рассмотреть ее устройство до мелочей. Но как эти же технологии и механики можно использовать в торговле. И отдельный вопрос - как они могут помочь в онлайн-торговле.

С офлайн-ритейлом все просто. Примеры использования AR уже существуют. Идеальный вариант для этой сферы торговли - применение дополненной реальности в навигации по реальным магазинам. В идеале, такую навигацию хотелось бы выстроить и на отечественных маркептплейсах.

Есть примеры использования дополненной реальности для конкретных брендов и товаров. Тут уже не важно, где именно они продаются - в офлайне или онлайне, поскольку особенности самого товара требуют знакомства с ним вне торговой зоны, например дома или в офисе. В первую очередь, такой подход идеально ложиться на мебель и крупную бытовую технику. Два примера ниже отлично демонстрируют как покупатель может познакомиться с товаром, даже если никогда не видел его лично. Здесь технология не просто помогает покупателю рассмотреть товар, но и решить важный вопрос - "поместится ли?".

Но что делать напрямую с онлайн-торговлей? Может ли AR помочь продавцам интернет-магазинов и маркетплейсов стать ближе к пользователям и подарить им новый опыт от взаимодействия с товарами? Примеры тоже есть. В 2019 году Lamoda запустила виртуальную примерочную для покупателей кроссовок, доступную владельцам устройство под iOS, в 2020 расшарила эту же возможность для пользователей Android. Примерить с помощью дополненной реальности можно не все, а лишь 100 оцинкованных моделей кроссовок. Но на самом деле, чтобы найти доступ к самой виртуальной примерочной нужно поломать, если не ноги, то голову. Поэтому сама история с запуском такой примерочной выглядит скорее как маркетинговый ход, нежели желание помочь покупателем с выбором товара.

Вместе с тем, одежда и обувь выглядит как еще одна категория товаров, которая очень сильно напрашивается на дружбу с дополненной реальностью. Тут есть свои плюсы и минусы. Очевидно, что принять решение о покупке или понять, что вещь визуально не подходит покупателю можно еще до момента заказа. С другой стороны, очень частой причиной возврата одежды и обуви является другой фактор - размер, удобство посадки или колодки. С этим покупателю не поможет ни AR, ни личная консультация продавца в онлайне. В этом случае узнать "поместится ли?" просто невозможно.

Есть дополнения?

Очевидно, что силами маркетплейсов оцифровать весь ассортимент товаров невозможно. С другой стороны, они могут стимулировать продавцов к использованию технологий. Также как они предлагают селлерам дополнять товарные карточки панорамными фотографиями и запускать живые стримы с презентациями товаров. Например, условный Wildberries может давать продавцам возможность добавления объемных моделей в карточку товара, а покупателям сообщать, что они могут просмотреть определенные позиции в дополненной реальности не выходя из приложения или не покидая сайт маркетплейса. Ozon в этом плане уже продвинулся гораздо дальше. Например, совместно с LG запускал тестирование дополненной реальности прямо в карточке товара.

Есть и другой вариант, когда сам производитель и продавец использует дополненную реальность как дополнительное преимущества товара и пытается за счет них увеличить продажи товара или стимулировать дополнительные продажи среди существующих клиентов. Тут мы нашли сразу два примера отечественных производителей. На удивление, оба занимаются товарами из одной и той же ниши - деревянные конструкторы для детей. Возможно, сама технология настолько проста и понятна даже покупателям, что добавлять ей дополнительную ценность приходится именно с помощью AR.

Но тут стоит отметить, фактически такое использование дополненной реальности подразумевает, что технология - функциональная особенность продукта. Получить к ней доступ, вроде как, можно уже после покупки товара. То есть здесь работает обратный принцип - AR может стимулировать продажи, потому что добавлена к товару, а не потому что помогаем познакомиться с ним до покупки. С другой стороны, в первом примере вся демонстрация товара сводится к добавлению в карточки фото собранной картинки, во втором - AR точно пригодилась бы для того, чтобы показать покупателю модель детской игрушки в сборке. В том числе для того, чтобы оценить ее размеры.

Заметьте, что первый производитель использует для погружения потребителя в AR свой аккаунт в Instagram - оживить собранные пазл он предлагает с помощью масок в социальной сети. Это, с одной стороны, удобно - пользователю не нужно скачивать и устанавливать дополнительные предложения. С другой стороны, именно в этом примере мы рассматриваем детские товары. Насколько верно и позволительно предлагать покупателям передавать детям для игры свой смартфон с открытым аккаунтом в Instagram?

Второй производитель выбрал другой путь и разработал для собственного бренда отдельное приложение, поддерживающее технологию дополненной реальности. Оно, правда, предназначено для коллекционирования деревянных моделей, сборки и раскрашивания виртуальных игрушек. Дополненная реальность в нем используется скорее для сканирования новых моделей коллекции. Но если взглянуть на приложение иначе и попробовать использовать его для просмотра моделей конструкторов в объеме как мы попробовали это сделать в ролике выше? Кажется, получается очень показательно.

Выпадает из реальности

Вроде как использование AR, правда, может повысить конверсию, привлекательность товара и лояльность аудитории. Но пока технологией (по сути, любой) интересуется лишь пара производителей и она не используется массово - донести ее до конечного потребителя сложно. И тут вопрос - кто первым рискнет взяться за технологию на полную. Маркетплейсы, которые решат бороться с конкурирующими площадками за счет новых возможностей или продавцы, которым рано или поздно придется искать новые пути демонстрации товаров, которые сегодня все больше становятся похожими друг на друга как две капли воды?

А может и не нужны продавцам новые технологии и достаточно постоянно нагружать рынок новыми предложениями, выдумывать, производить и продавать все новые и новые товары?

Компания Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил бы возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира.

Это совпадает с целями международного конкурса $10M ANA Avatar XPRIZE, который был инициирован, чтобы поддержать развитие технологий в этой области. Конкурс стартовал в марте 2018 года и рассчитан на четыре года. В июне 2022 года будут объявлены победители соревнования, которые разделят приз в $10 млн.

Инициаторы конкурса считают, что такие системы позволят объединить мир за счёт создания ощущения присутствия в удалённом от пользователя месте с возможностью совершать физические действия в реальном времени. Это откроет новые возможности для работы, обучения, развлечений и общения, без оглядки на возраст, расстояние, мобильность и физические ограничения пользователей. Также, такие аватары могут пригодиться для помощи в условиях стихийных бедствий или когда необходимо ограничивать физический контакт между людьми, как во время пандемии.

Для выхода в полуфинал $10M ANA Avatar XPRIZE команда Dragon Tree Labs создала робота Джонни

Для выхода в полуфинал команда Dragon Tree Labs создала робота Джонни, который прошёл соответствие всем требованиям. На данный момент это единственная российская команда, которая продолжает бороться за победу и главный приз.

Оператор может управлять Джонни дистанционно, наблюдая за происходящим вокруг робота через VR-очки. Аватар оснащён колёсами и может свободно передвигаться по помещению, позволяет взаимодействовать с объектами посредством манипулятора. На данном этапе у робота одна активная рука, которой можно управлять, в будущем появится вторая. Аватар оснащён системой распознавания объектов для помощи оператору в захвате предметов.

Для выполнения конкурсного задания необходимо было продемонстрировать способность управлять движением аватара, роботизированной рукой для выполнения задачи из реального мира, а также требовалось наличие "тревожной кнопки" для экстренного отключения машины. Все эти способности команда Dragon Tree Labs показала на конкурсном видео.

Робот Джонни результат интеграции нескольких прорывных технологий, в том числе инновационного компьютерного вычислителя для одновременного запуска нескольких нейронных сетей, который был создан специально для мобильных роботов командой Fast Sense. Именно благодаря этому компоненту, Джонни может одновременно выполнять несколько задач с задействованием ML-алгоритмов параллельно. Также, исследователи из МФТИ участвовали в реализации тестового сценария управления манипулятором.

На данный момент робот обладает рядом ограничений, которые объединённая команда Dragon Tree Labs планирует устранить в будущем для повышения шансов на победу, в том числе за счёт привлечения новых участников в проект. В следующей модификации Аватар Джонни обзаведётся второй управляемой рукой, разными типами хватов, научится распознавать другие объекты, помимо бумажных стаканчиков. Также команде необходимо будет обеспечить быструю передачу сигналов для управления устройством из любого места земного шара через интернет. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Для работы над этой частью задачи команда стремится привлечь дополнительных участников и приглашает на оплачиваемую стажировку на лето 2021 года. Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

"Мы считаем, что такие аватары следующий эволюционный уровень развития телекоммуникаций и человеческого взаимодействия. Когда-то мы отправляли письма почтой, затем начали звонить по домашним телефонам, то есть в коммуникации включилась ещё одна система органов чувств. Интернет позволил обмениваться идеями и переживаниями моментально, а не ждать письма месяцами. Теперь у нас есть возможность видеть друг друга во время звонка и общаться в любое время в любом месте так, как если бы мы физически находились рядом. Технологии VR делают этот опыт ещё более реальным для восприятия. Следующий шаг возможность физического контакта на расстоянии. Именно для этого нужен мобильный робот-аватар, оснащённый манипуляторами, которыми можно управлять дистанционно. Даже простая возможность передвинуть предмет, скажем, шахматную фигуру на доске, за которой сидит соперник или ваш сын на другом континенте, создаёт ощущение физического присутствия на месте событий, создавая единый контекст. Возможность обнять бабушку, к которой нельзя приехать, ощущается через аватар практически реальной".

В полуфинал $10M ANA Avatar XPRIZE прошли 38 команд из 16 стран мира, в том числе одна команда из России. В сентябре 2021 команды продемонстрируют возможности своих систем на отборочных тестах в США. Лучшие команды пройдут в финал, намеченный на лето 2022 года. Призовой фонд конкурса $10M ANA Avatar XPRIZE составляет 10 млн. долларов.

$10M ANA Avatar XPRIZE - четырехлетнее международное соревнование, которое стартовало в 2018 году. Цель соревнования - разработка, совершенствование и ускоренное внедрение перспективных технологий в систему многофункциональных аватаров, которая позволит беспрепятственно переносить человеческие навыки и опыт в любую точку пространства будь то планета Земля или лунная станция. Робот-аватар позволит удаленному оператору видеть, слышать и действовать так, словно он находится на месте событий.

38 Teams from 16 countries expanding our potential

Большинство команд это компании, работающие в сфере робототехники, VR/AR. Команды объединяются, создают коллаборации для расширения экспертизы и привлекают партнеров.

Например, команда i-Botics (Нидерланды) имеет в составе 6 компаний с компетенциями для решения узких задач в создании робота-аватара: сенсоры, человекоподобные роботы, технологии передачи обратной связи оператору, социальные роботы и др.

Другой пример организации команды, японская команда GITAI, специализируется на разработке роботов для индустриального применения. Эта команда пришла на конкурс с глубокой экспертизой и прототипом высокого уровня готовности. Аватар GITAI управляется оператором из специально оборудованного кресла управления, способен передвигаться и выполнять непростые механические манипуляции. В своем демо GITAI говорит о применении создаваемого аватара для работы на Международной космической станции в 2022-23 гг.

В конкурсе также принимают участие академические команды, например: команда SantAnna (Италия) включает в себя профессорский состав, студентов-магистров, бакалавров и аспирантов. Команда Northeastern Северо-Восточный университет (Northeastern University, Бостон, США) сформировала рабочие группы по направлениям: VR, удаленное управление, сенсорика и др, которыми управляют студенты старшего звена. Помимо классической научной работы, они получают реальный опыт, где важна не только глубокая научная экспертиза, но и навыки управления и организации команд.

В списке полуфиналистов 38 квалифицированных команд из 16 стран мира. Наибольшее количество команд из США - 10, на втором месте Япония - 8 команд, Россию в полуфинале представляет 1 команда - Dragon Tree Labs.

Для желающих присоединится к команде Dragon Tree Labs и отправится на отборочные тесты для выхода в финал в Майами с нами открыт прием заявок на стажировку. Подробности на сайте по ссылке Dragon Tree Labs

В этом обзоре, мы собрали информацию, которая находится в открытом доступе на сайтах команд. Обзор получился довольно объемный и информация о части команд будет опубликована в следующей статье. Подписывайтесь на блог и не пропустите, следующий выпуск.

Итак, предлагаем подробнее ознакомится с участниками соревнования $10M ANA Avatar XPRIZE.

#1 Aham - Индия

Команда Aham коллаборация Индийского Научного Института в г. Бангалор, технопарка ARTPARK и компаний TCS Research и Hanson Robotics.

Hanson Robotics уже более двух десятилетий создают человекоподобных роботов, всем известны Sophia, Han, Little Sophia, Zeno, Professor Einstein. Объединенная команда Aham создает робота Ашу (Asha). Этот гуманоидный робот - двойник робота Софии, специально создан для НИОКР в рамках участия в $10M ANA Avatar XPRIZE. Телеуправляемый робот-медсестра Аша разговаривает женским голосом и выражает эмоции, ее лицо выглядит как у реального человека. Оно сделано из запатентованного материала Frubber - нанотехнологическая кожа, имитирующая мускулатуру лица и кожу человека. Во время разговора робот двигает губами, моргает и жестикулирует.

Представьте себе уход за пациентом, инфицированным COVID. Медсестра-человек рискует заразиться и боится быть инфицированной, в то время как робот без рисков может выполнять задачу, ранее выполняемую медицинским работником. Робот становится продолжением медсестры - Аша не заменит медсестру-человека, скорее будет ее помощником в заботе о пациентах. Аша способна выражать такие эмоции, как смех, улыбка, а также беспокойство, что позволяет пациентам чувствовать себя комфортно, разговаривая с роботом, и думая о нем не как о машине, а как о друге.

Каждый участник в команде Aham вносит существенный вклад в текущее программное и аппаратное обеспечение, создавая удобную для исследования имитационную модель управления роботом и улучшая возможности взаимодействия робота и человека. TCS фокусируется на интеграции туловища Аши со своей AGV платформой для придания мобильности роботу, а также создает интеграцию с различными симуляторами и инструментами визуализации. Исследователи Индийского Научного Института, специализирующиеся на машинном обучении, системах автономного полета дронов и автономных автомобилях, поддерживающих 5-G, фокусируются на телеуправлении и телевзаимодействии робота с людьми.

Совместно команда планирует достичь высокого уровня полуавтономсти, что сделает робота больше, чем просто аватаром и добавит встроенный интеллект. Для оператора робота полуавтономность снижает когнитивную нагрузку сложных интерфейсов, сократит время реакции и добавит еще один уровень безопасности в рабочей среде, поможет решить проблемы слепых зон.

#2 Avatar Quest, США

Команда Avatar Quest состоит из учеников старших классов школы Valley Christian Schools (VCS), г. Сан-Хосе, США. Мы разрабатываем робот телеприсутствия в эпоху, когда все существуют в телеприсутсивии. Это новая зарождающаяся культура поведения людей, где любые вещи можно делать не выходя из дома, потому что это намного безопаснее и эффективнее.

Такой образ жизни мы хотим создать с помощью разрабатываемых технологий - говорит ученик 12 класса Алекс Лопес. Команда Avatar Quest - это уже вторая команда из школы VCS, которая выходит в полуфинал соревнований XPRIZE. Ранее команда Ocean Quest стала самой молодой командой, когда-либо участвовавшей в полуфинале $7M Shell Ocean Discovery XPRIZE. В этом соревновании ребята взяли призовой раунд NOAA Bonus. Но на этом амбиции школы не заканчиваются - третья группа студентов также работает над улучшением экосистемы тропических лесов в рамках $10M XPRIZE Rainforest.

#3 AVATRINA - США

Команда AVATRINA разрабатывает аватар под названием TRINA. TRINA - это робот с продвинутым уровнем телеприсутствия, который умеет видеть, слышать, перемещаться и взаимодействовать с удаленной средой. Оператор управляет роботом, используя стандартную систему виртуальной реальности, а также с помощью встроенных контроллеров и тактильных перчаток.

На данный момент робот TRINA представляет собой подобную торсу человека установку на мобильной платформе и состоит из следующих компонентов:

• голова робота в виде экрана с изображением человеческого лица с динамиком и камерой (угол вращения 360 градусов);

• камеры глубины (RGBD-камеры), установленные на руках робота и камера глубины на груди робота

• сменные концевые устройства для взаимодействия с предметами в качестве кистей руки (swappable end effectors)

• UR5e рука с возможностью осевого движения (flexible collaborative robot arm)

Планируется добавить: тактильные ощущения руки робота в сочетании с VR, контроллеры в сочетании с VR, возможность управления через мобильное устройство. Компоненты разрабатываемого робота TRINA: 1) газодетектор и стереомикрофон на груди робота, 2) полностью анимированная голографическая голова, 3) сенсоры распределенные по поверхности торса и рук робота, 4) маневренные тактильные манипуляции рук и встроенные в руки камеры

В своем демо команда AVATRINA имитирует прием в клинике, во время которого аватар-доктор выполняет первичный осмотр пациента, сидящего в инвалидном кресле. На видео робот TRINA демонстрирует свои возможности: отслеживание положения головы, стереозрение, манипуляции, выполняемые руками робота, бимануальные манипуляции, безопасное управление механическим импедансом (safe impedance control), возможности навигации и сэйфти фичи.

#4 Cyberselves, Великобритания

"Let the robot be your surrogate self" - Команда Cyberselves разрабатывает софт телепресутвия Teleport, позволяющий управлять роботом из любой точки мира интуитивным и иммерсионным способом. Teleport App - приложение для робототехники, использующее универсальный язык Animus, end-to-end инструмент для программирования роботов, разработанный командой Cyberselves. Софт команды используется другой командой Roboy, также вышедшей в полуфинал $ 10M ANA Avatar XPRIZE.

Используя Teleport App и VR гарнитуру возможно перенестись в теле робота в любую точку мира - телепорт позволяет видеть то, что видит робот; слышать то, что слышит робот; чувствовать то, что чувствует робот, и перемещаться в его теле.

Команда получила грант 100k от UK's Sustainable Innovation Fund для использования своего опыта в сфере роботов телепресутвия для поддержки ключевых секторов экономики пострадавших от COVID-19: рынок недвижимости, выставочная индустрия и удаленное здравоохранение.

#5 Human Fusions - CША

Команда Human Fusions объединяет исследователей из 5 университетов США: Университет Кейс Вестерн Резер (Case Western Reserve University), Калифорнийский университет в Лос-Анджелесе (UCLA), Государственный университет в Кливленде (Cleveland State University), Университет Карнеги Меллон (Carnegie Mellon University), Вайомингский университет (University of Wyoming). Команда Human Fusions создает медицинский аватар Sensa. Первый прототип аватара сфокусирован на предоставлении оператору дополненного опыта удаленного управления роботом с тактильными ощущениями, визуальной и голосовой обратной связью. В аватаре используются следующие компоненты:

• Робо-платформа Stretch (Hello Robot)

• Манипулятор MIT GelSight с тактильными датчиками (UCLA)

• Сенсорная перчатка NeuroReality (CWRU)

• Oculus headset (Facebook)

Основной технологией, обеспечивающей связь с аватаром Human Fusions, является платформа NeuroRealityTM, а уникальной сильной стороной команды - это нейронный подход к получению сенсорной информации, чтобы обеспечить дополненный опыт через платформу NeuroReality. Интерфейс платформы создан для работы с различными другими роботизированными системами и команда открыта делиться экспертизой и сотрудничать с другими командами.

#6 ENZO AVATAR - Колумбия

Человекоподобный робот ENZO с 23 DOF и телеуправлением

#7 Dragon Tree Labs - Россия

Команда Dragon Tree Labs - единственная российская команда, которая продолжает бороться за победу и главный приз.

Нашего робота зовут Джони, он управляется дистанционно, а оператор наблюдает за происходящим через VR-очки. Робот-аватар оснащён колёсами и может свободно передвигаться по помещению. Для одновременного запуска нескольких нейронных сетей и параллельного выполнения задач с задействованием ML-алгоритмов на роботе установлен бортовой Edge AI компьютер, разработанный стартапом Fast Sense. На данном этапе у робота одна активная рука, которой можно управлять, а в будущем появится вторая. Аватар оснащен системой распознавания объектов для помощи оператору в захвате предметов. На данный момент робот обладает рядом ограничений, которые команда Dragon Tree Labs планирует устранить для повышения шансов на победу, в том числе за счет привлечения новых участников в проект.

До полуфинальных тестов в сентябре 2021, которые пройдут в США аватар обзаведется второй управляемой рукой, разными типами хватов, научится распознавать больше объектов. Также команда стремится обеспечить быструю передачу сигналов для управления роботом из любого точки мира. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Если вам интересно присоединиться к нашей команде и помочь с апгрейдом аватара Джонни, пишите нам на почту hello@dtlabs.tech или заполните анкету на сайте

#8 I-BOTICS - Нидерланды

Команда I-BOTICS разработала антропоморфного робота, его высота робота 184 см и вес 89 кг. Движения робота соответствуют кинематике человека. Он может балансировать, наклоняясь или работая в сидячем положении, а также сохранит баланс при ударе или столкновении. Однако, передвигаться по неровной поверхности робот не может, так как установлен на колесной базе и есть проблема с динамической балансировкой.

Оператор управляет роботом, находясь в специальной кабине с экранами для управления роботом. Присутствуют элементы экзоскелета. Оператор видит глазами робота через встроенную камеру в голове робота. Используется VR-перчатка для того, чтобы получать обратную связь с кисти робота. Робот безопасен при прикосновении к человеку. При этом рука робота способна поднимать груз весом 8 кг на руку. Таким образом, в будущем робот сможет ухаживать за пациентами, помогая им встать с постели.

В своем демо видео команда демонстрирует как оператор с помощью робота-аватара помогает шеф-повару в Норвегии, находясь на расстоянии более 850 км в Нидерландах.

#9 INBIODROID - Мексика

Команда INBIODROID разрабатывает робот-аватар Prometheus для выполнения спасательных работ при ликвидации последствий в зоне чрезвычайных происшествий.

#10 Pollen Robotics - Франция

Pollen Robotics - команда стартапа, основанного в 2016 году двумя робототехниками из известного во Франции исследовательского центра Inria. Среди прошедших в полуфинал это одна из самых маленьких команд. Штат Pollen Robotics - это всего шесть человек, увлеченных претворением в жизнь своих идей и замыслов. С другой стороны это полностью открытая команда, призывающая к сотрудничеству единомышленников.

На сайте стартапа пока не отображен ход работы над проектом аватара для $10M ANA Avatar XPRIZE. Зато Pollen Robotics щедро делится своими знаниями и наработками по предыдущим реализованным проектам. Все они являются открытыми (open source), как и стартап.

В активе команды имеется открытая роботизированная платформа с интерактивным гуманоидным роботом Reachy, который очевидно и является прообразом аватара для $10M ANA Avatar XPRIZE. На сайте https://github.com/pollen-robotics выложена документация по отдельным компонентам Reachy.

Pollen Robotics стремится делиться своими знаниями и совместно решать возникающие на пути прогресса проблемы, вместо желания монополизировать полученные результаты исследований. В Pollen Robotics мы стремимся способствовать обмену знаниями в сообществе, чтобы помочь в реализации революции ИИ. Мы считаем, что вместо того, чтобы пытаться монополизировать какую-то проблему, мы должны совместно работать над ее решением, которое принесет всем пользу.

#11 proRobot - Чехия

Робота Fimbot создает команда proRobot из чешского университета в городе Градец-Кралове. Свое название робот получил по первым буквам факультета Информатики и управления (FIM - Faculty of Informatics and Management). Команда разработчиков состоит из студентов старших курсов и преподавателей этого университета.

Роботизированный аватар Fimbot должен отличаться простым и удобным управлением через костюм виртуальной реальности. Новейшие стандарты безопасности и шифрования призваны обеспечить надежность эксплуатации робота. Базовая модель Fimbot должна стать прототипом для специализированных аватаров, которые в будущем найдут применение в промышленности, здравоохранении, в аварийно-спасательных службах.

За основу 3D печатной конструкции Fimbot взят известный гуманоидный робот InMoov, созданный французом Гаэлем Ланжевеном. Отдельные конструктивные элементы робота создаются методом 3D печати из биоразлагаемого материала PLA (polylactic acid) это полимер молочной кислоты.

Пластиковая конструкция гуманоидного робота будет дополнена сенсорными датчиками, обеспечивающими в режиме реального времени обратную связь робота с человеком-оператором. Для успешной работы системы человек робот придется добавить скоростную систему телекоммуникации с использованием технологии Wi-Fi.

У проекта Fimbot пока один спонсор, но зато это компания Skoda Auto.

Видео комапнии можно посмотреть на странице в FB

#12 Rezilient - США

Компания Rezilient из США представляет в полуфинальном конкурсном отборе ANA Avatar XPRIZE проект Rezilient Health. Компания занимается оказанием медицинских услуг, отличающихся инновационным характером в организационном и технологическом плане. Роботизированная телемедицина одно из перспективных направлений в деятельности Rezilient.

Проводимые компанией из США инновационные разработки в области робототехники и удаленных коммуникаций позволят обеспечить клиентам полную доступность медицинских услуг в любое время и в любом месте. Создание аватара Rezilient Health позволит компании обеспечить внедрение новых, повсеместно доступных сервисов здравоохранения, включая телемедицину с использованием роботизированной техники, расширит возможности медперсонала по обслуживанию клиентов.

#13 Robot Guru

Проект Robot Guru реализуется на платформе уже готового продукта HoloSuit, куда входят куртка, брюки и перчатки, оснащенные набором датчиков и системой двусторонней беспроводной связи (Wi-Fi и Bluetooth LE) с программным обеспечением на базе Windows, iOS, Android. Встроенные датчики позволяют контролировать все движения человека.

Основанная в 2016 году компания сегодня предлагает свою разработку под названием Holosuit для применения в медицине, робототехнике, промышленности, образовании, спорте и играх.

В стандартный комплект HoloSuit четырех размеров для взрослого человека входят:

• 23 встроенных датчика и 9 устройств тактильной обратной связи, распределенных по обеим рукам и ногам, встроенные кнопки на двух пальцах.

• Holosuit может подключаться через Bluetooth, Wi-Fi и USB.

• 6 датчиков движения на куртке.

• 5 датчиков движения на брюках.

• 12 датчиков движения на перчатках (по 6 на каждой перчатке).

• 9 сенсоров с обратной связью (4 на куртке, 3 на брюках, по 1 на каждой перчатке).

• 8 кнопок управления (4 на куртке и по 2 на каждой перчатке).

По заказу комплекты HoloSuit комплектуются лицензионным программным обеспечением. Компания HoloSuit обладает большим опытом исследований и разработки аппаратного/программного обеспечения, имеет более 37 патентов, выданных в США, ЕС, Китае, Корее.

#14 Synapse - Япония

Команда Synapse объединяет четыре экспертные группы, сформированные на базе известных компаний NTT Communications, Tokyo Robotics, XELA Robotics и университета Васэда. NTT Communications известная во всем мире телекоммуникационная компания. Основанная в 2015 году Tokyo Robotics занимается роботизацией складских и офисных помещений, ферм и даже домов. В компании XELA Robotics занимаются исследованиями и проектированием надежных и безопасных захватов и манипуляторов для роботизированных систем. Группа из престижного университета Васэда в г. Токио занимается созданием эффективных тактильных датчиков.

Команда Synapse уже имеет в своем активе гуманоидного робота общего назначения под названием TOROBO. На очереди создание робота AVATAR, который будет обеспечивать функции телеприсутствия. Каждая группа команды объединяет квалифицированных специалистов в своих областях: телекоммуникации, робототехника, удаленное управление и тактильные датчики. Демо видео - можно посмотреть по ссылке

Видео Tokyo Robotics, которое поможет представить будущее сервисных услуг с использованием телеуправляемого человекоподобного робота.

#15 SNU - Южная Корея

Команда SNU представляет Сеульский национальный университет (SNU). Основа команды студенты из пяти лабораторий университета и преподаватели, занимающиеся проектированием гуманоидных роботов. Среди них есть специалисты в области управления с использованием тактильных ощущений, разработки мягких сенсорных материалов. Интеграцией всей системы руководит профессор Пак Джэ Хын.

Аватар SNU включает три составляющие: систему управления, интерфейса и удаленно управляемый гуманоидный робот. Система управления состоит из видеошлема и перчаток для оператора. В видеошлем интегрированы дисплей, микрофон и система распознавания движений головы и речи. На дисплее виртуальной реальности отображается изображение с двух камер, которые установлены на голове гуманоидного робота и перемещаются вверх-вниз, вправо-влево при движениях головы оператора. Система распознавания речи оператора позволяет имитировать его эмоции матрицей из светодиодов на лице робота.

Система интерфейса обеспечивает передачу команд роботу и ответный поток данных с сенсорных датчиков гуманоида. На руках у оператора перчатки с датчиками для передачи движений рук и пальцев. Перчатки робота оснащены мягкими сенсорами для передачи в перчатки оператора тактильных ощущений.

#16 UNIST - Южная Корея

Второй южнокорейской командой, прошедшей в полуфинал ANA Avatar XPRIZE стала команда Национального института науки и технологий (UNIST) из г. Ульсан. В команде представлены студенты и аспиранты из лаборатории BiRC (Биоробототехника и управление) под руководством профессора и научного сотрудника с докторской степенью.

Команда пока не раскрывает деталей создаваемого Аватара. Но на сайте лаборатории представлены результаты многочисленных исследований в области мягкой и био робототехники, виртуальной реальности и удаленного управления.

В группе Мягких компонентов исследуют материалы для датчиков, которые помогут в создании захватов для аватара и перчаток с тактильными сенсорами для оператора

В группе Био робототехники занимаются созданием шагающих и летающих роботов. В группе Телеуправления разрабатывают алгоритмы удаленного управления роботами и аватарами с помощью жестов и движений туловищем оператора. В группе Виртуальной реальности исследуют надеваемый на руку тактильный интерфейс для точного отслеживания положения и интерактивного контроля усилия отдельных пальцев.

#17 Telexistence - Япония

Основанная в 2017 году японская компания Telexistence, занимается проектированием, производством и эксплуатацией удаленно управляемых роботов. Концепция виртуального присутствия в любом удаленном месте была предложена еще в 1980 году доктором Сусуму Тати, почетным профессором Токийского университета и президентом компании Telexistence.

Ключевые особенности технологии Telexistence:

• Расширенные интерфейсные возможности подключения через стандартный проводной или беспроводной интернет.

• Незначительная задержка при передаче сигналов управления.

• Гибридная интеллектуальная система управления.

• Уникальная механическая конструкция робота.

• Оптимизированный дизайн виртуальной реальности.

В 2018 году Telexistence анонсировала серийный прототип удаленно управляемого робота MODEL H, в котором используются технологии дистанционного управления, виртуальной реальности и тактильных ощущений. Ориентированная в первую очередь на коммерческое применение MODEL H отличается простотой и долговечностью использования, сокращенным временем загрузки и запуска, имеет собственную облачную инфраструктуру с доступом через проводной и мобильный Интернет.

В июле 2020 года компания объявила о разработке модели T, в которой применяется для розничной торговли технология AWP (Augmented Workforce Platform), предполагающая использование гуманоидных роботов манипуляторов с управлением от удаленного оператора. Рука робота обеспечивает точную и быструю укладку товаров различной формы. Модель T обеспечивает повышенную точность удаленных манипуляций и минимизированную задержку управляющих сигналов при плотном трафике в телекоммуникационной среде.

#18 Touchlab - Великобритания

Команда сформирована на базе компании Touchlab из шотландского г. Эдинбург и занимается исследованиями в области роботехники. Одно из основных направлений деятельности компании разработка и производство электронной кожи eDermis с встраиваемыми в нее сенсорными датчиками.

Технология eDermis использует принцип туннельного эффекта для пьезорезистивного измерения прикосновения, усилия и положения. Гибкий пакет из металлических и полимерных пленок толщиной в 2 человеческих волоса легко настраивается по размеру, форме и количеству областей тактильного восприятия. Выходной сигнал eDermis снимается с 4 контактов. Прочный материал eDermis тоньше человеческой кожи и может использоваться для покрытия любых мягких и твердых поверхностей.

Последний вариант запатентованной технологии электронной кожи способен обнаруживать силу и направление воздействия в трех осях. Датчики eDermis будут дополнены программным обеспечением с использованием технологий глубокого обучения, что позволит роботам идентифицировать объекты и текстурированные поверхности на ощупь, обнаруживать и компенсировать проскальзывание при захвате предметов, измерять усилие нагрузки на опору. Такие датчики находятся в стадии интенсивной разработки, эксклюзивный доступ к ним предоставляется ограниченному числу клиентов.

Команда Touchlab заявляет. "Наш Аватар позволит оператору полноценно видеть и чувствовать на удалении, а также обеспечит другие способности, превосходящие человеческие возможности, такие как обнаружение дыма, вредных газов, излучения, инфракрасное зрение, ориентацию в пространстве. Улучшенное сенсорное восприятие позволит выполнять сложные задачи в опасных условиях гораздо эффективнее, чем это может сделать человек."

#19 Virtual Sapiens - Индия

Команда Virtual Sapiens объединила усилия и наработки трех коллективов в области систем виртуальной реальности, робототехники и передачи тактильных ощущений.

PropVR является удобной платформой для интерактивной 3D визуализации чертежей и изображений. Эта платформа, созданная на основе технологий искусственного интеллекта (AI), виртуальной и дополненной реальности (VR/AR), идеально подходит для создания систем удаленного телеприсутствия. Компания уже предлагает варианты использования своей платформы для виртуального присутствия в медицине, торговле и электронной коммерции, при продаже недвижимости, в туристическом бизнесе.

Компания Vicara занимается исследованиями в области технологий виртуальной реальности, которые позволяют управлять с помощью жестов оператора роботом, дронами, игровыми и другими виртуальными объектами. Компания имеет два продаваемых устройства удаленного управления, способных отслеживать малейшие движения кистей рук и пальцев (менее 1 мм). Задержка сигнала управления менее 10 мс. Устройства поддерживают Bluetooth Low Energy 5.0. По замыслу Virtual Sapiens контроллеры Vicara позволят успешно взаимодействовать с удаленным аватаром через каналы связи.

Компания Invent Robotics разрабатывает и продает роботов Mitra, которые способны автономно перемещаться в пространстве, распознавать людей по лицу и поддерживать с ними беседу. Компания позиционирует их в качестве роботов для приема гостей в различных учреждениях и для обслуживания посетителей в кафе и ресторанах. Заложенные в Mitra потенциальные возможности создания новых интерфейсов позволят Virtual Sapiens использовать этого робота в качестве аватара.

#20 GITAI - Япония

Команд GITAI разрабатывает робот-аватар для космической миссии на МКС при поддержке Японского космического агентства. В начале 2021 года в рамках Раунда В стартап GITAI получил инвестиции в размере 1.8 млрд йен (~16,5 млн. долл).

На конкурс $10M ANA Avatar XPRIZE представлен робот-аватар в виде верхней части тела человека (планируется добавить еще 2 руки) на мобильной колесной платформе. Робот способен производить манипуляции с мелкими предметы, открывать застежку-молнию, захватывать очень тонкие предметы.

На руках 2 датчика с опцией осевого вращения в кистях и руках (3 оси вращения на кончиках пальцев). Тактильные ощущения передаются оператору. Оператор управляет роботом при помощи специальной установки, а информацию об окружающей среде робота получает через глаза робота в свои VR очки и в наушники. Перемещением робота оператор управляет педалями.

В настоящий момент проходят процедуры тестов с NASA и эксперименты для работе робота на МКС. Эксперименты в космосе планируются на 2022-23 гг.

В этом обзоре мы разобрали только 20 полуфиналистов соревнования $10M ANA Avatar XPRIZE, и совсем скоро расскажем об оставшихся 28 командах. Подписывайтесь на наш блог, чтобы не пропустить выход статьи.

Представленные команды демонстрируют, что новое будущее, в котором роботы войдут в нашу повседневную жизнь, это не абстрактное будущее, а совсем уже близкая реальность. Команды объединяют усилия, собирают вокруг себя исследователей из топовых институтов, лабораторий, аккумулируют опыт коммерческих компаний, стартапов и индивидуальных робототехников для достижения общей цели - приблизить новое будущее.

Мы в Dragon Tree Labs также убеждены, что для совершения прорыва нужны коллаборации, совместные тесты и разработки. Это позволит быстрее дать миру принципиально новую платформу и отыскать значимые коммерческие применения систем, которые облегчат жизнь человека.

Наша команда Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира. Мы приглашаем к диалогу университеты и рисерч лабы, которым интересен этот проект. А для студентов открыта оплачиваемая стажировка на лето 2021 года.Подробности о стажировке на сайте Dragon Tree Labs

В разрабатываемом аватаре важно учесть социальный аспект общения робота и человека, это огромная новая область исследований психологии и социологии. Мы будем рады сотрудничеству с экспертами в этой области исследований.

Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

Участие в соревновании $10M ANA Avatar XPRIZE для нас это возможность открыть горизонты для всех участников нашей команды, которые по отдельности могут многое, но вместе могут совершить невозможное.

Как не запутаться в большом объеме информации о дополненной реальности, где ее применять и как она работает?

Вопрос эффективности для бизнеса стоит остро, и в условиях пандемии новые инструменты как никогда актуальны. Поэтому мы выпустили White Paper AR механики: все о дополненной реальности, где доступным языком объяснили, как разные подходы в создании дополненной реальности решают боли компаний.

Заметка от партнера IT-центра МАИ и организатора магистерской программы VR/AR & AI компанииPHYGITALISM.

Что вы будете знать после прочтения?

• Как работает AR, механики применения;

• Возможности дополненной реальности;

• Обязательно ли скачивать приложение, чтобы просмотреть контент в дополненной реальности, какие платформы еще можно использовать;

• Тренды развития AR.

• Новые и интересные кейсы с бизнес-метриками и актуальную аналитику.

Подробнее о содержимом whitepaper

Читая наш whitepaper, вы окажитесь в роли заказчика проекта для автомобильной отрасли, который хочет внедрить дополненную реальность.

1. Механики дополненной реальности

Перед продумыванием идеи мы должны убедиться в том, что решение будет эффективно, поэтому обсудим с вами цели и ожидания от внедрения иммерсивного опыта. После этого вдохновимся примерами мировых брендов и разберем как эффективнее показывать контент, что мы хотим рассказать о продукте, и что подчеркнуть.

AR-механика это способ показа контента. В нашем whitepaper мы описали привязку к маркеру, плоскости, геолокации и физическому объекту, а также механику порталов, и привели примеры к каждому из них :)

2. Возможности дополненной реальности

Далее мы обсудим, какие возможности есть в дополненной реальности. Например, создавать фотореалистичные модели людей для показов одежды, менять пространство по одному касанию, создавать собственный брендированный окружающий мир и удаленно работать с коллегами, взаимодействуя вместе в виртуальном мире.

3. Платформы для реализации

В каждом проекте мы должны понимать, кто наша целевая аудитория, так как от этого будет зависеть то, где наш AR-контент можно будет увидеть. Для понимания всех различий мы добавили примеры и преимущества каждой платформы, а также ранее составляли сравнение.

4. Тренды и подборка приложений

Если вы хотите быть в курсе новейших разработок и материалов, мы также выделили тренды в развитии технологий (спойлер: связка дополненной реальности и машинного обучения становится все сильнее). А еще есть подборка крутых приложений для тестов и вдохновения :)

Мы давно выпускаем материалы по VR и AR-технологиям для бизнеса, поэтому также советуем к прочтению:

• VR: применение в тренингах;

• O2O: применение XR-технологий в online-to-offline коммуникациях.

Если вы заинтересовались нашим whitepaper, подпишитесь на бесплатную рассылку, и мы будем регулярно вас радовать не только информационными материалами, но и ежемесячными подборками с кейсами и аналитикой.

Давайте вдохновляться на проекты вместе.

Вот уже несколько месяцев умы геймеров и криптоинвесторов будоражит новое явление под названием Earth 2. Вдохновлённая футуристическими вселенными Ready Player One и Snow Crash, игра была запущена в декабре 2020, и с этого момента успела привлечь более 300.000 игроков, продать сотни миллионов частиц будущего мира, создать дорогостоящие NFT, и получить освещение в прессе и на телевидении.

На фоне недавнего безумного роста стоимости биткойна и других криптовалют, все чаще звучит фраза: Эх, если бы я знал и купил немного биткоинов в 2010 году. В этом плане очень важно оказаться в самом начале чего-то грандиозного, так что давайте попробуем вместе разобраться, что это за новое явление, как с ним иметь дело, и может ли получиться из этого что-то стоящее.

Идея и философия игры

Вселенная Earth 2 представляет собой оцифрованную копию Земли (aka Earth 1). Вся планета представлена с помощью карт Mapbox и разбита на маленькие ячейки (tiles), размерами не менее 10 на 10 метров, всего примерно 5.1 триллионов ячеек. Игроки могут покупать эти ячейки за игровую валюту (а ее, в свою очередь, за реальные деньги), продавать друг другу, или выкладывать на торги.

Согласно блогу Mapbox, их команда работала совместно с создателями Earth 2 по реализации этого грандиозного проекта и разработке нового функционала (такого, например, как Heatmap, показывающего распределение наиболее популярных зон на планете).

Сейчас вселенная находится на самой начальной стадии (об этом чуть ниже), но попутно идет разработка самого 3D-мира этой параллельной реальности. Этот мир разработчики создают на основе Unity, что по идее говорит о возможности как игры на PC, так и реализации различного VR функционала.

Первое превью ландшафта нового мира разработчики недавно выкладывали в 4K и обсуждали со своими фанатами:

https://www.youtube.com/watch?v=pmx161RADWw

На игровых ячейках их владельцы смогут создавать свой мир строить здания, города, и целые миры. Также обсуждается возможность терраформа преобразования ландшафта из одного типа в другой.

Перемещаться из одной зоны мира в другую можно будет как физически, так и с помощью телепорта. Для этого на своих территориях игроки смогут размещать порталы и давать им уникальные имена.

Открытым остается вопрос, что именно игроки смогут делать в этом мире, какие будут правила, и будет ли мир созидательным или враждебным. Пока разработчики не имеют однозначного ответа на этот вопрос, но допускают возможность существования одного и того же мира в нескольких ипостасях когда можно будет жить и наслаждаться миром по типу San Junipero, и в то же время использовать тот же самый мир для шутеров с монстрами a-la Resident Evil и т.п.

Команда создателей

С самого начала команда Earth2 выбрала путь максимальной прозрачности, насколько это возможно (еще бы, учитывая, какие деньги люди вкладывают в их вселенную). Разработчики периодически появляются в дискорде, твиттере, а также устраивают онлайн трансляции.

На отдельной странице сайта можно найти всех создателей и сотрудников на данный момент, с фотографиями и ссылками на публичные аккаунты.

• Shane Isaac основатель компании с более чем 20 годами опыта в разработке и менеджменте, главный автор идеи Earth2.

• Dillon Seo со-основатель Oculus VR, которую в итоге приобрел Facebook за $2 миллиарда. В Earth 2 выступает в качестве советника.

• Steve Bennett гуру MapBox, специализирующийся на генерации векторных тайлов со сложными наборами данных. Отвечает за построение глобальной сети ячеек на карте Earth 2.

• Wolfgang Walk эксперт гейм дизайна с более чем 25-летним опытом, участвовавший в создании десятков разнообразных игр. Отвечает за геймплей и игровой дизайн мира Earth 2.

• Ralf C Adam гейм продюсер, с большим опытом и авторитетом в игровой индустрии.

Полный список можно найти здесь.

Фазы развития

Разработчики заранее объявили, как они планируют создавать и развивать вселенную Earth 2 и чего можно ожидать от каждой из фаз. На данный момент мы знаем только о трех фазах, но понятно, что в будущем их должно быть гораздо больше.

Первая фаза Распределение земель

На этой стадии игроки могут найти точку на карте, где они хотят купить землю. За один раз можно купить одну или сразу несколько ячеек (обычно не больше 750). Если ячейка никем не занята, ты просто покупаешь ее и ее уникальный номер добавляется в твой портфолио. Если ячейка уже была занята другим игроком, то ты можешь попробовать ее выкупить.

Обычно важно, что именно находится на ячейке, которую ты хочешь купить. Это может быть или кусок земли, или какая-то известная точка на карте, или какой-то памятник или здание. Создатели игры говорят, что новая вселенная не будет повторять те же самые рукотворные строения, что есть в реальном мире. Однако, если какая-то точка является очень популярной на нашей планете (например, Эйфелева башня, Статуя Свободы, пирамиды, Московский кремль, дворец Путина, и т.п.), то велика вероятность, что это тоже будет местом притяжения в новом мире.

Цена за ячейку в любой стране начинается с $0.10, а затем постепенно увеличивается в зависимости от количества проданных ячеек. Ячеек по изначальной цене уже не осталось ни в одной стране (кроме нескольких недоступных, см Дубай ниже), однако до сих пор есть много стран, где можно купить ячейку по цене меньше доллара.

Также все ячейки каждой страны распределены на классы: Class 1, Class 2, Class 3 и так далее. В зависимости от класса ячейки, на них периодически начисляется LIT (Land Income Tax), который собирается с покупок новых ячеек в этой стране и их часть распределяется между всеми текущими владельцами. Подробнее про функционал новой фазы можно почитать здесь: https://earth2.io/about.

Hint: если будете покупать ячейки, не забудьте использовать код на 5% кэшбэк 9R3E6WFFY6

Вторая фаза Появление ресурсов

В ближайшее время в игре ожидается появление различных ресурсов, которые будут добываться на ячейках и приносить доход их владельцам. Пока не очень ясно, какие это будут ресурсы: например, будут ли это те же самые ресурсы, которые есть в нашей реальности, и будут ли, например, золото и алмазы более востребованнее, чем соль или вода.

Также неясно, будут ли эти ресурсы появляться в зависимости от реального расположения на Земле или нет. Так, например, многие игроки покупают реальные нефтяные вышки или алмазные шахты, из-за чего они очень выросли в цене хотя вовсе не факт, что именно там в будущем появятся ресурсы Earth 2.

Известно, что эти ресурсы будут нужны для строительства и для экономики будущей вселенной в целом. Так, например, если тебе будут нужны ресурсы, которые не добываются на твоих собственных ячейках, у тебя должна быть возможность купить эти ресурсы у других игроков. И наоборот, выставить излишки своих ресурсов на рынок.

Самый первый ресурс, который должен появиться в ближайшем будущем, называется Essence. Сложно точно перевести его название, но если дословно, то наверное самым близким будет сущность. Essence точно будет нужна, чтобы создавать порталы и задавать им уникальные имена; ну и возможно для чего-то еще.

Пока создатели не очень охотно рассказывают подробности, потому что это может привести к ненужным спекуляциям и манипуляциям с землей. Ну и плюс они пока оставляют за собой свободу выбора, чтобе решить, куда игре двигаться дальше.

Третья фаза Появление ландшафта

В третьей фазе Earth 2 начнет приобретать трехмерные очертания. На земле появится ландшафт, который станет основой будущего виртуального мира. Вот текущий скриншот их игрового мира, которым поделились разработчики:

Пока про эту стадию известно не очень много, но ясно одно все творения человеческих рук будут стерты и природа предстанет в своей первозданной красоте. Хотя, как все что же будет, например, с каналами, или например, дамбами? Непонятно. Да и в принципе, глобальное потепление - это тоже творение человеческих рук, ну или чего там еще. В общем, поживем увидим.

Уникальные явления

За то немногое время, что существует игра, она уже успела породить несколько уникальных явлений. Их важно принимать во внимание, если вы хотите выстраивать свою стратегию. Вот некоторые из них.

Ватикан

Как известно, самое маленькое государство на планете. Так как количество ячеек на Earth 2 в Ватикане безумно мало, то его раскупили в первые же несколько дней. Теперь землю в Ватикане почти невозможно купить и ее цена доходит до заоблачных высот. Некоторые игроки продают землю под видом Ватикана, но на поверку оказывается Рим. Смотрите, не перепутайте!

NFTs

Так как Earth2 это изначально повторение карты обычной Земли, то конечно же культовые места на Земле сразу стали невзаимозаменямыми токенами в этом мире. Пирамиды, Статуя Свободы, Эйфелева башня, Московский кремль, Эверест и т.д. и т.п. Пока не очень ясно, будет ли возможность в этих местах повторить сооружения Земли или создать что-то своё, уникальное ясно одно: ячейки вокруг этих мест стоят безумно дорого и их почти не купить.

Другой тип NFTs, рождение которых мы сейчас наблюдаем это уникальные рисунки (или надписи) на карте.

Mega cities

Виртуальная вселенная порождает желание сотворить что-то космическое. Так игроки стали объединяться, чтобы в будущем строить новые мега-города, которых не существует в реальном мире. Каждый такой город имеет свой сайт, комьюнити, стратегию развития и строгое распределение ролей.

Полное описание всех мега-городов можно найти в соответствующем Discord-канале.

Dubai

Ну и конечно, Дубай. С самого начала игры некоторые страны были закрыты для продажи (то ли по юридическим, то ли по религиозным соображениям). И одна из самых популярных стран, где игроки до сих пор не могли купить ячейки, это ОАЭ (в простонародье, "Дубай"). "Почему нельзя купить Дубай?" и "Когда можно купить Дубай" этими вопросами раздражает каждый второй новичок. Зачем он вообще им нужен? Вроде как просто много красивых зданий, плюс потенциально нефть и подобные ресурсы, которые могут пригодиться на следующих фазах игры. Ну и начальная цена 10 центов за ячейку такой в мире Earth 2 уже нет и больше не будет.

Апдейт от разработчиков: Дубай наконец-то будет доступен для продажи! Уже завтра 20 марта, в ночь с субботы на воскресенье, игроки всего мира будут настраивать своих ботов лихорадочно жать "купить" и растащут всю землю ОАЭ на кусочки. Если вы хотите поучаствовать в этом безобразии желаю удачи, но сразу оговорюсь надежды мало. Интерес будет колоссальный.

Стратегии заработка

Вложив реальные деньги, игроки хотят (зачастую быстрой) отдачи и вывода своих средств. Пока самым успешным способом заработка является перепродажа так, купив большие участки земли за несколько долларов в популярном месте, некоторые умудряются продавать позднее за несколько сотен, а то и тысяч. Также каждый участок сейчас периодически приносит LIT (Land Income Tax), но пока это совсем небольшие средства.

Создатели игры собираются показывать внутри рекламу и ведут переговоры с разными компаниями. Возможно, если у вас будет участок в популярном месте, вы сможете зарабатывать на этом.

Но основная идея гораздо глобальнее это попробовать в будущем создать что-то свое, настолько крутое, чтобы туда могли захотеть приходить люди из реального мира. Что это может быть? Огромный парк развлечений? Копию реального места на земле? Мега-города? Экспо-город для виртуальных конференций?

Идей много, но всё зависит от того, насколько сами создатели Earth 2 способны это всё поднять и сделать мир пригодным для созидания другими игроками. Пока серьезно об этом мечтать довольно рано.

Вердикт

Игра безусловно имеет потенциал, в основном из-за большой виральности. Основные причины этой виральности: привязка к реальной земле и ее реальным объектам (каждый хочет купить что-то крутое) и замес сразу нескольких популярных трендов крипто-эйфории и VR/AR-технологий.

Но тут в любом случае, каждый решает сам, стоит ли вкладываться и рисковать реальными деньгами. Я думаю, ни в коем случае не стоит рассматривать это как стабильный источник заработка и вкладывать последние крохи.

Некоторые люди предпочитают купить немного ячеек на всякий случай например, известные места в своём родном городе, чтобы сделать там порталы и в будущем удобно перемещаться по новому виртуальному миру (если будет реализована привязка к геопозиции, как в Pokemon Go и подобным концептам). Еще можно подарить кому-то на день рождения кусочек новой виртуальной земли гораздо лучше, чем фиктивный сертификат на Луне. Если кто-то всё-таки захочет купить несколько ячеек Earth2, вот вам код для 5% скидки: 9R3E6WFFY6

Делитесь своим мнением, стратегией и прочими советами в комментариях! Пока совершенно непонятно, во что игра превратится в будущем предлагаю просто оставить этот пост, чтобы вернуться к нему снова через полгода-год и посмотреть, где мы были правы, а где ошиблись.

Цифровой мир стал ближе. Согласно исследованию ТМТ Консалтинг и Huawei в 2020 году отечественный рынок VR/AR вырос до 1,4 млрд. рублей, а к 2025 достигнет 7 млрд.

Давайте разберемся со всеми видами реальностей, а затем поговорим о том, что мешает их внедрению.

Термины

Реальный мир (реальная реальность) весь окружающий нас мир, его человек видит своими глазами и без фильтров (смартфонов, очков, шлемов, экранов и прочего оборудования).

Дополненная реальность (augmented reality, AR) физический мир с наложенными поверх него подсказками, голограммами, объектами. AR построена на основе реального мира и подчиняется ему во всём.

Виртуальная реальность (virtual reality, VR) полностью цифровой мир. Надев шлем или гарнитуру, человек погрузился в смоделированный компьютером мир образов и звуков, где взаимодействие с объектами и передвижение происходит с помощью тактильных контроллеров.

Смешанная реальность (гибридная реальность, Mixed Reality, MR) мир, где сочетаются реальные и виртуальные объектов. Человек может оценить передний и задний план, видит расположение объектов относительно друг друга и, самое главное есть точка соприкосновения реального и виртуального миров.

На пути внедрения технологий AR/VR/ MR, как и на пути любых перемен, всегда есть препятствия

Зачем менять отлаженные годами процессы

Внедрение цифровых технологий иногда встречает сопротивление структур, желающих работать по привычке. И новые инструменты, на покупку и внедрение которых были потрачены средства, могут стать атрибутами для галочки. Важно перестраивать мышление специалистов, которым предстоит работать по-новому. Это не просто и требует волевых решений руководства. Для настоящего технологического прорыва внутри компании потребуется создать систему, которая объединит технологии и корпоративные ценности.

Малое количество реализованных кейсов ("страх первопроходца")

AR/VR/ MR уже работают в промышленности, медицине, продаже продуктов и услуг, образовании. Они учат тушить пожары, помогают добывать углеводороды, собирать самолеты и локомотивы, проводить хирургические операции, следить за сложным оборудованием, контролировать строительство, выбирать жилье, мебель, одежду.

Дорого и сложно рассчитать экономический эффект

Важно изучить предложения разных компаний. За меньшей ценой может скрываться меньшее число полезных функций. Для расчета экономического эффекта от внедрения, например, системы трёхмерного проектирования в дополненной реальности потребуются исходные данные о потерях, связанных с классическим проектированием (время, цена простоев и срыва сроков, процент ошибок, штрафы, бюджет на ошибки). Это позволит узнать, как сократить сроки и предотвратить расхождения выполняемых работ от проекта, а проекта - от объекта строительства.

Как обучиться работать с новым программным обеспечением с AR/VR/ MR

Программы разрабатываются с понятным интерфейсом, чтобы на адаптацию работы с ними уходило 2-3 дня. Компании-разработчики обучают работе с системами, предоставляют обучающие материалы и инструкции.

Слабый интернет или его отсутствие

Данные на оборудование можно загружать и выгружать по беспроводному и проводному каналу, а использовать потом автономно.

Хрупкость оборудования и совмещение со средствами защиты

Используются планшеты и смартфоны, а когда нужны свободные руки, то смарт-очки. Есть версия очков с защитной каской. Работа в очках не доставляет дискомфорта, вес распределяется равномерно, аккумулятора хватает на большой объем работ. В обращении с любым оборудованием важна аккуратность: будь это небольшой смартфон или огромный станок.

Благодаря передовым технологиям компании поддерживают высокий уровень сервиса для своих клиентов, выпускают востребованную продукцию, выигрывают конкурентную борьбу. А что останавливает от внедрения AR/VR/ MR вас?

Всем привет. Меня зовут Дядиченко Григорий, я СТО Foxsys, и я всё ещё люблю трекинг. Продолжим серию статей после долгого перерыва и поговорим про AR маркеры. Какие технологии есть, чем они отличаются, в чём плюсы и минусы каждой на данной момент. Если интересуетесь AR технологиями - доброе пожаловать под кат!

Что чаще всего подразумевают под AR маркером?

AR маркер это плоская картинка, по которой мы можем определить позицию устройства в пространстве относительно этой картинки. Задачи бывают самые разные, и о них мы поговорим. Просто в общем случае понятие маркера или метки не обязано быть просто плоской картинкой. Но как-то так повелось в AR - что под маркером имеется в виду именно плоская метка, а остальные виды меток уточняются, как цилиндрическая метка и так далее.

По сути, в качестве метки можно использовать любое изображение, которое отвечает требованиям технологии. Чем лучше картинка подходит под технологию, тем точнее будет трекинг, реже будет теряться и в целом с ним будет меньше проблем. Относительно требования к этим картинкам, чтобы трекинг хорошо работал - всё зависит от технологии. Тот же самый инстаграм сильно отличается от того, что считается хорошим маркером в той же вуфории. Базовые правила почти для любой хорошей метки, чтобы определять их на глаз. Больше контрастов, меньше градиентов, отсутствие симметрий (чтобы случайно не получить эффект балерины), так как если скажем картинка центрсимметрична, то невозможно однозначно определить её ориентацию в пространстве.

Применение AR меток и общие рекомендации

Технология меток имеет большое количество применений в самых различных сферах. Основным плюсом данной технологии является широкое покрытие устройств и стабильность работы. Да, в том числе она обладает рядом ограничений, но по сравнению со всеми остальными технологиями при грамотной интеграции - метки в дополненной реальности работают как часы.

Поэтому они отлично подходят для решений, рассчитанных на большую аудиторию со средне бюджетными или дешёвыми устройствами, так как большая часть технологий не требует большой производительности, работает на достаточно широком спектре устройств и работает стабильно если соблюдать несколько правил.

Во-первых, правильно делать сам маркер в соответствии с гайдлайнами конкретной технологии. Во-вторых, печатать сами маркеры на матовой бумаге и стараться не размещать их за стеклом, особенно если стекло не музейное и создаёт большое количество бликов и отражений. И третье, стараться размещать контент, как можно ближе к центру маркера. Так как есть такое понятие, как угловая ошибка.

В случае размещения объекта далеко от центральной оси маркера из-за неточности трекинга и того, что на самом деле с точки зрения ориентации в пространстве всегда есть некоторой шум получается видимое смещение в виде тряски. В разы хуже чистой линейной ошибки смещения за счёт того, что чем дальше объект от места определения ориентации тем выше смещение относительно реального объекта в зависимости от угла ошибки.

Ну и конечно же, последнее - тестировать. Причём в идеале на целевых устройствах, на целевом расстоянии, с целевым размером маркера и в месте, где он будет эксплуатироваться. В последнем, по сути, важную роль играет только освещение в пространстве, так как проблемы трекингом могут создавать два критерия. Освещённость ниже 100 люкс и люминесцентное освещение. Со вторым проблема заключается в частоте мерцания лампы, так как не все технологии корректно обрабатывают данный эффект. С целевым же размером и расстоянием важную роль играет разрешающая способность камеры и воздушная перспектива. Она может влиять на чёткость границ маркера, которые используются для трекинга и из-за это маркер просто не будет распознаваться.

Целевые устройства важны, так как у многих различаются камеры и датчики, что так же влияет на трекинг. Для теста того же ARFoundarion (ARCore) или для сборки B2B проекта на аркоре, чтобы не было никаких вопросов с лицензией, по соотношению цена-качество я выделил для себя Redmi Note серию, нужно только внимательно смотреть, на каком устройстве есть поддержка аркор. Самый недорогой с достаточно качественной работой ARCore это восьмой ноут. Он сравнительно недорогой, но при этом проверять на нём качество трекинга данной технологии самое то. А так всё зависит от множества факторов. Бюджет, требования к системе, ограничения в плане покупке лицензий, какими устройствами обладает целевое устройства или бюджет на устройства для обустройства конкретной локации, и так далее.

Что-то мы глубоко ушли в нюансы работы с технологиями. Поговорим теперь про применение.

В рекламе

Одно из моих любимых это рекламная акция бургеркинга. Она красивая, и при этом отлично показывает, как можно применять технологию в рекламе. Но креативов вокруг маркерной технологии можно придумать достаточно много, а основной плюс её относительно других технологий стабильность. Так как при рекламной акции, рассчитанной на широкую аудиторию негатив никому не нужен, а пользователям будет плевать, почему на их телефоне не работает конкретная технология.

В благотворительности

По сути, очень похоже на рекламу, так как средства примерно такие же, только с целью осветить какую-то проблему.

В музеях и выставках

С помощью технологии меток можно оживить выставку и добавить интересного интерактива. Но, помимо этого, интересно к этому подошли в приложении Artefact. Навигация по точкам интереса обращая внимание на какие-то детали в картинах и рассказ истории об этой точке. Удобно и очень интересно.

В целом применений технологии очень много, и их полное перечисление само по себе растянется на несколько статей. Если даже отойти от телефонов метки используют в навигации дронов в пространстве, как систему рекалибровки и релокализации, в робототехнике, в инженерных задачах. К любой технологии трекинга можно придумать множество применений, так как определение позиции объекта в пространстве позволяет сделать много очень интересных взаимодействий. Когда-то даже был очень интересный концепт оживления настольных игр на Playstaition с помощью Eye Toy. Но перейдём же к самим технологиям. Да в основном я буду разбирать те технологии, с которыми я работал и запускал коммерческие проекты. Итак, приступим!

ARUCo (OpenCV)

Цена: Бесплатное

Поддерживаемые платформы: Android/IOS/WebGL/Win/Mac/Linux/Hololens

Совместимость с Unity: есть

Поддержка устройств: Широкая

https://docs.opencv.org/4.5.2/d5/dae/tutorial_aruco_detection.html

Если вы когда-то видели такие странные квадраты - это Аруко. Это технология для хардкорщиков. Из коробки для AR работает она откровенно плохо. Очень много шума. Но всегда можно реализовать обвязку которая решит эти проблемы. Допустим хорошо тречится так называемый аруко борд. Плюс если реализовать фильтр Маджевика, то тогда и jitter (тряска) будет не так сильно мешать. Основные плюсы: бесплатное (правда на допил уйдёт вероятно больше бюджета), умеет одновременно отслеживать очень большое число маркеров. Минусы: нельзя использовать изображения, кроме квадратов, что подходит далеко не для всех применений.

Vuforia

Цена: зависит от применения

Поддерживаемые платформы: IOS/Android/Win/Hololens

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.ptc.com/en/products/vuforia

Какой разговор про AR метки без Вуфории. Можно перейти правда сразу к главному недостатку технологии. Правильно купить её из РФ довольно сложно, и стоит это очень дорого. В остальном отличная технология. Имеет определение качества в вебе (правда ему стоит доверять с оговорками, так как он не определяет те же самые симметрии нормально). Работает очень хорошо, имеет интересную технологию вумарок. Недостатком с точки зрения долго развиваемого продукта является только тот факт, что у команды вуфории нет привычки к обратной совместимости. То есть каждая большая (а иногда и не очень) новая версия сдк ломает проект чуть ли не целиком, и требует переписать большую часть модулей. Что означает, что в долгосрочной перспективе решение требует поддержки, и поддержка будет дороже других технологий.

EasyAR

Цена: $1400 на приложение /$39 в месяц на приложение

Поддерживаемые платформы: IOS/Android/Win/Mac

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.easyar.com/

Отличная замена Vuforia. До третьей версии требовала небольшого допила в плане фильтрации данных и ряда мелочей, но версии постарше уже работают хорошо и без этого. Хотя на всякий случай со всеми технологиями лоупасс простой не помешает. Довольно просто купить ключ, одна из немногих технологий не по подписке. Работает с точки зрения маркерного трекинга отлично. В целом для широко рынка пока одно из лучших решений по соотношению цена/качество на мой взгляд.

XZIMG

Цена: бесплатно/2100 для использования в html5

Поддерживаемые платформы: IOS/Android/Win/Mac/Html5

Совместимость с Unity: есть

Поддержка устройств: широкая

https://www.xzimg.com/Products?nav=product-XAV

Одно из преимуществ технологии, одна из немногих коробочных технологий, работающих с WebGL и вебом в целом https://www.xzimg.com/Demo/AV. Работает неплохо в целом, но меньше спектр подходящих маркеров по сравнению с конкурентами. Бесплатное для коммерческого использования везде, кроме веба.

ARFoundation (aka ARCore/ARkit)

Цена: Бесплатно

Поддерживаемые платформы: IOS/Android

Совместимость с Unity: есть

Поддержка устройств: на Android порядка 20% устройств из общего числа моделей, IOS устройства с процессором A9+

Отличная технология для мобильных устройств. Бесплатная, хорошо работает и за счёт аппаратной поддержки тратит не так много ресурсов телефона. А недостатки, как всегда всё те же. Ограниченная поддержка на устройствах у пользователей. Соотношение постепенно растёт и в пределах нескольких лет возможно устройства будут у большего числа людей. Но пока по оценке данного ресурса (которая по методологии вызывает недоверие в плане точности) https://www.aronplatform.com/mobile-ar-penetration-2020/ AR supported устройства есть у 41.6% держателей смартфонов. Если посчитать точнее, думаю это число будет меньше. Но терять 60% аудитории в рамках акции или некоей платформы из-за технологии AR это должно быть весьма обоснованным решением.

SparkAR

Цена: Бесплатно

Поддерживаемые платформы: Android/IOS

Совместимость с Unity: нет, но можно сделать ссылку в приложении

Поддержка устройств: широкая

https://sparkar.facebook.com/ar-studio/

В спарке также есть возможность пользоваться AR метками. И если целевой аудиторией компании являются пользователи инстаграма и основной таргет шейринг это отличное решение. Основные минусы: политики фейсбука и инстаграма + ограниченность инструментов для отрисовки графики. К плюсам можно отнести бесплатность, быстрый доступ к аудитории. Важный нюанс, который надо иметь в виду разработчикам, то, что маркеры для той же вуфории отличаются от маркеров для спарка. У фейсбука своя технология и свой гайдлайн, который имеет ряд отличий в том, какой маркер будет хорошо работать.

Достойные упоминания

Это были не все технологии маркерного трекинга, так же на рынке присутствует Wikitude, ARmedia, MAXST - но с данными технологиями мне не довелось поработать, поэтому ничего не могу сказать про их качество работы, и какие-то тонкие моменты.

Спасибо за внимание! Если вам была интересна тема, то, когда у меня в следующий раз появится время постараюсь написать обзор на тему Hand Tracking или чего-нибудь её.