Русский
Русский
English
Статистика
Реклама

Vr

Интервью с Яной Артищевой обучение в НИУ ВШЭ ВШБИ и страсть к VR-играм

21.02.2021 22:15:46 | Автор: admin

Яна Артищева закончилапрограмму НИУ ВШЭ ВШБИ Менеджмент игровых проектов(МИП). Теперь делает игры для виртуальной реальности. Поговорил с ней насчёт любимых игр детства, перспектив и проблем VR и фишек обучения геймдеву в НИУ ВШЭ ВШБИ. Интервью выходит при поддержке МИП.

1. Почему решили прийти в игровую индустрию? Сложно было перейти?

Сцена из древней игры Gabriel Knight: Sins of the Fathers компании Sierra On-LineСцена из древней игры Gabriel Knight: Sins of the Fathers компании Sierra On-Line

Любимыми компьютерными играми моего детства были игры компании Konami (спасибо, Кодзима!), в которые я играла на школьных компьютерах Yamaha MSX. Просто играть было мало, сразу же захотелось сделать сделать собственную игру. И я окунулась в изучение программирования - Basic, ассемблер и машинные коды, затем Pascal, C, Java С тех пор я постоянно пробовала писать игры. Но профессией это стало только в начале 2000х, когда появились мобильные телефоны с играми на Java. Мобильные игры возродили жанр старых "8-битных" казуалок и пиксел-арта. Если для создания качественной игры для PC требовалась Команда, Деньги и Месяцы (а нередко и Годы), то сделать игру для мобильного телефона можно было вдвоём с подругой-художницей за 1-2 месяца. И в 2003 году мы с друзьями создали небольшую компанию. Идея проекта была в том, чтобы игры были бесплатны, а деньги зарабатывались показами рекламы между уровнями. В общем, в 2003 мы изобрели то, что много лет спустя назовут free2play ;) К 2005 году мы выпустили дюжину небольших казуальных игр, сделали баннерную сеть с таргетингом, статистикой и прочими фишками. Нашли первых клиентов - Евросеть, издательство CD-Land (они предоставляли призы для наших еженедельных турниров), реселлера BeeLine. Мы быстро подняли аудиторию до 80,000 уникальных пользователей - больше, чем аудитория журнала "Мобильный портал", где мы давали рекламу. Но как мы ни старались, нам не удалось найти рекламодателей, готовых заплатить реальными деньгами, а не компакт-дисками и прочими призами. В 2007 году мы свернули проект, а игры сдали в аренду Samsung Fun-Club'у. В минусе не остались, но и особо не разбогатели. А через год или два встроенная реклама появилась в играх на андроидах и айфонах. Но уже без нас. Так я получила первый урок, что недостаточно сделать хороший и востребованный продукт. Кроме разработчиков продукту жизненно необходим продажник!

2. Как вам помогла образовательная программа НИУ ВШЭ "Менеджмент игровых проектов"? Что вы почерпнули? Какие, по-вашему, плюсы и минусы этого курса?

Выпуск курса МИП-7 ВШБИ, 2018 годВыпуск курса МИП-7 ВШБИ, 2018 год

Когда я услышала от своего коллеги по Azur Games, чтопрограмма Менеджмент игровых проектов просто огонь, мне показалось, что он несколько переигрывает с восторженностью. Теперь я и сама могу сказать, что курс МИП-7 одна из самых ярких страниц моей жизни. Серьёзно! Нет ничего более захватывающего, чем учиться тому, что даёт тебе самый дикий драйв в жизни. Когда среди учебных предметов нет ни одного скучного, неинтересного или ненужного. Когда тебя окружают единомышленники. Это куда круче, чем обычный ВУЗ. Мне удалось увидеть разработку игры с точки зрения других участников процесса продюсера, маркетолога, аналитика, коммьюнити-менеджера, пиарщика. Ретеншн нулевого дня, выгорание и прочие MAU-DAU для меня больше не птичий язык. Были бы у меня эти знания лет 15 назад кто знает, как бы сложилась судьба моих канувших в Лету проектов telegames.ru и AR-Go. Что же касается минусов Очень жаль, что этот курс так быстро закончился. И огромный минус для нынешних студентов то, что эпидемия коронавируса перенесла большую часть курса в онлайн. Нетворкинг, сотрудничество между студентами, живая помощь преподавателей, ставших твоими друзьями это сложно переоценить. Не знаю, удалось ли в онлайне сохранить этот драйв, этот крутейший team spirit.

3. Почему именно VR?

VR-игра Wolfenstein: Cyberpilot компании Arkane Studios/Machine GamesVR-игра Wolfenstein: Cyberpilot компании Arkane Studios/Machine Games

Создавать собственные миры непередаваемое чувство. Ты придумываешь мир, его логику (или алогичность), настроение, как он будет выглядеть. А потом Потом случается чудо. Ты не просто видишь этот мир в проекции на маленький прямоугольничек 40-дюймового дисплея. Тыоказываешьсявнутри придуманного и созданного тобой мира. Религия говорит, что Бог создал человека по своему образу и подобию? Думаю, нашему создателю доставляет радость видеть, как его дети становятся как и он Творцами. Кто-то творит миры на страницах своих книг. Кто-то дарит жизнь мирам Пандоры и мира Льда и Пламени. А кто-то, подобно Рене Корда из "Нейромансера" Роджера Желязны, создаёт почти реальные, почти осязаемые миры. VR позволяет почувствовать себя творцом, создателем, волшебником, создающим живой мир, в начале которого было Слово (и слово было гейм-дизайн документ).

4. Какие VR-игры вам нравятся?

Год назад мне посчастливилось принять участие в совместном проекте Эрмитажа и компании КРОК по воссозданию виртуальной копии нескольких залов музея ЭрмитажГод назад мне посчастливилось принять участие в совместном проекте Эрмитажа и компании КРОК по воссозданию виртуальной копии нескольких залов музея Эрмитаж

Когда-то я запоем играла в квесты тогда этим словом назывались не задания в рамках игры, а отдельный класс игр, где основу геймплея составлял нарратив, история, которую тебе нужно разгадать и пройти. Space Quest, Gabriel Knight: Sins of Fathers, Leisure Suit Larry, Secret of Monkey Island, Loom, Torin's Passage, Kyrandia, Neverhood это неполный список игр-приключений, которые сформировали мои геймерские пристрастия. Нарратив, история, в которую ты погружаешься для меня это основное удовольствие от игры. Квесты, перенесённые в VR это уже не просто приключение, которое ты помогаешь пройти персонажу на экране компьютера или мобильника. Это ещё одна жизнь, которую ты проживаешь. Это Storytelling, превратившийся в Storyliving. Из VR-игр для меня стала настоящим открытием Hellblade: Senua's Sacrifice. У игры есть множество недостатков. Это и кошмарный UI, абсолютно несовместимый с VR, и чисто программерские баги, и многое другое. Но замечательная история, прекрасный визуал, абсолютно естественные, реалистичные движения и мимика заставляют забыть обо всех минусах, запоем пройти игру в 3 дня за 27 часов. И ты бежишь в магазин за геймпадом, когда твои пальцы атрофировались от попыток вслепую (VR же) бегать по клавиатуре Буду банальной, но сейчас для меня лучшей VR-игрой стала Half-Life: Alyx. Это очень чисто и качественно сделанный продукт. Alyx определённо подняла планку для VR-игр и в плане графики, и в плане геймплея. Игра не позволяет тебе скучать, надолго застряв на каком-то этапе. Это настоящий шедевр. Неожиданно понравилась игра Wolfenstein: Cyberpilot. Да, у неё размытая графика, она проходится за одно утро. Но увлекательная история, качественное русское озвучание, французский шарм все эти моменты определённо меня покорили. Ещё у меня в фаворитах The Walking Dead: Saints & Sinners и Westworld: Awakening. Но пока они который месяц ждут, когда закончится мой роман с Alyx. Немного разочаровала игра Obduction. Я несколько лет ждала этот тайтл от создателей легендарного M.Y.S.T. (в который я в своё время так и не сыграла). Но слишком пустынный и статичный мир, которому плевать, что ты третью неделю не можешь продвинуться А тебе есть, куда уйти и я ушла в Alyx и Westworld. Когда-нибудь я непременно вернусь в Obduction. Непременно. Когда-нибудь. Наверное

Приятной неожиданностью стало отечественное VR-приключение "Эффект Кесслера". Несколько лет назад оно было разработано для развлекательных VR-площадок, сейчас его можно купить в Steam. Не шедевр, но отличный вариант, чтобы познакомить с VR своих друзей или родственников, ни разу не надевавших шлема.

Но не нарративом единым. Весьма неплоха оказалась VR-версия Angry Birds. А Beat Saber, этот хит всех времён и народов я долгое время презирала за примитивность. Хотя тут скорее всего взыграла ревность, что не я придумала такую простую и популярную игру. В итоге приняла и полюбила. Beat Saber стал первой покупкой для моего Oculus Quest.

5. Как оцениваете нынешнее состояние и будущее VR?

Виртуальная выставка картин художника Александра Верстова в старинном замке VR-игры "Owling Crowling Bowling". Иллюстрация предоставлена Яной АртищевойВиртуальная выставка картин художника Александра Верстова в старинном замке VR-игры "Owling Crowling Bowling". Иллюстрация предоставлена Яной Артищевой

Что касается B2B VR он уверенно занял своё место под солнцем, и в его будущем особых сомнений ни у кого нет. А вот домашний VR много лет постоянно пытаются хоронить. В том, что у бытового, домашнего VR есть будущее, я не сомневаюсь. Есть игроки, для которых важен нарратив. Есть любители крутого визуала. VRжевыявил ещё одну категорию игроков: иммерсионисты те, кому важно погружение в игру. Начав в 2015 активно играть в VR-игры на лучшей на тот момент мобильной VR-платформе Gear VR, я через пару лет обнаружила, что больше не могу в плоскоэкранные игры. Я честно пыталась заставить себя играть в Far Cry 5, в Метро 2033 и бросала, не отыграв и пары дней. Вместо удовольствия от игры на плоском экране я чувствовала недоумение что я делаю? зачем? Даже Armikrog, сиквел любимейшего много лет назад Neverhood, не удержал меня и недели Последний год армиягеймеровдомашнего VR пополнилась владельцами шлемов Oculus Quest. И последние полгода я постоянно встречаю в фейсбучных группах, посвящённых Квесту, изумлённые посты: Я больше не получаю удовольствия от обычных игр! А вы? Да, рынок пока невелик по объёму в сравнении с мобильным или PC-рынком. Но он уверенно растёт. Нет недостатка в качественных VR-играх. Многие американские семьи покупают по 2-3 шлема Oculus Quest и делают полноценные домашние VR-зоны, о которых владельцы отечественных малогабариток и мечтать не могут Полагаю, в ближайшие 2-3 года рост VR-аудитории ускорится, а лет через 5 она будет вполне сравнима с аудиторией игровых консолей.

6. Какие жанры, по-вашему, больше подходят для VR?

Lost Horizon музыкальный фестиваль в VRLost Horizon музыкальный фестиваль в VR

Однозначно спортивные и фитнесс-игры. Никакая мобильная или PC-игра не заставит вас потерять столько калорий и пропотеть так, как это сделает Beat Saber или Knockout League. Раньше на этом поле пытались играть Nintendo Wii и Kinect. Теперь их место занял домашний VR.

Социальные VR-приложения только в этом году в VR прошло множество конференций, выставок, концертов, фестивалей: Last Horizon,Laval Virtual 2020, goEast А какие бесплатные концерты в формате 360 проводит МТС! Это же потрясающе находясь на самоизоляции, надеть VR-шлем и два часа зажигать на живом концерте любимой группы!

Даже наш инди-проект Owling? Crowling? Bowling! не оказался в стороне в начале июня в интерьере виртуального готического замка нашей игры прошла выставка картин художника Александра Верстова. Осенью в нашей игре запланирована выставка известного фото-художника.

Полагаю, в ближайшие два-три года появятся полноценные интерактивные фильмы и сериалы, которые превратят нас из пассивных зрителей в реальных участников разворачивающейся истории. Но язык такого нового кинематографа пока лишь предстоит изобрести. Многие приёмы, отлично зарекомендовавшие себя в классическом кинематографе, категорически не годятся для VR. С нетерпением жду революцию, которую VR в сочетании с искусственным интеллектом произведут в нарративном жанре!

Ну и не стоит забывать, какой контент привёл стандарт VHS к мировому господству. Без сомнения, интимный жанр будет всё активнее осваивать VR и послужит локомотивом для создания новых технологических решений, которые сделают погружение в VR реалистичнее и достовернее.

7. Какие сложности возникли при разработке для VR?

Процесс игры на VR-аренеПроцесс игры на VR-арене

Сложностей, увы, пока немало.

  • Прежде всего отсутствие отработанных приёмов UX/UI. Пока это сплошной R&D с более или менее удачными находками.

  • Специалистов с опытом разработки и продвижения VR-продуктов куда меньше, чем спецов по мобильным играм, так что сформировать команду профессионалов для VR сложнее, чем для мобильной или десктопной игры.

  • VR-шлемы девайс пока экзотический, поэтому непросто организовывать и удалённую разработку. В нашей команде VR-шлемы есть только у двоих из 10 разработчиков. Приходится разрабатывать игру так, чтоб она могла работать и в VR, и в десктопном режиме, чтобы каждый из нас мог тестировать игру хоть со шлемом виртуальной реальности, хоть без.

  • VR-игрок как правило не сидит за компьютером, а активно двигается на игровой площадке. Если для домашнего пользователя можно ограничиться площадкой 2x2 метра, то площадки для VR-арен могут доходить до нескольких сотен квадратных метров. Дома или в офисном опенспейсе игру для VR-арены не разработать, нужна большая площадка для тестирования хотя бы 10x10 метров.

  • У PC VR другие требования к технике нужны довольно мощные компьютеры, а для VR-арен и специализированные устройства. Стоимость оборудования для VR-арены (камеры Optitrack, компьютеры-ранцы, шлемы и др.) может достигать многих миллионов долларов.

8. Чем отличается разработка для VR от обычного геймдева? Другие специалисты, методология?

В VR необходимо уделять особенное внимание тем моментам, которые не особенно критичны для десктопной или мобильной игры. В обычной игре, делая кат-сцену, достаточно создать только тот участок игрового мира, который видит камера. В виртуальной реальности игрок может крутить головой во все стороны, поэтому для кат-сцены приходится создавать всё окружение вокруг игрока, а это в разы больше работы. Также необходимо принимать во внимание, что игрок видит сцену не в виде плоской проекции, а в стерео. При портировании десктопных игр в VR необходимо это учитывать. В своё время мне очень хвалили Skyrim, и я с нетерпением ждала выхода VR-версии этой игры. Но в самом начале игры всё впечатление от неё мне испортил спрыгивающий с телеги пленник.Вместо того, чтобы стоять на полу телеги, он висел сантиметрах в 15 над ним. Понятно, что в PC-версии это было незаметно ступни пленника отрисовывались поверх днища телеги, и у зрителя, наблюдающего эту сцену на экране монитора, было впечатление, что персонаж надёжно стоит досках. Но в VR я отчётливо видела эту непреднамеренную левитацию , что он не стоит, а висит. Моё "погружение" в игровой мир было полностью разрушено. Поиграв ещё минут 10, я выключила игру и больше к ней не возвращалась.

Передвижение в виртуальном мире особая тема. Из-за того, что ощущения движения тела игрока не совпадают с тем перемещением, которое он видит в VR, возникает укачивание как при морской болезни на борту корабля. Путём проб и ошибок VR-разработчики изобрели разнообразные способы, позволяющие в той или иной степени успешно бороться с укачиванием. Но пока морская болезнь всё ещё остаётся серьёзной проблемой при приложений виртуальной реальности.

Dragonsnake VRDragonsnake VR

Для снижения укачивания в VR есть разные трюки и хитрости. В первой версии моей игры Dragonsnake VR игрок превращался в огнедышащего дракона. Но поначалу многих игроков довольно сильно укачивало. В итоге сделали игрока наездником, оседлавшим дракона и голова дракона, которую постоянно видит перед собой игрок, стала визуальным стабилизатором. Благодаря этому приёму укачивание снизилось процентов на 30. Но пришлось адаптировать геймплей и сюжет игры к новой роли главного героя.

Не каждый игрок способен провести в виртуальной реальности дольше 15 минут (хотя я легко могу проводить в VR по 8-9 часов непрерывно). Это тоже приходится учитывать при планировании игровой сессии.

Визуальное программирование в Unreal Engine с помощью blueprintsВизуальное программирование в Unreal Engine с помощью blueprints

Лично мне очень не хватает возможности работать с VR-контентом непосредственно в виртуальной реальности. Сейчас наконец стали появляться подобные инструменты. Unreal Engine позволяет работать со сценой, одев VR-шлем. Из средств 3D-моделлинга стоит обратить внимание на Gravity Sketch. Но, к сожалению, пока не появилось решений для полноценной разработки логики приложения в VR. Есть попытки перенести в VR редактирование исходных текстов, но это определённо не самая удачная идея. Более интересны эксперименты с визуальным программированием в VR соединяя между собой визуальные блоки (blueprints), разработчик задаёт логику виртуального мира. Увы, простое копирование способа разработки с "плоского экрана" в виртуальную реальность обречено на неудачу. Для разработки программной логики непосредственно в виртуальной реальности нужны новые идеи и решения, "заточенные" именно под VR.

Интересно, что с недавнего времени мы перенесли наши еженедельные брифинги по игре из Skype в саму игру. Запустив её, мы в облике студентов магической академии собираемся в старинном замке, где разворачивается история Owling Crowling Bowling. Кто-то надев VR-шлем, кто-то сидя перед экраном своего компьютера. Теперь во время совещаний мы можем подойти к конкретной точке игровой локации, обсудить, что не так с текстурой или освещением буквально показать пальцем, что требуется доработать. До карантина мы собирались в кафе, чтобы протестировать физику нашей игры. Теперь мы тестируем её непосредственно в VR. Ну и, конечно, непередаваемое ощущение, когда ты не просто делаешь игру, а создаёшь мир, внутри которого можешь оказатьсявнутри, а не смотреть на его плоскую проекцию через окошечко дисплея!

9. Как оцениваете состояние образования по геймдеву вообще и по VR в частности?

За последние годы появилось множество курсов, помогающих "войти" в геймдев XYZ School, Нетология и множество других. Я давно работаю в игровой индустрии, и тем не менее, несколько лет назад прошла курс "Менеджмент игровых проектов" в Высшей Школе Экономики. Мне захотелось взглянуть на процесс разработки и продвижения игр не только с программерской позиции, но и с точки зрения маркетолога, геймдизайнера, биздева и др. Курс оставил самые яркие впечатления! Теперь мне гораздо проще находить общий язык с коллегами по проекту. Появились новые профессиональные знакомства. Что касается обучения VR-разработке, возможно и есть хорошие очные курсы, но я о таких не знаю. Зато есть немало обучающих онлайн-ресурсов. У Вышки был отличный крус VR-разработки на Unreal Engine, но он был закрыт из-за недавней смерти Станислава Маеренко, одного из преподавателей курся. Стоит изучить уроки и туториалы на ресурсах Unity 3D и Unreal Engine. Весьма неплохой цикл лекций от лондонского университета (University of London) по созданию VR-персонажей я нашла на Coursera. Ну и на YouTube огромнейшее количество разнообразных мануалов и туториалов самого разного качества. Хотя по моему глубокому убеждению, и создание контента виртуальной реальности, и обучение VR-разработке со временем переместятся в виртуальную реальность ведь это наиболее естественная среда для работы с виртуальной реальностью.

Вот такая вышла беседа. Мог бы повториться, о чём говорили, но вы ведь это уже видели. Спасибо, что читаете. Будем популяризировать геймдев в месте. Глядишь, и станет он у нас гордым и классным.

Подробнее..

Как посмотреть плоские фильмы в 3D

24.11.2020 18:14:36 | Автор: admin

Это расширенная версия моей публикации на Medium

Недавно я сидел в баре с другом зашел разговор о том, в каких задачах в принципе может быть эффективен нейросетевой подход, а где они совершенно излишни. Один класс примеров, где нейросети часто наголову превосходят классические алгоритмы - обработка изображений. Точность решения задачи распознования объектов на изображении может даже превосходить человеческое восприятие. Кроме того, интересны и задачи переноса стиля, генерации реалистичных изображений, superresolution итд. Нейросети могут быть очень эффективны также в задачах типа pixtopix, когда происходит генерация одного изображения из другого. Тогда у меня и возникла идея попробовать применить данные алгоритмы для преобразования 2d фильмов в 3d.

О задаче

Технология создания стереоскопических 3д фильмов насчитывает около 100 лет - больше чем истории записи совмещенных звуковых и видео дорожек. Однако из-за требований к оборудованию для воспроизведения и наличия специальных очков для просмотра, стереоскопические фильмы до сих пор не являются стандартом для съемок. С появлением дешевых очков виртуальной реальности может возникнуть соблазн пересмотреть любимые фильмы в 3д. Однако для создания стереоскопического фильма используются 2 видеокамеры, расположенные на расстоянии около 6.5 см снимающие 2 видео одновременно. Для качественной конвертации старых фильмов в 3д и показа их в кинотеатре необходима ручная работа большого количества художников для разметки сцены и ручной отрисовки большинства кадров для другого глаза.

Данная задача до недавнего времени плохо поддавалась автоматизации из-за отсутствия однозначного решения при восстановлении стереоскопического изображения из монокулярного. Существует несколько проблем, которые плохо поддаются программному алгоритмическому решению. В идеальном случае, для генерации (рендеринга) изображения для глаза необходимо знание о пространственном расположении всех объектов, видимых глазом. Задача определить расстояние до объекта при помощи одного глаза является невыполнимой из-за недостатка данных. Преимущество бинокулярного зрения именно в том, что параллакс можно использовать для оценки дальности до объекта. Тем не менее, если человек закроет глаз, он может легко сказать, далеко или близко находится какой-либо объект. Определение дальности до объекта при монокулярном зрении возможно при получении информации о фокусном расстоянии и напряжению мышц, управляющих хрусталиком (глаз всегда сфокусирован либо на объектах вблизи, либо вдали). У близоруких и дальнозорких людей нарушена способность фокусироваться на далеких и близких объектах. Если же человеку дать фото , снятое при помощи фотоаппарата с фиксированным, но неизвестным фокусным расстоянием, принципиально невозможно определить далеко или близко находится изображенный объект от камеры. Съемка фото при помощи фото с большой глубиной резкости позволяет обмануть наш мозг относительно расстояния и размеров объектов или даже об относительных размерах объектов.

Однако если человека не пытаются намеренно обмануть, то можно оценить дальность и относительные расстояния исходя из нашего опыта и представления о стандартных размерах видимых объектов и перспективе. Человеческий мозг сам определяет, что если видимый размер дерева меньше, чем человек то скорее всего мы имеем дело с человеком вдали. Именно эта способность необходима для создания кадров для второго глаза из монокулярных изображений.

Вторая существенная проблема при создании кадра часто нужна отсутствующая информация.

Даже если мы получим информацию, что видит правый глаз на картинке, из нее нельзя восстановить, что видит левый глаз в изображении доски нет никакой информации о том, что же за забором. В большинстве случаев, тем не менее, картинки бывают схожими и единственная неопределенность возникает, когда близко расположенные объекты закрывают различные части фона для правого и левого глаза. Художникам необходимо догадываться, что находится в некоторых областях, невидимых одним глазом. К счастью, в фильмах обычно все важное и существенное показывают а закрытые части от заднего плана мало отличаются от фона.Две задачи определение расстояния до видимых объектов и отрисовка невидимых областей затрудняют автоматизацию. Однако обе эти задачи выглядят достаточно простыми для решения при помощи сверточных нейросетей. Задача определения дальности объектов из монокулярных изображений нужна для разработки беспилотных автомобилей, поэтому существуют готовые решения и нейросети, приемлемо ее решающие.

Так как построение карты глубин, а это важная часть задачи генерации изображения для левого глаза из изображения для правого глаза решена, можно использовать вышеназванную предобученную сеть как часть своего решения (такой подход называется transfer learning)

Я приобрел дешевые 3d очки системы google cardboard для небольших экспериментов с vr. Одна из возможностей их использования мне показалась особенно привлекательной - смотреть стереоскопические изображения и видео.

Подготовка датасета

В качестве обучающего и валидационного датасета были использованы кадры из пары десятков скачанных с торрентов легально приобретенных 3D фильмов и мультфильмов. Для предотвращения переобучения модели использовался каждый 200й кадр, что исключало почти идентичные кадры из рассмотрения. Часто стереоскопические фильмы храняться в том же формате, что и обычные фильмы с особой меткой в метаданных и изображением, состоящим из 2х частей - для правого и левого глаза. Форматы стереовидео называются OverUnder, Side-by-Side. Чаще всего в видео OverUnder изображения для левого глаза находится над изображением для правого глаза, хотя редко встречается и противоположная ситуация. В некоторых вариантах формата изображение сжато в два раза по одной из осей. Такого типа видео легко интерпретируются большинством видеопроигрывателей. Подготовим нарезку верхних и нижних кадров для обучения и положим их в папки Uf и Df:

После конвертации нескольких фильмов в папке Uf находятся кадры для правого глаза, Df для левого глаза. Также для такого рода задач важна информация о геометрическом положении пикселей. Учет положения пикселей может быть реализован в слое CoordConv - слое, добавляющем координаты пикселя. Идея CoordConv может также быть реализована путем генерации input - канала, содержащего координаты атомов (корректно заставить работать CoordConv на фреймворке keras оказалось трудозатратно). Создадим генератор изображений для обучения:

Архитектура используемой сети

Я использовал end-to-end модель без добавления знаний о геометрии мира и расположении глаз. После нескольких попыток, была выбрана следующая архитектура (очень постарался, чтоб нарисовать,но многие детали все равно не очень подробны):

Из особенностей, специфичных для задачи можно выделить

1. Использование предобученной сети для определения дальности до объектов (отличные результаты были получены тут https://github.com/ialhashim/DenseDepth ). Выход нейросети был нормированы для более быстрого дальнейшего обучения.

2. Использования Skip-connections кадр для правого глаза должен быть похож на кадр для левого глаза

3. Использование информации о геометрическом положении пикселя (обычно бывает реализовано в виде CoordConv слоя [https://arxiv.org/pdf/1807.03247.pdf ], я просто добавил 2 входных канала с использованием numpy, что эквивалентно)

4. Использование фильтров, в свертках последних Residual блоков вытянутых горизонтально связано с тем, что основные искажения горизонтальные смещения некоторых объектов.

Эксперименты показали, что использование в качестве функции потерь попиксельного среденеквадратичного или среднемодульного отклонения приводит к размыванию и низкому качеству изображения. Поэтому в качестве функции потерь использовалась линейная комбинация mse, structural similarity loss (это функция оценки схожести изображений, включающая в себя схожесть контрастности изображений) и loss, основанный на низкоуровневых признаках, извлеченных при помощи нейросети VGG16.


Загрузим предобученную DenseDepth модель и добавим слои для генерации изображения для другого глаза: (что лежит в custom_objects можно посмотреть на гитхабе или kaggle). Предобученная модель nyu.h5 взята отсюда

Обучение

Сохраняем промежуточные результаты в чекпоинт и запустим обучение (делал это в облаке kaggle):

В результате была получена нейросеть, генерирующая изображение из монокулярного. Для проверки качества работы удобно создавать гифки, подобные той, что в заголовке - периодически меняем 2 изображения и видим, что возникает ощущение взгляда "под другим углом". Для этого создадим функцию создания анимированных gif из картинки:

Результат:

Видим, что на gif изображениях ощущения объема достаточно реалистичное. Попробуем перекодировать фильм, изначально выпущенный в 2d. Для этого сконвертируем каждый кадр и добавим его в новом видео (к сожалению ютуб только формат side-by-side):

К сожалению, скорость конвертации дялека от реального времени (на моем ноутбуке с gtx1060 3gb) 1 кадр кодируется от 100мс до 1 с в зависимости от разрешения. Есть надежда, что более мощные gpu позволят сделать 3d- аидеоплеер с конвертацией в реальном времени.

К сохраненному видео можно добавить звук и флаги метаинформации при помощи утилиты ffmpeg:

ffmpeg -i output.mp4 -i inputvideo.mp4 -map 0:v -metadata stereo_mode=1 output.mkv

Загрузка нейросети в облако GoogleColab

Так как GPU есть не у всех, готовую предобученную сеть можно запустить в googleColab, выделяющей каждому юзеру виртуальную машину с gpu ускорителем . Я попытался сделать относительно простой интерфейс. Для запуска следует нажать run и загрузить ваше видео. Конвертация обычно занимает около 1 с на 1 кадр при разрешении по умолчанию. После нее видео скачается на ваш компьютер.

Для того, чтобы оценить работу сети по конвертации фильмов, я сконвертировал несколько из них и приобрел недорогие 3d очки для смартфона. Для просмотра использовалось приложение1 приложение2 и приложение3. По результатам субъективного опыта могу сказать, что эффект объема действительно присутствует и серьезных артефактов, мешающих просмотру не наблюдается. Однако сгенерированное изображение для левого глаза оказывается немного размытым, поэтому при просмотре может возникнуть ощущение, что просело зрение на одном глазу (сказано другом, который проверял видео и немного испугался, что глаз стал хуже видеть).

К сожалению, youtube плохо отображает стереоскопические видео на различных устройствах. Поэтому примеры некоторые конвертированные видео показаны в режиме стереопары для красно-синих очков. Для примера также одно видео конвертировано без добавления метаданных о типе стереопары (отображается в youtube как Sidebyside видео)

Заключение

Спасибо всем, кто дочитал досюда. Вот ссылка на googleColab для преобразования ваших 2D-видео в 3D. Также буду рад вашим предложениям по повышению качества конвертера (не хотелось бы сильно усложнять модель при этом). Конвертированные видео можно просматривать с помощью любых 3d мониторов/TV и VR-шлемов в том числе GoogleCardboard

Подробнее..

Как я делал систему оптического трекинга

20.01.2021 20:22:57 | Автор: admin

Дело было в далеком 2015 году. В продаже только появились очки виртуальной реальности Oculus DK2, рынок VR игр быстро набирал популярность.

Возможности игрока в таких играх были невелики. Отслеживалось всего 6 степеней свободы движений головы вращение (инерциалкой в очках) и перемещение в маленьком объеме в зоне видимости инфракрасной камеры, закрепленной на мониторе. Процесс игры представлял собой сидение на стуле с геймпадом в руках, вращение головой в разные стороны и борьбу с тошнотой.

Звучало не очень круто, но я увидел в этом возможность сделать что-то интересное, используя свой опыт в разработке электроники и жажду новых проектов. Как можно было эту систему улучшить?

Конечно, избавиться от геймпада, от проводов, дать возможность игроку свободно перемещаться в пространстве, видеть свои руки и ноги, взаимодействовать с окружением, другими игроками и реальными интерактивными предметами.

Видел я это так:

  1. Берем несколько игроков, надеваем на них VR очки, ноутбук и датчики на руки, ноги и туловище.
  2. Берем помещение, состоящее из нескольких комнат, коридоров, дверей, оборудуем его системой трекинга, вешаем датчики и магнитные замки на двери, добавляем несколько интерактивных предметов и создаем игру, в которой геометрия виртуальной локации точно повторяет геометрию реального помещения.
  3. Создаем игру. Игра представляет собой многопользовательский квест, в котором несколько игроков надевают на себя оборудование и оказываются в виртуальном мире. В нем они видят себя, видят друг друга, могут ходить по локации, открывать двери и совместно решать игровые задачи.

Эту идею я рассказал своему товарищу, который неожиданно воспринял ее с большим энтузиазмом и предложил взять на себя организационные вопросы. Так мы решили мутить стартап.

Для реализации заявленного функционала, нужно было создать две основные технологии:

  1. костюм, состоящий из датчиков на руках, ногах и торсе, отслеживающий положения частей тела игрока
  2. система трекинга, отслеживающая игроков и интерактивные объекты в 3D пространстве.

Про разработку второй технологии и пойдет речь в этой статье. Может быть, позже напишу и про первую.

Система трекинга.


Бюджета на все это, конечно, у нас не было, поэтому нужно было сделать все из подручных материалов. Для задачи отслеживания игроков в пространстве я решил использовать оптические камеры и светодиодные маркеры, закрепленные на VR очках. Опыта подобных разработок у меня не было, но я уже что-то слышал про OpenCV, Python, и подумал, что справлюсь.

По задумке, если система знает где расположена камера и как она ориентирована, то по положению изображения маркера на кадре можно определить прямую в 3D пространстве, на которой этот маркер находится. Пересечение двух таких прямых дает итоговое положение маркера.



Соответственно, камеры нужно было закрепить на потолке так, чтобы каждая точка пространства просматривалась минимум двумя камерами (лучше больше, чтобы избежать перекрытия обзора телами игроков). Для покрытия трекингом предполагаемого помещения площадью около 100 кв.м., требовалось около 60 камер. Я выбрал первые попавшиеся дешевые на тот момент usb вебки.



Эти вебки нужно к чему-то подключать. Эксперименты показали, что при использовании usb удлинителей (по крайней мере, дешевых), камеры начинали глючить. Поэтому решил разделить вебки на группы по 8 штук и втыкать их в системники, закрепленные на потолке. На моем домашнем компе как раз было 10 usb портов, так что пришло время начинать разработку тестового стенда.

Архитектуру я придумал следующую:
На каждые очки вешается акриловый матовый шарик от гирлянды с вклеенным внутрь RGB светодиодом. Одновременно в игре предполагалось несколько игроков, так что для идентификации решил разделять их по цвету R, G, B, RG, RB, GB, RB. Вот так это выглядело:



Первая задача, которую нужно выполнить написать программу поиска шарика на кадре.

Поиск шарика на кадре

Мне нужно было в каждом кадре, пришедшем с камеры, искать координаты центра шарика и его цвет для идентификации. Звучит несложно. Качаю OpenCV под Python, втыкаю камеру в usb, пишу скрипт. Для минимизации влияния лишних объектов на кадре, выставляю экспозицию и выдержку на камере в самый минимум, а яркость светодиода делаю высокой, чтобы получить яркие пятна на темном фоне. В первой версии алгоритм был следующий:

  1. Переводим изображение в градации серого
  2. Бинаризуем по порогу (если яркость пикселя больше порога, он становится белым, иначе черным). При этом размытое пятно от шарика превращается в кластер белых пикселей на черном фоне
  3. Находим контуры кластеров и их центры. Это и есть координаты шарика на кадре
  4. Определяем усредненный цвет пикселей кластера (на исходном цветном изображении) в окрестности его центра для идентификации




Вроде, работает, но есть нюансы.

Во-первых, на дешевой камере матрица довольно шумная, что приводит к постоянным флуктуациям контуров бинаризованных кластеров и соответственно к дерганью центра. Нельзя, чтобы у игроков дергалась картинка в VR очках, поэтому нужно было эту проблему решать. Попытки применять другие виды адаптивной бинаризации с разными параметрами не давали большого эффекта.

Во-вторых, разрешение камеры всего лишь 640*480, поэтому на некотором расстоянии (не очень большом) шарик виден как пара пикселей на кадре и алгоритм поиска контуров перестает нормально работать.

Пришлось придумывать новый алгоритм. В голову пришла следующая идея:

  1. Переводим изображение в градации серого
  2. Размываем картинку мощным Gaussian blur ом так, чтобы изображения светодиодов превратились в размытые пятна с градиентом яркости от центра к периферии
  3. Находим самые яркие пиксели на изображении, они должны соответствовать центрам пятен
  4. Так же определяем средний цвет кластера в окрестности центра


Так работает гораздо лучше, координаты центра при неподвижном шарике неподвижны, и работает даже при большом расстоянии от камеры.

Чтобы убедиться, что все это будет работать с 8-ю камерами на одном компе, нужно провести нагрузочный тест.

Нагрузочный тест

Подключаю 8 камер к своему десктопу, располагаю их так, чтобы каждая видела светящиеся точки и запускаю скрипт, где описанный алгоритм работает в 8-ми независимых процессах (спасибо питонской либе multiprocessing) и обрабатывает все потоки сразу.

И сразу натыкаюсь на фейл. Изображения с камер то появляются, то исчезают, framerate скачет от 0 до 100, кошмар. Расследование показало, что часть usb портов на моем компе подключены к одной шине через внутренний хаб, из-за чего скорость шины делится между несколькими портами и ее уже не хватает на битрейт камер. Втыкание камер в разные порты компа в разных комбинациях показало, что у меня всего 4 независимых usb шины. Пришлось найти материнку с 8-ю шинами, что было довольно непростым квестом.

Спойлер
Подошли материнки с чипсетом Intel B85, в них поддерживается аж 10 usb шин. Но для работы с 10-ю камерами, нужно перекомпилить OpenCV, т.к. в нем захардкожено ограничение на 8 источников видеосигнала (совпадение?)

Продолжаю нагрузочный тест. На этот раз все камеры подключились и выдают нормальные потоки, но сразу сталкиваюсь со следующей проблемой низкий fps. Процессор загружен на 100% и успевает обрабатывать лишь 8-10 кадров в секунду с каждой из восьми вебок.



Похоже, нужно оптимизировать код. Узким местом оказалось Гауссово размытие (оно и не удивительно, ведь нужно на каждый пиксель кадра производить свертку с матрицей 9*9). Уменьшение ядра не спасало ситуацию. Пришлось искать другой метод нахождения центров пятен на кадрах.

Решение удалось найти внезапно во встроенной в OpenCV функции SimpleBlobDetector. Она делает прямо то, что мне нужно и очень быстро. Преимущество достигается благодаря последовательной бинаризации изображения с разными порогами и поиску контуров. Результат максимальные 30 fps при загрузке процессора меньше 40%. Нагрузочный тест пройден!

Классификация по цвету

Следующая задача классификация маркера по его цвету. Усредненное значение цвета по пикселям пятна дает RGB компоненты, которые очень нестабильны и сильно меняются в зависимости от расстояния до камеры и яркости светодиода. Но есть отличное решение: перевод из RGB пространства с HSV (hue, saturation, value). В таком представлении пиксель вместо красный, синий, зеленый, раскладывается на компоненты тон, насыщенность, яркость. В этом случае насыщенность и яркость можно просто исключить и классифицировать только по тону.



Технические детали
Эксперимент показал, что компонента тон действительно довольно стабильна и слабо зависит от расположения маркера. Но все же начинаются проблемы, когда маркер достаточно далеко от камеры и превращается в несколько пикселей на кадре. В этом случае, цвета начинают сильно искажаться и неправильно классифицироваться. Для решения этой проблемы я написал программу для обучения системы классификации по цвету в разных условиях на основе линейной регрессии.

Алгоритм такой:
  1. Указываю цвет маркера (например, R красный) и запускаю режим накопления
  2. Беру в руку соответствующий маркер и хаотично вожу им перед камерой, приближаю, отдаляю и тд. Параллельно наблюдаю как на интерфейсе на двумерном графике hue saturation появляются точки
  3. Завершаю режим накопления. Указываю следующий цвет маркера, прохожу еще одно накопление и так далее для каждого цвета.
  4. Вижу, как разноцветные точки на графике разбиты по кластерам, но эти кластеры немного пересекаются. Расстраиваюсь. Запускаю линейную регрессию, в процессе которой программа рассчитывает уравнения прямых, разделяющих кластеры наилучшим образом. Но т.к. облака точек пересекаются, толку с этих уравнений было мало. Понял, что по-модному сделать не получится, поэтому просто вручную на глаз разделил пространство на части вертикальными линиями и в области пересечений сделал мертвые зоны, где неопределившиеся точки будут просто игнорироваться.




И так, на данный момент я научился находить и идентифицировать маркеры на кадрах с большого количества камер. Теперь можно перейти к следующему этапу трекингу в пространстве.

Трекинг


Я использовал pinhole модель камеры, в которой все лучи падают на матрицу через точку, находящуюся на фокусном расстоянии от матрицы.



По этой модели будет происходить преобразование двухмерных координат точки на кадре в трехмерные уравнения прямой в пространстве.

Для отслеживания 3D координат маркера нужно получить минимум две скрещивающиеся прямые в пространстве от разных камер и найти точку их пересечения. Увидеть маркер двумя камерами не сложно, но для построения этих прямых нужно, чтобы система знала все о подключенных камерах: где они висят, под какими углами, фокусное расстояние каждого объектива. Проблема в том, что все это неизвестно. Для вычисления параметров требуется некая процедура калибровки.

Калибровка трекинга

В первом варианте решил сделать калибровку трекинга максимально примитивной.

  1. Вешаю первый блок из восьми камер на потолок, подключаю их к системнику, висящему там же, направляю камеры так, чтобы ими покрывался максимальный игровой объем.
  2. С помощью лазерного нивелира и дальномера измеряю XYZ координаты всех камер в единой системе координат
  3. Для вычисления ориентаций и фокусных расстояний камер, измеряю координаты специальных стикеров. Стикеры вешаю следующим образом:
    • В интерфейсе отображения картинки с камеры рисую две точки. Одну в центре кадра, другую в 200 пикселях справа от центра
    • Если смотреть на кадр, эти точки падают куда-то на стену, пол или любой другой объект внутри помещения. Вешаю в соответствующие места бумажные наклейки и рисую на них точки маркером
    • Измеряю XYZ координаты этих точек с помощью тех же нивелира и дальномера. Итого для блока из восьми камер нужно измерить координаты самих камер и еще по две точки на каждую. Т.е. 24 тройки координат. А таких блоков должно быть около десяти. Получается долгая муторная работа. Но ничего, позже сделаю калибровку автоматизированной.
    • Запускаю процесс расчета на основе измеренных данных


Есть две системы координат: одна глобальная, связанная с помещением, другая локальная для каждой камеры. В моем алгоритме результатом для каждой камеры должна получиться матрица 4*4, содержащая ее местоположение и ориентацию, позволяющая преобразовать координаты из локальной в глобальную систему.



Идея следующая:

  1. Берем исходную матрицу с нулевыми поворотами и смещением.
  2. Берем единичный вектор в локальной системе камеры, который смотрит из объектива вперед и преобразуем его в глобальные координаты по исходной матрице.
  3. Берем другой вектор в глобальной системе, который из камеры смотрит на центральную точку на стене.
  4. С помощью градиентного спуска поворачиваем исходную матрицу так, чтобы после преобразования эти векторы были сонаправлены. Таким образом, мы зафиксировали направление камеры. Осталось зафиксировать вращение вокруг этого направления. Для этого и измерялась вторая точка в 200 пикселях от центра кадра. Поворачиваем матрицу вокруг главной оси, пока два вектора не станут достаточно параллельны.
  5. По расстоянию между этими двумя точками вычисляю фокусное расстояния в пикселях (учитывая, что расстояние между проекциями этих точек на кадре составляет 200 пикселей).

Наверняка эту задачу можно было решить аналитически, но для простоты я использовал численное решение на градиентном спуске. Это не страшно, т.к. вычисления будут проводиться один раз после монтажа камер.

Для визуализации результатов калибровки я сделал 2D интерфейс с картой, на которой скрипт рисует метки камер и направления, в которых они видят маркеры. Треугольником обозначаются ориентации камер и углы обзора.



Тестирование трекинга

Можно приступать к запуску визуализации, которая покажет правильно ли определились ориентации камер и правильно ли интерпретируются кадры. В идеале, линии, идущие из значков камер должны пересекаться в одной точке.

Вот что вышло:


Похоже на правду, но точность явно могла быть выше. Первая причина несовершенства, которая пришла в голову искажения в объективах камер. Значит, нужно эти искажения как-то компенсировать.

Калибровка камеры
У идеальной камеры важный для меня параметр только один фокусное расстояние. У реальной кривой камеры нужно учитывать еще дисторсии объектива и смещение центра матрицы.
Для измерения этих параметров есть стандартная процедура калибровки, в процессе которой измеряемой камерой делают набор фотографий шахматной доски, на которых распознаются углы между квадратами с субпиксельной точностью.



Результатом калибровки является матрица, содержащая фокусные расстояния по двум осям и смещение матрицы относительно оптического центра. Все это измеряется в пикселях.



А также вектор коэффициентов дисторсии



который позволяет компенсировать искажения объектива с помощью преобразований координат пикселей.

Применяя преобразования с этими коэффициентами к координатам маркера на кадре, можно привести систему к модели идеальной pinhole камеры.

Провожу новый тест трекинга:



Уже гораздо лучше! Выглядит настолько хорошо, что даже вроде будет работать.

Но процесс калибровки выходит очень муторным: напрямую измерить координаты каждой камеры, запустить отображение картинки с каждой камеры, повесить наклейки, измерить координаты каждой наклейки, записать результаты в таблицу, откалибровать объективы. Все это занимало пару дней и килограмм нервов. Решил разобраться с трекингом и написать что-то более автоматизированное.

Вычисление координат маркера

И так, я получил кучу прямых, разбросанных по пространству, на пересечениях которых должны находиться маркеры. Только вот прямые в пространстве на самом деле не пересекаются, а скрещиваются, т.е. проходят на некотором расстоянии друг от друга. Моя задача найти точку, максимально близкую к обеим прямым. Формально говоря, нужно найти середину отрезка, являющегося перпендикуляром к обеим прямым.



Длина отрезка AB тоже пригодится, т.к. она отражает качество полученного результата. Чем он короче, тем ближе друг к другу прямые, тем лучше результат.

Затем я написал алгоритм трекинга, который попарно вычисляет пересечения прямых (внутри одного цвета, от камер, находящихся на достаточном расстоянии друг от друга), ищет лучшее и использует его как координаты маркера. На следующих кадрах старается использовать ту же пару камер, чтобы избежать скачка координат при переходе на трекинг другими камерами.

Параллельно, при разработке костюма с датчиками, я обнаружил странное явление. Все датчики показывали разные значения угла рысканья (направления в горизонтальной плоскости), как будто у каждого был свой север. В первую очередь полез проверять не ошибся ли я в алгоритмах фильтрации данных или в разводке платы, но ничего не нашел. Потом решил посмотреть на сырые данные магнитометра и увидел проблему.
Магнитное поле в нашем помещении было направлено ВЕРТИКАЛЬНО ВНИЗ! Видимо, это связано с железом в конструкции здания.

Но ведь в VR очках тоже используется магнитометр. Почему у них такого эффекта нет? Иду проверять. Оказалось, что в очках он тоже есть Если сидеть неподвижно, можно заметить, как виртуальный мир медленно, но верно вращается вокруг тебя в рандомную сторону. За минут 10 он уезжает почти на 180 градусов. В нашей игре это неминуемо приведет к рассинхрону виртуальной и реальной реальностей и сломанным об стены очкам.

Похоже, что помимо координат очков, придется определять и их направление в горизонтальной плоскости. Решение напрашивается само ставить на очки не один, а два одинаковых маркера. Оно позволит определять направление с точностью до разворота на 180 градусов, но с учетом наличия встроенных инерциальных датчиков, этого вполне достаточно.



Система в целом работала, хоть и с небольшими косяками. Но было принято решение запустить квест, который как раз был близок к завершению нашим gamedev разработчиком, присоединившимся к нашей миникоманде. Была затречена вся игровая площадь, установлены двери с датчиками и магнитными замками, изготовлено два интерактивных предмета:



Игроки надевали очки, костюмы и рюкзаки-компьютеры и заходили в игровую зону. Координаты трекинга отсылались им по wi-fi и применялись для позиционирования виртуального персонажа. Все работало достаточно неплохо, посетители довольны. Приятнее всего было наблюдать ужас и крики особо впечатлительных посетителей в моменты, когда на них из темноты нападали виртуальные призраки =)



Масштабирование


Внезапно нам прилетел заказ на большой VR шутер на 8 игроков с автоматами в руках. А это 16 объектов, которые нужно тречить. Повезло, что сценарий предполагал возможность разделения трекинга на две зоны по 4 игрока, поэтому я решил, что проблем не будет, можно принимать заказ и ни о чем не волноваться. Протестировать систему в домашних условиях было невозможно, т.к. требовалась большая площадь и много оборудования, которое будет куплено заказчиком, поэтому до монтажа я решил потратить время на автоматизацию калибровки трекинга.

Автокалибровка

Направлять камеры, вешать все эти наклейки, вручную измерять координаты было невероятно неудобно. Хотелось избавиться от всех этих процессов повесить камеры от балды, произвольным образом пройтись с маркером по пространству и запустить алгоритм калибровки. Теоретически это должно быть возможно, но как подойти к написанию алгоритма непонятно.

Первым делом нужно было централизовать всю систему. Вместо разделения игровой зоны на блоки по 8 камер, я сделал единый сервер, на который приходили координаты точек на кадрах всех камер сразу.

Идея следующая:

  1. вешаю камеры и на глаз направляю их в игровую область
  2. запускаю режим записи на сервере, в котором все приходящие с камер 2D точки сохраняются в файл
  3. хожу по темной игровой локации с маркером в руках
  4. останавливаю запись и запускаю расчет калибровочных данных, при котором вычисляются расположения, ориентации и фокусные расстояния всех камер.
  5. в результате предыдущего пункта получается единое пространство, наполненное камерами. Т.к. это пространство не привязано к реальным координатам, оно имеет случайное смещение и поворот, которое я вычитаю вручную.

Пришлось перелопатить огромное количество материала по линейной алгебре и написать многие сотни строк питонского кода. Настолько много, что я уже почти не помню как оно работает.





Вот так выглядит напечатанная на принтере специальная палка-калибровалка.

Тестирование большого проекта


Проблемы начались во время тестирования на объекте за пару недель до запуска проекта. Идентификация 8-ми разных цветов маркеров работала ужасно, тестовые игроки постоянно телепортировались друг в друга, некоторые цвета вообще не отличались от внешних засветок в помещении торгового комплекса. Тщетные попытки что-то исправить с каждой бессонной ночью все сильнее вгоняли меня в отчаяние. Все это осложнялось нехваткой производительности сервера при расчете десятков тысяч прямых в секунду.

Когда уровень кортизола в крови превысил теоретический максимум, я решил посмотреть на проблему с другой стороны. Как можно сократить количество разноцветных точек, не сокращая количество маркеров? Сделать трекинг активным. Пускай у каждого игрока, например, левый рог всегда корит красным. А второй иногда загорается зеленым по приходу команды с сервера так, что в один момент времени он горит только у одного игрока. Получается, что зеленая лампочка будет как-будто перепрыгивать с одного игрока на другого, обновляя привязку трекинга к красной лампочке и обнуляя ошибку ориентации магнитометра.

Для этого пришлось бежать в ближайший чипидип, покупать светодиоды, провода, транзисторы, паяльник, изоленту и на соплях навешивать функционал управления светодиодами на плату костюма, которая на это рассчитана не была. Хорошо, что при разводке платы я на всякий случай повесил пару свободных ног stm-ки на контактные площадки.



Алгоритмы трекинга пришлось заметно усложнить, но в итоге все заработало! Телепортации игроков друг в друга исчезли, нагрузка на процессор упала, засветки перестали мешать.


Проект был успешно запущен, первым делом я сделал новые платы костюмов с поддержкой активного трекинга, и мы произвели обновление оборудования.



Чем все закончилось?


За 3 года мы открыли множество развлекательных точек по всему миру, но коронавирус внес свои коррективы, что дало нам возможность сменить направление работы в более общественно-полезную сторону. Теперь мы довольно успешно занимаемся разработкой медицинских симуляторов в VR. Команда у нас все еще маленькая и мы активно стремимся расширять штат. Если среди читателей Хабра есть опытные разработчики под UE4, ищущие работу, пожалуйста, напишите мне.



Традиционный забавный момент в конце статьи:


Периодически при тестах с большим количеством игроков возникал глюк, при котором игрока внезапно на короткое время телепортировало на высоту несколько метров, что вызывало соответствующую реакцию. Дело оказалось в том, что моя модель камеры предполагала пересечение матрицы с бесконечной прямой, идущей от маркера. Но она не учитывала, что у камеры есть перед и зад, так что система искала пересечение бесконечных прямых, даже если точка находится за камерой. Поэтому возникали ситуации, когда две разные камеры видели два разных маркера, но система думала, что это один маркер на высоте в несколько метров.



Система в прямом смысле работала через задницу.
Подробнее..

Представляем новую платформу Mesh для взаимодействия в смешанной реальности

11.03.2021 10:22:28 | Автор: admin

Новое решение от Microsoft создает настоящее ощущение присутствия, стирая границы, и открывает новые возможности для совместной работы и использования в бизнесе.

В рамках глобальной конференции Ignite 2021 былапредставленановая платформа смешанной реальности Miсrosoft Mesh. Алекс Кипман эксперт Microsoft в области технологий смешанной реальности и искусственного интеллекта, ведущий разработчик HoloLens презентовал ее во время иммерсивного выступления и рассказал про сценарии ее использования в совместной работе.

Microsoft Mesh позволяет создать у пользователей полное ощущение присутствия. Например, у людей создается впечатление, что они в одной комнате, даже когда они находятся на разных континентах. Пользователи могут взаимодействовать с 3D-контентом или друг с другом через приложения с поддержкой Mesh на любой платформе или устройстве. С помощью Mesh можно организовать так называемую холопортацию, передавая фотореалистичное изображение в смешанной реальности, а также создавать виртуальные аватары, с помощью которых можно выражать эмоции.

Базовым сценарием использования Mesh может быть совместное виртуальное присутствие в переговорной комнате, к примеру, в Teams. Но это только начало как и все продукты Microsoft, сама платформа станет основой для формирования экосистемы приложений, которые будут использовать данную технологию. Благодаря Microsoft Mesh туристические компании смогут передавать опыт виртуального путешествия, архитектурные бюро проектировать здания, создавая их виртуальную модель, а в производственном цехе удаленный эксперт сможет работать виртуально рядом со своим коллегой. Или же, как продемонстрировал в рамках конференции создавший голографическую лабораторию партнер MicrosoftOcean Xвместе с режиссером Джеймсом Кэмероном, платформа даст возможность ученым сотрудничать из любой точки мира, совместно делая новые открытия. Также свой сценарий использования Mesh продемонстрировала компанияNiantic(создатель Pokmon GO), представив демо Pokmon GO с использованием HoloLens 2.

Платформа Mesh будет доступна на различных устройствах, в том числе HoloLens 2, а также на большинстве гарнитур виртуальной реальности, планшетах, смартфонах и ПК. Предварительный просмотр приложения Microsoft Mesh для HoloLens 2 будет доступен с сегодняшнего дня, наряду с предварительной версиейAltspaceVR, в которую включена поддержка Mesh. В будущем Microsoft намерена интегрировать Mesh, созданную на основе облака Microsoft Azure, с Teams и Dynamics 365 и предлагает партнерам активно участвовать в развитии данной платформы, чтобы совместными усилиями создавать новые решения на базе технологий смешанной реальности для огромного количества сценариев использования.

Более подробная информация о Microsoft Mesh доступна вблоге.

Подробнее..

Sony позволит владельцам PlayStation использовать бананы вместо джойстиков

05.03.2021 14:13:31 | Автор: admin
Если верить патентным заявкам японской компании, то в будущем она планирует заменить игровые контроллеры на бананы. Вероятно, инженеры Sony считают, что превращать фрукты в джойстики легче, чем удешевлять существующие контроллеры.

Импровизированным джойстиком может стать любой несветящийся предмет (банан, кружка, картошка, третий том Войны и мира). На этот предмет наклеиваются кнопки для управления игрой, а за распознавание движений отвечают камеры в гарнитуре VR.



Инициатива кажется похвальной, потому что PS VR (как и любое VR-оборудование) стоит приличных денег. Этот рынок медленно развивается, потому что далеко не все могут поиграть в условную Half Life: Alyx и другие VR-проекты. И тут Sony разрабатывает хоть и неоднозначное, но все-таки решение проблемы. Правда, есть неувязки.

Мы не берем в расчет тот факт, что использование еды, кухонной утвари и мебели в качестве джойстика суперстранная идея. Но даже без этого есть к чему придраться. В патенте компании сказано, что система виртуальной реальности будет проецировать на объект в руках пользователя органы управления.

А это значит, что физический отклик будет отсутствовать, что заметно подпортит игровой опыт и доставит колоссальные сложности тем игрокам, которые никогда не держали в руках реальные джойстики. Как им ориентироваться и управлять игрой? Порог вхождения повысится хотя бы из-за невыносимого управления, которое придется значительно переосмыслить.

К тому же не выйдет ли реализация системы проекции кнопок и захвата движения сторонних объектов дороже, чем положить в коробку с приставкой / VR-шлемом пару стандартных контроллеров? Не подорожают ли шлемы / очки? Вместе с тем наверняка возникнут сложности с выбором объекта, который подходит на роль джойстика. Размер, цвет, форма: все может сыграть роль.

Надо отметить, что в Sony любят мечтать о странных вещах. В прошлом году они запатентовали робота-друга, который сидит рядом и смотрит, как вы играете в PlayStation. А в 2013 году корпорация хотела внедрить в игровую консоль рекламные вставки, которые можно было бы пропустить, махая Move-контроллерами в руках.



Несмотря на легкий привкус абсурда (хотя каких патентов только не бывает), инженеры Sony все же молодцы. Ищут пути удешевить VR-системы и увеличить их популярность. Вера таких корпораций в перспективность виртуальной реальности говорит о том, что революция в мире видеоигр не за горами, и скоро VR станет обыденностью на уровне классического геймпада или клавиатуры с мышью. Это нам всем пойдет на пользу.

Но не стоит забывать, что патентная заявка в большинстве случае прикольная черно-белая картинка с описанием в духе sci-fi-фильмов. Не факт, что идея Sony вообще доживет до реализации.
Подробнее..

Перевод Виртуальная реальность на кончиках пальцев

18.03.2021 20:06:33 | Автор: admin
Представьте себе, что вы сидите за компьютером и набираете текст, играете на фортепиано или просто стучите пальцами по столу от скуки. Каждое движение пальца, каждое постукивание генерирует уникальную в своем роде вибрацию, проходящую от фаланги к основанию кисти.

Исследователи из Швейцарской высшей технической школы Цюриха (ETH) нашли применение этой физической особенности человеческих рук в своем изобретении двухсенсорном браслете, позволяющем напрямую взаимодействовать с виртуальными объектами.

Виртуальная реальность уже широко применяется в различных сферах, но нужна в основном для поглощения контента, а не для его создания. Но швейцарские ученые на пути к разрешению этой несправедливости.



Один из профессоров ETH, Кристиан Хольц, видит в VR-технологиях потенциальную замену десктопным ПК. По его мнению, отвязка от экрана позволит в полной мере задействовать виртуальное пространство: разместить вокруг себя рабочие инструменты и взаимодействовать с ним наиболее естественным путем руками.

Каждый палец вибрирует по-своему


Почему до сих пор нет виртуальных компьютеров с безграничным количеством мониторов и периферии? Хольц говорит, что все дело в отсутствии нормальных механизмов взаимодействия между человеком и VR-объектами. Сейчас VR-системы оснащаются не только шлемами/очками, но и специальными контролерами и камерами, чтобы фиксировать движения пользователя. О какой продуктивности и сосредоточенности на работе может идти речь, когда приходится взаимодействовать с такой изощренной системой?

Если вам придется постоянно держать руки на весу (чтобы их засекла камера), то вы быстро устанете. А работать зачастую приходится по несколько часов без перерыва, добавляет Хольц.

Вторая проблема заключается в том, что при наборе текста на клавиатуре руки двигаются не так, как при игре в теннис, поэтому камере сложно зафиксировать и корректно интерпретировать движение конечностей. К тому же в этом случае отсутствует физическая отдача.

Команда Хольца смирилась с тем, что без дополнительных пассивных интерфейсов не обойтись, но решила их переосмыслить, превратив в такой интерфейс пальцы рук и их уникальные вибрации, возникающие при касании любой твердой поверхности. Для реализации идеи была создана технология TapID, которая будет представлена на конференции IEEE VR в конце марта 2021 года. Туда Хольц и его команда привезут прототипы TapID в виде мультисенсорных резиновых браслетов.

Сенсоры в браслете регистрируют момент соприкосновения пальца с любой поверхностью и сообщают системе, какой из пальцев использовал человек. Для этого сенсор анализирует вибрацию в основании кисти и, опираясь на характеристики этой вибрации, определяет, какой палец используется в текущий момент времени. Браслет работает вкупе с камерой, установленной в VR-очки, и продвинутой нейросетью, разработанной специально для TapID. Вместе они позволили исследователям достичь крайне высокой точности фиксации нажатий на виртуальные клавиши. Разработчики TapID уже продемонстрировали свое детище в работе на примере двух приложений: виртуальной клавиатуры и виртуального фортепиано.

Смарт-часы помогут людям играть на виртуальном пианино


Хольцу особенно нравится виртуальное фортепиано он считает его наиболее удачным приложением для демонстрации возможностей TapID, потому что в нем важно учитывать и точность расположения пальцев, и тайминг нажатий (ведь в противном случае в мелодии появятся лишние диезы, да и в ритм попасть не получится). Технология TapID отлично справляется с фиксацией времени нажатия за счет использования браслета вместо камер.

Но специализированный браслет может и не понадобиться. Исследовательская команда ETH протестировала разработку на 18 умных браслетах и убедилась, что любой из них может стать основой для TapID, потому что во всех подобных устройствах есть гироскоп.

Также Хольц верит в то, что разработка его команды упростит развитие так называемой мобильной виртуальной реальности.

TapID портативная разработка, ее можно использовать даже на ходу. Можно создать вокруг себя виртуальное рабочее пространство в любом месте и в любое время, добавил профессор.

В мечтах Кристиана Хольца будущее, в котором люди могут использовать виртуальное пространство для совместной работы и не чувствовать никаких ограничений, связанных с аппаратным обеспечением. И TapID, кажется, должен стать ключом к стремительному развитию технологий в этом направлении.
Подробнее..

Для чего военные используют технологии ARVR

04.05.2021 10:05:07 | Автор: admin
Армия как институт часто вносит решающий вклад в появление и развитие новых технологий. Появление устройств виртуальной и дополненной реальности и систем, которые работают на их основе, тоже одна из заслуг военно-промышленного комплекса. Более того, сегодня армия становится для многих производителей AR/VR-устройств крупнейшим заказчиком. Контракт Microsoft и Министерства обороны США на поставку 100 тысяч шлемов виртуальной реальности HoloLens стал беспрецедентным для всего рынка: его стоимость составляет $480 млн.

В этой статье мы проанализируем, для каких целей военные используют виртуальную и дополненную реальность.

Источник

Чему учат солдат в виртуальной и дополненной реальности


Отработка навыков, обучение и тренировки одна из основных сфер применения технологий виртуальной реальности. С этой точки зрения они и интересны военным, использующим симуляторы для подготовки личного состава. Основные направления их применения обучение новичков и формирование первичных навыков у тех, кто только начинает военную службу, а также поддержание квалификации у опытных специалистов (сюда же можно отнести и подготовку перед подтверждением квалификации). Для этих целей применяются симуляторы, нацеленные на самые разные задачи:

  • тренировка навыков управления техникой, например, авиационные тренажеры;
  • отработка навыков обслуживания техники;
  • отработка первичных боевых навыков у новобранцев;
  • обучение действиям в боевых условиях;
  • тренировка медиков в стрессовых ситуациях и удаленная медицинская поддержка.

В каждом конкретном случае при разработке симулятора учитываются специфика рода войск и особенности подготовки индивидуальная, групповая или специальная.

Тренировка навыков управления техникой


Самый распространенный тренажер тренажер управления техникой. Подобный тренажер используется для первичной подготовки и повышения квалификации. Он состоит из кабины боевой машины и сферического экрана или шлема виртуальной реальности для демонстрации обучающего контента. Такие тренажеры можно использовать и для индивидуальных занятий, и в составе групп, работающих в едином информационном пространстве, когда несколько комплексов одновременно используют один и тот же контент.

Источник. Тренажёр вертолета Ка-27

Источник. Летчик первого класса ВВС США Шейн Стюарт, студент курса подготовки пилотов, тренируется на симуляторе полета в виртуальной реальности в Резервном центре вооруженных сил в Остине, штат Техас.

Отработка навыков обслуживания техники


Тренажеры виртуальной реальности позволяют пилотам тренироваться, не отправляя самолет в воздух, а это сокращает расходы. Кроме того, значительная часть военной техники это сложные электромеханические системы, например, самолеты или космические корабли. К их обслуживанию и сборке предъявляют чрезвычайно высокие требования и, соответственно, к ремонтным бригадам. Применение технологии дополненной реальности снижает риски появления ошибок, повышает надежность и эффективность обслуживания и ремонта.

Источник. Lockheed Martin использует дополненную реальность, чтобы направлять технических специалистов в решении задач. Это фото включает имитацию наложения дополненной реальности.

Например, оборонный подрядчик, компания Lockheed Martin успешно использовала технологию AR в процессах сборки и отслеживания качества для космического корабля NASA Orion.

Дополненная реальность включает в себя цифровую информацию, которая попадает в поле зрения специалиста по ремонту и накладывается на реальный мир, все это он наблюдают через очки.

Очки заменяют планшеты или громоздкие руководства, которые ремонтные бригады носят с собой. Очки могут накладывать инструкции на машины, показывать PDF-файлы или изображения и обеспечивать удаленную поддержку более опытными специалистами. Пользователи могут делать снимки экрана через очки, а также открывать и просматривать документы голосом, продолжая работать над проектом руками.

Отработка первичных боевых навыков у новобранцев


Отдельно стоит упомянуть класс симуляторов, предназначенных для базового обучения новобранцев, которые используются в основном при подготовке сухопутных войск. Сюда входят:

  • виртуальные тиры стационарные стрелковые тренажеры для отработки базовых навыков стрельбы из различных типов оружия;

Источник. Американские военные отрабатывают стрельбу из гранатомета, используя высокотехнологичный симулятор артиллерийской стрельбы (UGTI) на базе ВВС в Майноте, Северная Дакота.

  • тренажеры для отработки прыжков с парашюта;


Источник. PARASIM тренажер виртуальной реальности для отработки прыжков с парашютом.

Обучение действиям в боевых условиях


Симуляторы боевых действий


Наиболее сложными и специфичными, а также малоприменимыми вне армии, являются симуляторы боевых действий (англ. Battlefield Simulators). Они бывают двух видов: тактические и полноценные, которые, в свою очередь, делятся на симуляторы группового взаимодействия и симуляторы полноценных боевых действий, так называемые Virtual WAR.

Тактические симуляторы


Не так давно на вооружение армии США поступили так называемые Marine Tactical Decision Kit, их основная целевая аудитория морские пехотинцы. Это набор оборудования для командного центра в зоне боевых действий, который по сути заменяет собой реальную карту боевых действий. Используется при:

  • планировании боевых операций;
  • отслеживании ситуации на поле боя (при наличии соответствующей техники и датчиков на бойцах, позволяющих накладывать их местоположение на виртуальную карту боя);
  • проведении брифингов перед началом спецопераций, при этом карта формируется в дополненной реальности.

В качестве устройства доступа к дополненной реальности используется либо смартфон, либо дисплей дополненной реальности, смонтированный непосредственно на шлем. Как это выглядит в реальности можно узнать здесь:



Marine Tactical Decision Kit разрабатывался как инструмент оттачивания навыков принятия тактических решений. Дополненная реальность не должна была заменить тренировки в полях, но повысить эффективность обучения солдат в казармах. Возможно, использование спорных, на наш взгляд, решений (например, тактических карт в дополненной реальности), не принесли проекту популярности. Разработку анонсировали еще в 2017 году, и с тех пор о развитии проекта в армии США ничего не известно.

Симуляторы группового взаимодействия


Эти симуляторы применяются во время базовых тренировок рекрутов в части командного взаимодействия. Они нацелены на выработку индивидуальных навыков (вход в здание, досмотр помещений, быстрое поражение целей из разного вида оружия, поддержание связи, перемещение по местности) и групповых, таких, как техника и боевой порядок передвижения групп захвата и прикрытия в городе и сельской местности, перемещение в составе группы захвата и прикрытие входа в здание, ведение огня в составе группы или соблюдение мер безопасности и огневой дисциплины.

Источник. Солдаты армии США отрабатывают взаимодействие

Оборудование и технологии таких симуляторов мало отличаются от тех, что используются в аттракционах виртуальной реальности, которые есть в большинстве развлекательных парков. Правда, у военных симуляторов есть и свои специфические элементы. Здесь используется вооружение, имитирующее реальные аналоги, а шлемы виртуальной реальности во время учений не просто проецируют цифровую картинку, но и передают действия солдат в командный центр, где находится руководство. Таким образом, инструкторы могут в режиме реального времени корректировать действия отряда. Двусторонняя связь упрощает процедуру оценки действий личного состава. Могут использоваться и датчики, снимающие показания о состоянии бойца (давление, пульс и т.п.). Кроме того, к такому симулятору могут подключаться системы аналитики, используемые для оценки действий рекрутов.

Полномасштабные симуляторы (Virtual WAR)


Такие симуляторы используются не часто. Причина высокая стоимость и сложность подобных систем. Дело в том, что Virtual WAR относятся к симуляторам командного взаимодействия, а значит, должны учитывать действия нескольких родов войск. По сути, речь идет не об одном тренажере, а о целом комплексе, который позволяет отработать командное взаимодействие нескольких родов войск: сухопутных, бронетанковых, авиации и даже флота.

Источник. Российский симулятор командного взаимодействия

Используются в таких комплексах и тренажеры, подобные авиационным и танковым, а также шлемы виртуальной реальности. Контент для такой системы должен имитировать взаимодействие множества групп. Ведь даже при проведении одной локальной операции по захвату здания в подразделении могут быть выделены группы захвата, прикрытия, обеспечения, саперы, медицинская группа, разведка, группы документирования, блокирования, автотранспорта и даже группа ведения переговоров. Таким образом, полномасштабному симулятору даже при планировании небольшой операции, предстоит отработать взаимодействие как минимум десятка разных групп. Представим себе, что речь идет об операции большого масштаба, в которой задействованы авиация и танки. Создать подобный симулятор задача куда серьезнее, чем придумать игру Battlefield.

Тренировка медиков в стрессовых ситуациях и удаленная медицинская поддержка


Трудно воссоздать стесненные условия и напряжение внутри вертолета, который эвакуирует тяжелораненого солдата в полевой госпиталь. В реальной жизни при реанимации или стабилизации солдата медики борются с трудностями полета, в то время как пилоты уклоняются от огня из стрелкового оружия с земли.

Подготовить медиков к подобным условиям помогает тренажер виртуальной реальности, который сочетает в себе гарнитуру виртуальной реальности, перчатки с датчиками движения, реалистичный манекен солдата и корпус самолета.

Источник. Подготовка медиков в Вооруженных силах Великобритании

В ситуациях, когда требуется медицинская помощь, а медика нет или его знаний не достаточно, может быть использована система удаленной медицинской помощи. С помощью умных очков медики на местах связываются с экспертами, которые находятся вне поле боя. Подобное решение может быть использовано в армии, флоте и военно-воздушных силах. И уже используется в гражданской медицине.

Например, наша компания ЛАНИТ-Интеграция в начале пандемии 2020 года разработала систему удалённой координации действий медиков, в основе которой эргономичные умные очки (можно почитать об этом здесь). Она позволила сократить количество непосредственных контактов медицинского персонала с пациентами и снизить риск заражения врачей. Врачи получили возможность собирать консилиумы в дистанционном режиме, быстро проводить обучение персонала. COVID-19 дает много осложнений и на печень, и на сердечно-сосудистую систему, и на другие органы, поэтому без консультаций узких специалистов не обойтись. Решение позволяет позвать в красную зону узких специалистов, которые могут проконсультировать по вопросам сопутствующих заболеваний, но так, чтобы не подвергать медиков опасности нахождения рядом с больным. Если подумать, потенциал у этого решения гораздо шире: его можно использовать в хирургии, медицине катастроф и работы скорой помощи, в научной работе и лабораторной медицине.

В следующей статье мы расскажем про конкретные AR/VR-решения для военных. Продолжение следует.

Материал подготовлен в соавторстве с mklochkova.

Подробнее..

AR и VR в рекрутинге тренд будущего или бесполезная игрушка?

22.12.2020 16:08:30 | Автор: admin

Сегодня много говорится не только об автоматизации рекрутинга и HR-процессов в компании, но и том, что неплохо было бы разнообразить эти процессы с помощью AR/VR.

Есть ли реальная польза от этого рекрутерам и кандидатам? Или это просто дорогое развлечение для компаний, которые могут себе это позволить?

Геймификация с помощью иммерсивности

Первая мысль, которая возникает при упоминании HR-процессов вместе с AR (дополненная реальность, Augmented Reality) и VR (виртуальная реальность, Virtual reality) это геймификация. Наверняка, многие помнят, что на вынужденной удаленке популярным пристанищем для митингов и тимбилдинга стали онлайн-игры (пример с посиделками в Red Dead Redemption 2 или даже школьные уроки в Half-Life: Alyx). В этом плане роль игр и виртуальной реальности более-менее понятна оживить HR-процессы, заинтересовать, сплотить, вовлечь и тому подобное. Ну и к тому же тренировка как Soft Skills сотрудников, так и непосредственно их профессиональных навыков (начиная от полетных и армейских симуляторов до работы с промышленным оборудованием).

Популярность AR/VR в HR-процессах компаний. Источник: MercerПопулярность AR/VR в HR-процессах компаний. Источник: Mercer

Пример Хьюстонский учебный центр HVAC, у которого в программе обучения технических специалистов есть практическая симуляция работы с оборудованием. В дополнение: на Хабре была статья о VR-обучении сотрудников.

Итого, в общем и целом, с обучением и вовлечение сотрудников роль AR/VR ясна. А что насчет привлечения сотрудников?

Польза AR/VR для рекрутеров

1. Привлекательность компании для кандидатов

Ярмарки вакансий и виртуальные туры по профессии

Чаще всего можно заметить применение AR/VR на ярмарках вакансий, например для интерактива на стендах компаний.

Более того, в удаленном режиме подобные ярмарки вакансий и мероприятия для талантов можно даже проводить в каком-нибудь виртуальном хабе.

Но чаще всего компании идут более реалистичным и действенным путем: создают 360 видео или упрощенную 3D-симуляцию, чтобы провести экскурсию по офису или ознакомить с какими-то рабочими процессами. Сравните избитый рассказ об офисе с кофе, печеньем и PlayStation и эффектным жестом Вот, держи гарнитуру! Сейчас сам все увидишь.

Еще 5 лет назад американская e-commerce компания Jet проводила виртуальные туры для кандидатов знакомство с культурой, офисом и так далее.

Немецкая железнодорожная компания Deutsche Bahn тоже привлекает новое поколение новыми технологиями. Чтобы дать молодежи понимание о профессии, они применяют несложную VR-симуляцию и VR-видео, которые показывают, как работает, например, железнодорожный проводник. И только те, кто реально проникся профессией, идут узнавать о профессии дальше (хороший пример воронки кандидатов).

В 2017-2019 году торговый гигант Walmart начал активно начал тренировать новых сотрудников и оценивать кандидатов на продвижение по службе. Для этого они пользуются Oculus Rift.

Довольно эффектно выглядят VR-туры в AT&T.

AT&T VR HUB. Источник: Dan Ferguson на MediumAT&T VR HUB. Источник: Dan Ferguson на Medium

AR-навигатор: как добраться до офиса

Многим кандидатам приходилось блуждать с Google-картой, пытаясь найти офис компании в промзоне, или в огромном комплексе, где иногда теряются даже сами сотрудники компании. В таком случае можно организовать своего рода вариант Pokemon Go, в котором можно не ловить существ, а по указателям быстро найти место проведения интервью (вход, подъезд, этаж). Да еще и дать кандидату ощущение заботы о нем и все тот же Wow-эффект. Идея проста: если уж компания позаботилась о таких мелочах, значит она вполне адекватная и можно с ней работать дальше.

2. Оценка кандидатов

Существует мнение, что молодое поколение (GenZ) тяжело мотивировать проходить скучные и утомительные кадровые тесты и проверки. А вот протестировать в игровой форме вполне приемлемо. Примеры: челлендж для инженеров от Jaguar или AR-приложение Domino's Pizza. В этом приложении реализована самостоятельная визуализация и заказ пиццы. Компании это дало двойной эффект: прямой результат для улучшения клиентского опыта и усиления бренда, а также косвенный Wow-эффект для привлечения молодежи в штат компании.

В целом предложение рекрутера: Как насчет иммерсивного опыта в VR? будет принято гораздо более благосклонно, чем приглашение на обычные собеседования. Ну и очевидно, что в такую компанию увеличится поток кандидатов, причем самого разного уровня.

Можно создать некое виртуальное окружение, в котором запустить интерактивные тесты или рабочие квесты. В оценке сотрудников и кандидатов уже давно используется стресс-тестирование (к счастью, не так часто) и проверки на то, как кандидат поведет себя в непривычной ситуации. Даже если разбор сценария это просто виртуальный свайп-переход по блок-схеме да/нет это в любом случае нестандартный стрессовый опыт. А уж если внедрить глубоко проработанную систему оценки можно получить много ценной информации.

Кроме проверки на стрессоустойчивость такой эксперимент даст понимание о способности кандидата учиться на лету.

Подобную технологию оценки применяет, например, Commonwealth Bank of Australia (CBA). Они создали виртуальную среду, где не только знакомят соискателей с особенностями работы, но и оценивают гибкость мышления и способность принимать решения в различных рабочих сценариях.

Источник: LinkedInИсточник: LinkedIn

Кроме того, в докладе, опубликованном в журнале Nature, рассказывается о тестировании добровольцев на стрессоустойчивость с помощью 3 VR-сценариев по 90 секунд каждый. Во время тестирования замеряются жизненные показатели, и результаты анализируются с помощью математической модели.

Источник: NatureИсточник: Nature

В облагороженном виде подобные проекты вполне имеют все шансы прижиться среди рекрутеров и HR.

Рекрутер и кандидат на собеседовании в 2077 годуРекрутер и кандидат на собеседовании в 2077 году

В VR-среде можно проверить многое: от дизайна-мышления до навыков написания кода и построения логики и архитектуры проекта из условных Minecraft-кубиков, означающих какие-то узлы и схематические элементы проекта. В этом плане интересен даже не результат, а сам процесс насколько человек быстро ориентируется, думает, осмысленно двигает элементы, его ход мысли. Ну и, разумеется, будет понятно, насколько легко он коммуницирует.

AR в тактике. Кадры из TV Show ExpanseAR в тактике. Кадры из TV Show Expanse

Впрочем, нужно понимать существенный недостаток VR-оценки. Рекрутеры любят читать язык тела, мимику, невербалику. В этом случае за аватаром ничего этого не будет видно.

Поэтому, конечно же, заменять виртуальным тестированием Face-to-face интервью ни в коем случае не следует. Но если хотите избежать хорошо отрепетированных социально желаемых ответов (одна из основных проблем всех живых интервью), то погружение в подобную среду неплохой вариант.

За рубежом много говорят о том, что будущее VR-рекрутинга лежит еще и в плоскости Diversity и непредвзятости в оценке. И речь здесь даже не о том, чтобы прятаться за аватарками и проходить тестирование анонимно. Сомневаюсь, что в наших условиях это сработает.

Приверженцы этого аргумента говорят о том, чтобы объединить такие AR/VR-системы с моделями для AI-анализа, который бы без человеческого субъективизма мог анализировать паттерны речи и поведения, язык тела (если эта информация доступна), интонацию и так далее. Вопрос спорный: во-первых нужна серьезно натренированная модель, иначе адекватность оценки будет меньше, чем у рекрутера-интерна. Во-вторых, на откуп AI категорически нельзя отдавать принятие решения. Подсветить, составить рекомендованный short-list из списка претендентов, указать на те нюансы, которые заметил ИИ, можно. Но ни в коем случае не принимать решение вместо нанимающего менеджера (здесь могла быть шутка про робота Бендера Родригеса с его подходами к оценке людей).

Итоги

Конечно же, тратить ресурсы и время на разработку или покупку и внедрение какой-то AR/VR технологии только ради того, что это модно, бессмысленно.

Внедрять нечто подобное можно, если вы хорошо подумали и уверены, что:

  • Компания может себе позволить бюджет на устройства и ПО для AR/VR.

  • Это поможет ощутимо отстроиться от конкурентов и выделиться среди множества похожих компаний, усилить бренд работодателя и такой популярный сегодня Candidate Experience. Конечно, в бренде главное не модные фишки, но все же.

  • Будет нормально воспринято кандидатами. Если ваша игра или среда будет вызывать недоумение или провоцировать сарказм, зачем вам такой результат?

  • Это поможет сузить поток кандидатов до тех, кто подходит по Culture Fit и по профессиональным навыкам.

Подытожим одним предложением универсальную задачу AR/VR (как и любого другого инструмента) в рекрутинге:

Дать компании понимание, нужен ли ей этот кандидат, и дать кандидату понимание нужна ли ему эта компания.

Иначе нет смысла в таком нововведении. Буду признателен за точки зрения, примеры удачных и неудачных внедрений AR/VR при приеме на работу или оценке кандидатов.

Подробнее..

Перевод Все придумано до нас современные VR-технологии базируются на идеях 60-х годов прошлого века

06.01.2021 16:04:08 | Автор: admin

Технологии виртуальной реальности развиваются очень быстро. Сейчас уже никого не удивишь видеоочками или VR-игрой. За последние несколько лет было реализовано множество технологических новшеств.

Тем не менее, большинство базовых идей виртуальной реальности появились не сейчас, а в 60-е годы прошлого века. И до сих пор не все они реализованы. Давайте посмотрим, кто и что придумал, что у нас уже есть, а чего придется подождать.

Взаимодействие и эмуляция


Важнейшими элементами VR являются интерактивность, возможность взаимодействия с окружением, и само окружение, вернее, его эмуляция. В 1960-х существовало два прототипа этих технологий.

Так, Link Trainer был ранним прототипом симулятора полетов. Цель проекта предоставить пользователю реалистичное полетное оборудование и обеспечить обратную связь с инструментами управления полетом. Все это давало возможность студенту-авиатору получить наглядное представление о полете и разных его условиях без риска для себя и самолета. Подходил симулятор и для профессионалов, которые могли совершенствовать свои навыки.



Этот тренажер был очень востребованным, поскольку давал возможность изучить нюансы разных режимов полета.

Sensorama совершенно иная система. Это развлекательный проект для любителей фильмов. Sensorama позволяла просматривать короткометражные фильмы в стереоскопическом режиме. С изображением синхронизировалась работа вентиляторов, генераторов запаха (да, это далеко не новая идея), подвижного кресла и стереозвукового сопровождения. Sensorama, фактически одна из первых попыток вовлечь человека в виртуальную реальность, погрузить его в эмуляцию, заставив ощутить примерно то же, что и в реальном мире.


Но все это были аналоговые технологии. Развитие компьютерной техники дала этим и другим подобным системам вторую жизнь.

The Ultimate Display


В 1965 году Иван Сазерленд (Ivan Sutherland), специалист по компьютерным технологиям, написал эссе The Ultimate Display (PDF). В нем он изложил идеи, которые опередили его время. К сожалению, для их реализации не было технологических возможностей, хотя кое-что автор все же сделал. Что касается эссе, то оно небольшое, всего две странички. В первой части автор размышляет об интерактивности компьютеров и технологиях ввода 60-х.

Вторая часть интереснее, в ней автор говорит о будущем, технологическом прогрессе и кинестетическом дисплее, который позволяет задействовать все органы чувств человека при погружении его в виртуальную реальность. По словам Сазерленда, компьютеры будущего должны работать не только с визуальной информацией, но и выводить звук, плюс взаимодействовать с человеком и при помощи вибромоторов, запахов и т.п. Когда автор писал свое эссе, компьютеры не умели воспроизводить звуки, как сейчас, не говоря уже об изображении.

Полная интерактивность



Дамоклов меч попытка Сазерленда разработать интерфейс, который хоть немного отвечал его идеям и представлениям об идеале
Идея Сазерленда заключалась в том, что люди отлично знакомы с разными способами взаимодействия с окружающим миром. Мы понимаем, как объект выглядит под другим углом, знаем, как можно заставить объект двигаться или как остановить движение.

Сазерленду пришла в голову вполне логичная мысль о том, что наши представления о реальном мире, ощущения можно перенести в некий виртуальный мир. Это позволило бы познакомиться с новыми возможностями, которые в обычном мире нам недоступны.

Для того, чтобы хотя бы частично реализовать свои идеи, Сазерленд со своими студентами разработал подвешенную к потолку систему, которую они назвали Дамоклов меч (фото системы выше). Частью меча был первый в своем роде экран, изображение не который передавала не камера, а компьютер, причем изображение было им же и создано. Конечно, это была векторная графика, но это уже что-то. Тем более, что свое положение в этовекторной реальности можно было менять благодаря простому изменению положения головы или вводу данных.

В целом, именно Дамоклов меч был первой удачной попыткой создать виртуальную реальность с погружением в нее человека. Полного погружения быть не могло в силу технологических ограничений, но и то, что получилось впечатляет.

Идеи из 60-х, которые удалось реализовать


Большинство концепций и идей, описанных авторами в 60-х, мы используем сейчас в виде технологий. Вот основные идеи.

Объекты, генерируемые компьютером, могут не подчиняться правилам обычной реальности

В виртуальной реальности можно убрать гравитацию или сделать ее очень большой, изменить источник освещения, нагенерировать все, что только можно представить. Яркий пример сказанного игры, причем не только VR.

Сам Сазерленд представлял управляемый компьютером дисплей с изображением как зеркало в математическую страну чудес. И это тоже возможно, поскольку уже создан трехмерный движок для неэвклидовой геометрии, который демонстрирует нам новый мир при помощи интерактива.

Тактильная обратная связь

Идеального тактильного взаимодействия с виртуальным миром добиться пока не удалось. Но, в целом, эта технология уже давно работает. Современные контроллеры виртуальной реальности, включая джойстики, игровые контроллеры, смартфоны, дают тактильный отклик на действия пользователя в виртуальном мире. Тот же смартфон с виртуальными кнопками хороший пример этому.

Отслеживание положения головы и рук

Одна из первых технологий, которую реализовали создатели виртуальной реальности отслеживание положения головы. В виртуальных очках эта возможность появилась довольно давно. Даже самые дешевые очки, куда надо вставлять смартфон, обеспечивают эту возможность благодаря гироскопу самого телефона.

Кроме того, сейчас отслеживается уже и положение рук многие современные VR игры поддерживают такую возможность. Правда, лишь при условии наличия специальных контроллеров.

Осязание, обоняние, иные тактильные ощущения

Всякие кинотеатры 5D предоставляют возможность полностью погрузиться в виртуальную реальность, испытывая перегрузки, ощущение ветра и брызг воды, иногда запахов. Эта технология постепенно совершенствуется.

А что пока не получается внедрить?


Высокоточное отслеживание взгляда

Трекинг движений глазного яблока реализовать не так уж и сложно. Главное определить местоположение зрачка, тогда с определенным допущением можно определить, куда смотрит владелец.

Но совсем другое дело высокоточный трекинг. Здесь много проблем, включая непроизвольные движения глаз, особенности строения и цветовой гаммы глаз некоторых людей и т.п. Да и за самим зрачков не так просто следить, поскольку он тоже не статичен. В этом видео подробно рассказывают об указанной проблеме. В общем-то, технология отслеживания взгляда постепенно совершенствуется, но остается слишком сложной для того, чтобы стать массовой.

Точная силовая обратная связь

Речь идет о том, что в общедоступных технологиях VR пока еще нет высокоточной силовой обратной связи. Да, симуляция объятий, рукопожатия и т.п. все это есть, соответствующие проекты существуют.

Но высокоточная имитация простой физики реального мира все еще остается прерогативой специализированных проектов, которые не попали в общий доступ. Да и оборудование здесь требуется дополнительное, одними перчатками/шлемом не обойтись.

Идеальная симуляция

Это наиболее сложная для реализации часть, которая была фантастикой для 60-х годов прошлого века и остается такой сейчас.

Речь о последних предложениях эссе Сазерленда, где он говорит, что идеальная симуляция это комната, в которой компьютер контролирует свойства материи и само ее существование. Так, стул, который есть в такой виртуальной реальности, должен быть настоящим стулом, давая возможность пользователю посидеть на нем. Ну а пуля, выпущенная в таком помещении, будет смертельной.

Звучит, как часть сюжета Матрицы, правда?

Отделяем важные функции от просто классных


С уверенностью можно сказать, что лучшие идеи для виртуальной реальности пришли из середины прошлого века. Тем не менее, какая-то часть не была реализована, поскольку это либо дорого, либо не очень нужно. Главное, чего хотели добиться создатели виртуальной реальности погружения в нее, когда человек перестает замечать отдельные ее элементы и видит цельную картинку, взаимодействуя с окружающими объектами и самой симуляцией, как с реальностью.

Некоторые вещи, как оказалось, не нужны для погружения. Например, широкий угол обзора он нужен далеко не всегда. Что касается звука, то каким бы качественным бы он ни был, то передача его через вкладыши понижает степень погружения. Мозг человека начинает классифицировать звук, как не настоящий, Вкладыши хороши для прослушивания музыки, но не для виртуальной реальности.

Зато очень важно экран с хорошим трекингом и малой задержкой. Человек знает, что у него на голове шлем, но мозг как бы не обращает внимания на это, считая картинку на экране реальной. Подобного нет, если использовать старые видешлемы. Например, в середине 90-х был доступен Forte VFX1 VR. Но, конечно, он и рядом не стоял с нынешними видеошлемами. Технологии того времени просто не позволяли создать качественную виртуальную реальность, куда человек мог бы погрузиться с головой.

Что дальше?


Вероятно, будут совершенствоваться уже существующие технологии, появятся новые. Кроме того, в виртуальной реальности появится отслеживание мимики и эмоций человека. Эти технологии разрабатываются уже сейчас, например, работу ведет компания Facebook.


Она позволит усилить степень интерактивности и улучшить качество виртуальных встреч. Речь не только об играх, но и о других технологиях, вроде виртуальных классов, деловых совещаний, дружеских встреч и т.п.

Сейчас скорость прогресса VR-технологий увеличилась благодаря карантину, так что в будущем можно ожидать новых свершений от разработчиков. Возможно, совсем скоро мы сможем увидеть новейшие разработки, которые усилят степень погружения в виртуальную реальность. Но в любом случае, их база все те же идеи из 60-х.

Подробнее..

В полуфинале конкурса 10M ANA Avatar XPRIZE единственной командой из Восточной Европы стала Dragon Tree Labs

07.05.2021 16:08:17 | Автор: admin

Компания Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил бы возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира.

Это совпадает с целями международного конкурса $10M ANA Avatar XPRIZE, который был инициирован, чтобы поддержать развитие технологий в этой области. Конкурс стартовал в марте 2018 года и рассчитан на четыре года. В июне 2022 года будут объявлены победители соревнования, которые разделят приз в $10 млн.

Инициаторы конкурса считают, что такие системы позволят объединить мир за счёт создания ощущения присутствия в удалённом от пользователя месте с возможностью совершать физические действия в реальном времени. Это откроет новые возможности для работы, обучения, развлечений и общения, без оглядки на возраст, расстояние, мобильность и физические ограничения пользователей. Также, такие аватары могут пригодиться для помощи в условиях стихийных бедствий или когда необходимо ограничивать физический контакт между людьми, как во время пандемии.

Для выхода в полуфинал $10M ANA Avatar XPRIZE команда Dragon Tree Labs создала робота Джонни

Для выхода в полуфинал команда Dragon Tree Labs создала робота Джонни, который прошёл соответствие всем требованиям. На данный момент это единственная российская команда, которая продолжает бороться за победу и главный приз.

Оператор может управлять Джонни дистанционно, наблюдая за происходящим вокруг робота через VR-очки. Аватар оснащён колёсами и может свободно передвигаться по помещению, позволяет взаимодействовать с объектами посредством манипулятора. На данном этапе у робота одна активная рука, которой можно управлять, в будущем появится вторая. Аватар оснащён системой распознавания объектов для помощи оператору в захвате предметов.

Для выполнения конкурсного задания необходимо было продемонстрировать способность управлять движением аватара, роботизированной рукой для выполнения задачи из реального мира, а также требовалось наличие "тревожной кнопки" для экстренного отключения машины. Все эти способности команда Dragon Tree Labs показала на конкурсном видео.

Робот Джонни результат интеграции нескольких прорывных технологий, в том числе инновационного компьютерного вычислителя для одновременного запуска нескольких нейронных сетей, который был создан специально для мобильных роботов командой Fast Sense. Именно благодаря этому компоненту, Джонни может одновременно выполнять несколько задач с задействованием ML-алгоритмов параллельно. Также, исследователи из МФТИ участвовали в реализации тестового сценария управления манипулятором.

На данный момент робот обладает рядом ограничений, которые объединённая команда Dragon Tree Labs планирует устранить в будущем для повышения шансов на победу, в том числе за счёт привлечения новых участников в проект. В следующей модификации Аватар Джонни обзаведётся второй управляемой рукой, разными типами хватов, научится распознавать другие объекты, помимо бумажных стаканчиков. Также команде необходимо будет обеспечить быструю передачу сигналов для управления устройством из любого места земного шара через интернет. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Для работы над этой частью задачи команда стремится привлечь дополнительных участников и приглашает на оплачиваемую стажировку на лето 2021 года. Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

"Мы считаем, что такие аватары следующий эволюционный уровень развития телекоммуникаций и человеческого взаимодействия. Когда-то мы отправляли письма почтой, затем начали звонить по домашним телефонам, то есть в коммуникации включилась ещё одна система органов чувств. Интернет позволил обмениваться идеями и переживаниями моментально, а не ждать письма месяцами. Теперь у нас есть возможность видеть друг друга во время звонка и общаться в любое время в любом месте так, как если бы мы физически находились рядом. Технологии VR делают этот опыт ещё более реальным для восприятия. Следующий шаг возможность физического контакта на расстоянии. Именно для этого нужен мобильный робот-аватар, оснащённый манипуляторами, которыми можно управлять дистанционно. Даже простая возможность передвинуть предмет, скажем, шахматную фигуру на доске, за которой сидит соперник или ваш сын на другом континенте, создаёт ощущение физического присутствия на месте событий, создавая единый контекст. Возможность обнять бабушку, к которой нельзя приехать, ощущается через аватар практически реальной".

Подробнее..

Перевод Виртуальная реальность 90-х разбираем VR-очки RADICA NASCAR I-Racer

30.05.2021 14:10:27 | Автор: admin

Виртуальная и дополненная реальность вовсе не изобретение нового века. Попытки прорубить окно в VR предпринимались десятки лет назад. Oculus Rift и HTC Vive это, конечно, хорошо, но первые реально работающие VR-очки появились в 1995 году. Это была модель от Nintendo, Virtual Boy. К сожалению, устройство не стало финансово успешным проектом японской компании. Скорее, это была финансовая катастрофа.

Несколько иначе обстояли дела у других компаний, которые взялись за виртуальную реальность. Показательный пример компания Radica c ее видеоочками RADICA I-Racer. Сначала компания создавала простенькие игровые гаджеты, но потом решила попробовать свои силы в почти что настоящем VR.

Почему почти? Дело в том, что дисплей был по-прежнему стереоскопическим. Но в дополнение к устройству поставлялся контроллер с обратной связью и наушники. Надев все это, пользователь погружался в иную реальность, чувствуя себя водителем на нарисованной дороге. Если бы этому устройству нормальный дисплей да графику хотя бы уровня Mario цены бы ему не было.

На старт!


Сначала давайте оценим сам девайс что он из себя представляет и какие технологии использовались для производства девайса 22 года назад.

Первое, на что вы можете обратить внимание, надев девайс на голову он очень удобен. Даже удивительно. Кроме того, устройство легче, чем могло бы показаться, исходя из размера RADICA I-Racer. Что более важно наличие возможности настройки шлема. Компания разрабатывала его как для детей, так и для взрослых, так что размеры можно регулировать при помощи различных рычажков и ручек настройки. Как и в современных шлемах, здесь есть мягкая резиновая накладка для той части, которая ложится на нос для того, чтобы играть можно было долго, не испытывая никаки неудобств.


Теперь об игре. Конечно, в это никто не будет играть в 2021 году, разве что гики и/или дети из чистого любопытства. Справедливости ради отмечу, что стереоскопический эффект работает как нужно. Игра ничем не отличается от тех ЖК-игр, что компания Radica выпуска в 90-х. Единственное отличие эта игра находится прямо на вашем лице.

Это не полноценное 3D, о чем уже говорилось выше. Машинки появляются строго в определенных местах экрана, эффекты вроде столкновений тоже статичны. В общем-то, эта игра чуть более продвинутая версия игры Ну, погоди, где волк ловил яйца в корзину. Только она стереоскопическая, у нее есть дополнительные органы управления и шлем.

Ну и функций больше. Игрок видит ущерб, нанесенный его автомобилю столкновениями, видит скорость и обороты двигателя, есть переключатель для выбора коробки передач автомат или механика, есть статусная строка для топлива, показано и время заезда. В общем, тут уже все сложнее, чем у Ну, погоди. Да, еще важный момент по бокам трассы есть разметка, которая помогает сохранять ощущение скорости она мелькает, и чем выше скорость, тем быстрее. А еще время от времени на горизонте появляются горы.

Radica постаралась сделать все, чтобы эмуляция реальности была полной. Когда игрок врезается в заграждение трассы, загорается красный светодиод, а контроллер в руках игрока начинает вибрировать. Полным погружением это, конечно, не назвать, но для того времени подобные возможности это очень круто.

Разбираем контроллер



Теперь приступим к разборке девайса. Все кнопки, переключатели и прочее расположено на поверхности контроллера, которому придали вид колеса. Внутри батарейки и относительно небольшое количество элементов. Есть и моторчик со смещенным балансом, который генерирует вибрацию.


Очень интересен способ, при помощи которого разработчики реализовали реакцию игры на движения контроллера. Можно было бы подумать, что это гироскоп но нет, эта технология еще не получила широкого распространения в игровой сфере в то время. Вместо него разработчики использовали контактные площадки особой формы на печатной плате. Когда игрок поворачивает вправо или влево, контакты замыкаются в разных комбинациях, генерируя сигнал, который и воспроизводится в качестве движения консолью.

Кстати, форма контроллера повторяет форму аксессуаров, продаваемых этой же компанией для PlayStation 1 и PlayStation 2. Модельный ряд этих аксессуаров назывался Gamester. Скорее всего ради удешевления производства компания выпустила несколько шаблонных модулей для контроллера, которые можно было использовать для производства разных устройств. И это хорошо похоже, что разработка и менеджмент в компании были реально эффективными, в полностью положительном ключе.


Разбираем шлем


После того, как все крепления были убраны, можно снять переднюю панель шлема. Внутри нечто из мирка киберпанка. В целом, это идеальная вещь для косплея или Хеллоуина.



К сожалению, большую часть компонентов распознать не удалось просто потому, что они закрыты черными кляксами эпоксидки. Убрать ее, не повредив плату или шлейф, невозможно. Зато видны механические элементы подстройки шлема в частности, пружины. Определенно, девайс не был самым технологически совершенным в мире, но компания приложила немало усилий для того, чтобы сделать его удобным.


Убираем еще три винта и снимаем прозрачную пластиковую крышку с оптики. Под ней прозрачная цветная пленка и ЖК-дисплей. Кстати, на основе этого же оборудования компания сделала еще одну игру.

Новая жизнь старого девайса




Может показаться, что время RADICA NASCAR I-Racer безвозвратно ушло. Но это не совсем так да, электроника безнадежно устарела, конечно. Но саму гарнитуру и ее оптику можно модифицировать, создав недорогой видеошлем.

В качестве доказательства этого утверждения я использовал свой телефон к верхней части гарнитуры, воспроизведя несколько VR-видео с YouTube. Получилось неплохо, лучше, чем у Google Cardboard. Все благодаря тому, что зеркало в гарнитуре размещается под углом в 45.

Телефон можно заменить на вполне современный ЖК-дисплей, установив его вместо оригинальной панели. Парочка 2,2-дюймовых дисплея ILI9341 должна идеально вписаться в отверстия в верхней части гарнитуры. Да, разрешение этих дисплеев невелико, но для начала вполне подходит. В итоге девайс можно превратить в нечто вроде 8-битного Oculus. Именно это я и планирую сделать со своим устройством.

Подробнее..

Что не так с VR-технологиями в музеях и что с этим делать

30.12.2020 14:14:51 | Автор: admin

Технологии виртуальной реальности (VR) предлагают музеям новые возможности и альтернативные способы взаимодействия с посетителями. За время локдауна многие уже привыкли к стандартным виртуальным прогулкам по музеям.

Но спектр применения технологии шире: воссоздание исторической обстановки, интерпретация и получение нового опыта, вовлечения посетителей в процесс обучения, а также создание интерактивных и захватывающих впечатлений в обстановке музея.В статье рассказываю том, какие недостатки мешают распространению VR в музейном деле и что с этим делать.

10 важных недостатков VR

На практике все преимущества VR нивелируются несколькими проблемами и ограничениями, с которыми сталкиваются музейные специалисты. Они связаны с отсутствием социального взаимодействия, кадровыми и учебными потребностями, стоимостью, доступностью, практическими и техническими проблемами, качеством графики, выставочным потоком, отвлечением внимания и принятием технологий.

1. Изоляция в VR

Обычно VR-продукты предназначены для одного пользователя. Они отрезают посетителя от остальной среды и не допускают никакого взаимодействия между людьми. Поскольку большинство людей приходят в музей в составе пары или группы, желание поделиться ощущениями и пообщаться является важным элементом посещения. Этому желанию препятствуют VR-гарнитуры. Это особенно актуально для музеев, ориентированных на семьи и группы.

2. Вопросы обучения

Несмотря на то, что термин виртуальная реальность появился несколько десятилетий назад, пользоваться очками виртуальной реальности или иными VR-устройствами умеют немногие. Путь в виртуальную реальность начинается уже в тот момент, когда посетитель только увидел VR-устройства. На практике большинству посетителей приходится объяснять, как ими пользоваться.

Многие музейные специалисты не имеют опыта участия в разработке VR-проектов. В то же время необходимо уметь обращаться с оборудованием и устранять его неисправности. Музеи вынуждены нанимать дополнительных технических специалистов и обучать музейных работников, чтобы путь посетителя по музею был плавным и позитивным.

Подготовка специалистов может быть обширной, поскольку виртуальная реальность должна быть интегрирована в концепцию музея, его маркетинговую активность и разрабатываться под руководством кураторов. В любом случае, возникают трудности финансового и организационного характера.

3. Музей и финансы

Часто конечная стоимость VR-проекта становится недоступной музеям. Она складывается из следующего минимума: оборудование, дополнительный персонал, расходы на ремонт и техническое обслуживание. Особенно большой проблемой во многих случаях становятся кадровые потребности. Поэтому VR скорее используется для временных выставок, поскольку затраты на поддержание VR-проекта на постоянной основе непомерно высоки.

4. VR и люди с особенностями

VR не дружелюбна к пользователям с ограниченными возможностями, например, по зрению или слуху. Это становится проблемой в тех случаях, когда виртуальная реальность заменяет другие средства интерпретации.

5. VR и дети

В большинстве случаев производители VR-устройств не рекомендуют пользоваться оборудованием детям младше 12 лет. В некоторых случаях ограничения могут быть еще строже. Объяснить детям, что не так с VR, довольно сложно. Это вызывает разочарование у семей с детьми, а значит, существенное сокращение аудитории музея или VR-проекта.

6. Медицинские ограничения

С момента начала пандемии остро встал вопрос гигиены. Все необходимое оборудование требует регулярной чистки.

К вопросам здоровья относятся и такие медицинские ограничения, как головокружение от использования шлема виртуальной реальности или иных VR-устройств. Проблема заключается в отсутствии отраслевых стандартов для контента и устройств VR.

7. Технические ограничения

Возможности применения ограничиваются сроком службы батареи, перегревом портативных устройств, дальностью проводного или беспроводного соединения. При использовании нескольких VR-гарнитур для группового сеанса возникнут трудности с помехами и настройкой Bluetooth и Wi-Fi.

8. Эстетика в VR

Для виртуальной реальности в музеях, в отличие от развлекательных аттракционов, крайне важна эстетика и качество графики. Уровень реалистичности графики влияет на степень виртуального присутствия и ощущений пользователя.

На деле графика, используемая для создания иммерсивных миров на картинах, все еще довольно неубедительна. Это становится серьезным недостатком для художественных музеев, которые уделяют большое внимание эстетике. Например, вы можете использовать живопись Рембрандта в качестве источника вдохновения, но в виртуальном мире у вас получится создать лишь жалкое подобие его картин.

9. Вопросы организации впечатлений

Большая популярность VR-проекта в музее может стать проблемой, если возникают очереди из посетителей. Ее можно решить с помощью системы бронирования. Но при выходе техники из строя работа музея приходит к коллапсу. Это особенно чувствительно, если VR является центральным звеном выставки или всего музея.

10. VR ради VR

Наконец, посетители могут слишком сильно отвлекаться на VR-технологии, в результате чего инновации сами по себе могут затмевать музейные объекты и повествования.

Альтернатива VR

Несмотря на преимущества VR, иммерсивные выставки до сих пор не часто встречаются в музеях, а если и встречаются, то их обычно включают только на определенный промежуток времени. Однако наиболее существенной проблемой является неспособность виртуальной реальности обеспечить социальное взаимодействие.

Это дает понимание того, в какую сторону стоит двигаться виртуальной реальности: в сторону интерактивных и социальных VR-приложений. В то время как это остается вопросом будущего, уже сегодня музеям доступна технология дополненной реальности (AR).

Что такое AR?

AR, в отличие от VR, не создает новых миров и реальностей, а дополняет то, что мы видим в реальном мире, новыми объектами или данными. Это похоже на то, как в фильмах человекоподобные роботы добавляют информацию об объектах и людях к своему зрению.

Сегодня для этого достаточно включить AR-приложение музея на собственном смартфоне и погулять по выставке с включенной камерой гаджета. При этом выставку можно расположить прямо на улице или в том месте, где происходили описываемые события.

J & K 1965

Подобную инсталляцию решила организовать компания Live in Theatre в Нью Йорке. Одно из направлений ее работы реконструкция давно минувших событий. Работа Live in Theatre интерактивна и вдохновлена реальными событиями из прошлого Нью-Йорка.

Это очень социальный проект с глубокой эмоциональной частью. Чтобы не потерять эти две важные составляющие, было принято решение использовать именно AR-технологию. Мы разработали одноименное приложение дополненной реальности J & K 1965. С ним пользователи гуляют по парку Манхэттена и рассматривают виртуальные экспонаты и фотографии прямо в тех местах Нью Йорка, где реально происходили действия более полувека назад.

Инсталляция основана на уникальном фоторепортаже легендарного американского журналиста Билла Эпприджа, который несколько месяцев фотографировал двух наркоманов из Нью-Йорка, Джона и Карен, в печально известном Игольном парке.

Необходимо было органично вписать оригинальные фотографии в структуру повествования и при этом вовлечь зрителя в сюжет, разворачивающийся на расстоянии вытянутой руки. Несмотря на все сложности разработки, нам это удалось. Аудитории пока недостаточно понятна AR, в отличие от VR. Однако продажи билетов на J & K 1965 оказались на 25 % выше, чем на другие проекты компании Live in Theatre.

Таким образом, во время просмотра виртуальных объектов в AR-приложении посетитель не теряет связи с реальным миром и легко делится эмоциями со своей семьей и друзьями. Он может показать объекты экскурсоводу и уточнить некоторые вопросы. При этом сотруднику не надо глубоко разбираться в сложных устройствах используется только приложение на смартфоне посетителя и сама выставка с повествованием.

На примере подобных приложений можно убедиться, что AR полностью или частично снимает большинство ограничений, присущих VR. С помощью дополненной реальности музей может оживить героев прошлого и заставить их взаимодействовать с посетителями, вступающими в диалог с прошлым. Это именно та технология, которая поможет расширить возможности музеев, привлечь больше посетителей и тесно связать будущее и прошлое с помощью инноваций.

О том, каких правил стоит придерживаться, чтобы сделать экспозицию в музее успешной, какие преимущества имеет AR перед VR в организации экспозиции, а также о способах и идеях применения AR читайте в следующих статьях.

Подробнее..

Чипирование в ЭКО, VR в медицине и нейросети в УЗИ

29.12.2020 08:14:25 | Автор: admin

Технологии приобретают смысл, когда несут пользу людям. Особенно это касается медицины. В новом интервью поговорим про технологии в медицине и репродукции, причем тут Яндекс и как с помощью BigData "нагнуть" фармкомпании.

Гость Дмитрий Фомин. Дмитрий основатель сети клиник женского здоровья Клиника Фомина и генетической лаборатории Medical Genomics. Он адепт искусственного интеллекта и технологий, активно внедряет их в своей клинике, чем нас и привлек. Сейчас активно занимается созданием рекомендательной системы для врачей на базе ИИ и BigData, которая не только несет пользу для пациентов, но и имеет научную ценность.

Чипирование в ЭКО

Фаря:

- Прежде всего очень интересно, что такое чипирование биоматериала при ЭКО? Что там в эмбрионе можно чипировать?

Дмитрий:

- Судя по формулировке, это, наверно, выглядит, будто человека чипируют еще до рождения?

- Ага, анти-5G-шники нас сейчас заклеймят.

- На самом деле, чипируют, конечно, не сам эмбрион. Но сначала расскажу историю.

У нас есть генетическая лаборатория. Начиналась она с распространенного теста на определение родства. Как-то приходит заведующий лабораторией и говорит: У нас какой-то странный результат. Несколько раз перепроверили и все равно. А ситуация в том, что к нам пришло 4 биообразца: предполагаемая мама, предполагаемый отец и двое предполагаемых детей нужно проверить родство.

В результате оказалось, что один ребёнок был биологическим ребёнком только отца, а другой предполагаемый ребёнок не был биологическим ребенком ни отца, ни матери, то есть просто чужой.

Когда мы начали анализировать ситуацию, оказалось, что во время процедуры ЭКО были перепутаны биообразцы.

- Это стресс.

- Не просто стресс, это трагедия. Сыграл человеческий фактор ошибки, люди просто взяли и перепутали. И тогда мы стали искать в мире систему, которая в наших клиниках не позволила бы ничего перепутать и год назад мы внедрили в свою сеть чипирование.

Мы чипируем емкости, в которых находится биологический материал. На чашки Петри, где находится сперма, яйцеклетки, эмбрионы, клеятся радиочастотные метки, что позволяет в совокупности с системой сигнализации отслеживать их со стопроцентной точностью и исключить ошибки полностью.

процесс ЭКО: врач берет эмбриона, смотрит в микроскоп, где лазером отрезает от него кусочек для анализа.процесс ЭКО: врач берет эмбриона, смотрит в микроскоп, где лазером отрезает от него кусочек для анализа.

- Это на экране зародыш человека? А что вы от него отрезаете?

- Это самый частый вопрос: а что вы забрали - ручку или ножку? Не волнуйтесь, на самом деле мы берем нужные клетки из плаценты.

Искусственный интеллект в УЗИ

- Какие уникальные технологии вы разрабатываете?

- Например, искусственный интеллект в ультразвуке. Когда вы приходите к врачу на УЗИ, вы не знаете, качественно он его провел или нет. Его вывод субъективен.

Поэтому мы разрабатываем и внедряем систему искусственного интеллекта, которая на первоначальной стадии следит за тем, выполнил ли врач все необходимые этапы при диагностике или нет.

Во-первых, врач должен сделать несколько срезов: справа, слева, сверху, снизу и так далее. ИИ за этим следит. А также за тем, зафиксировал ли врач срезы в нужной последовательности.

Наконец, когда врач делает снимок, например, руки плода в утробе матери, искусственный интеллект оценивает качество снимка. И если все хорошо, то ИИ говорит: Окей, в этом положении снимок действительно подойдет для анализа.

Все это напрямую влияет на дальнейшее принятие решений.

- Есть ли вероятность, что со временем во многих задачах врач не будет нужен?

- Сто процентов. Врач не нужен уже в таких исследованиях, как МРТ и КТ. Там нужен человек, который даст возможность человеку лечь в установку, чтобы сделать снимок. А искусственный интеллект всё сделает, прочитает и поставит диагноз лучше.

- Я видела такое приложение украинских разработчиков, которое позволяет поставить первичный диагноз по фото. А Google выпустил приложение, которое по фотографии определяет вероятность рака.

- Сегодня этих предсказателей на основе алгоритмов очень много. Самый крупный это система IBM Watson. Но пока нет законодательства, которое позволяет искусственному интеллекту ставить диагноз и нести за него ответственность.

- А вообще, все эти нововведения удешевляют медицину? Например, я по себе заметила, что если что-то начинает болеть, то часто вместо того, чтобы гуглить 10 признаков рака или сразу бежать к платному врачу, мне проще заплатить 400 рублей в приложении и после короткой консультации в чате оказывается, что ничего страшного нет и можно просто сходить в аптеку.

Вот и получается, что с одной стороны технологии удешевляют медицину. Но ведь врачам и клиникам это не выгодно.

- Я думаю, что первично технологии созданы не для удешевления, а для качества.

Хотя еще двадцать лет назад ЭКО стоило 20 тысяч долларов, как квартира. Сегодня - 3000 долларов. И всё это будет дешеветь, дешеветь и дешеветь. Но и количество потребления из-за этого тоже будет расти.

Это две стороны медали: технологии улучшают качество и создают добавленную стоимость, но благодаря масштабированию цена может падать.

Мы в самой современной операционной, где проводят операции в VR

- Когда врачи оперируют живот, они делают это через крошечные проколы, а картинка вводится с камер в их 3D-шлемы.

Сама операционная синхронизирована по видео с конференц-залом, а также по оптоволокну с другими странами и городами. Люди, которые смотрят на операцию из Нью-Йорка, надевают очки и тоже видят процесс в 3D для обучения.

Далее мы смотрим, как работает рекомендательная система для врачей Ася. В полной версии интервью мы обсудили много деталей, здесь же мне захотелось поделиться с вами вот чем:

- Наша система это, по сути, огромный банк знаний. В ней хранится вся наша медицинская Big Data. Эти данные можно анализировать, находить корреляции, искать инсайты.

- А оценивать эффективность лечения можно?

- Это отдельный интересный вопрос. Вы сталкивались с тем, чтобы у вас системно после лечения спросили не вам понравилось в клинике?, а помогло ли вам лечение? Вас кто-то об этом спрашивал? А мы включили это в систему абсолютно для всех и на основе собранных данных проведем масштабное исследование.

Например, лекарства. Мы назначаем препараты только на основании доказательной медицины. Но все равно возникает вопрос: а помогает ли тот или иной препарат в нашей популяции с нашим геномом?

При создании препарата генетический анализ-то, конечно, делали, но не на нашей популяции, а где-нибудь в другой стране, где люди сильно отличаются по генофонду. Есть вероятность, что какие-то препараты у нас не будут работать.

Поэтому мы собираем обратную связь по эффективности лекарств от клиентов, чтобы проанализировать его эффективность для нашей популяции. И это невозможно сделать по субъективному ощущению 10-20 человек. А вот если мы увидим, что, например, из 10 тысяч человек в итоге лекарство помогло только половине, то это что эффект плацебо такое лекарство неэффективно.

Встатье приведен краткий и творчески переработанный текст интервью. Если хотите подробностей про то, как клиника внедрила рекомендательную систему для врачей, про генетический мусор и рефакторинг, сотрудничество с Яндексом и хотите увидеть все своими глазами, смотрите полную версию на моемканале

Подробнее..

38 Роботов будущего обзор полуфиналистов 10M ANA Avatar XPRIZE

20.05.2021 18:13:57 | Автор: admin

В полуфинал $10M ANA Avatar XPRIZE прошли 38 команд из 16 стран мира, в том числе одна команда из России. В сентябре 2021 команды продемонстрируют возможности своих систем на отборочных тестах в США. Лучшие команды пройдут в финал, намеченный на лето 2022 года. Призовой фонд конкурса $10M ANA Avatar XPRIZE составляет 10 млн. долларов.

$10M ANA Avatar XPRIZE - четырехлетнее международное соревнование, которое стартовало в 2018 году. Цель соревнования - разработка, совершенствование и ускоренное внедрение перспективных технологий в систему многофункциональных аватаров, которая позволит беспрепятственно переносить человеческие навыки и опыт в любую точку пространства будь то планета Земля или лунная станция. Робот-аватар позволит удаленному оператору видеть, слышать и действовать так, словно он находится на месте событий.

38 Teams from 16 countries expanding our potential

Большинство команд это компании, работающие в сфере робототехники, VR/AR. Команды объединяются, создают коллаборации для расширения экспертизы и привлекают партнеров.

Например, команда i-Botics (Нидерланды) имеет в составе 6 компаний с компетенциями для решения узких задач в создании робота-аватара: сенсоры, человекоподобные роботы, технологии передачи обратной связи оператору, социальные роботы и др.

Другой пример организации команды, японская команда GITAI, специализируется на разработке роботов для индустриального применения. Эта команда пришла на конкурс с глубокой экспертизой и прототипом высокого уровня готовности. Аватар GITAI управляется оператором из специально оборудованного кресла управления, способен передвигаться и выполнять непростые механические манипуляции. В своем демо GITAI говорит о применении создаваемого аватара для работы на Международной космической станции в 2022-23 гг.

В конкурсе также принимают участие академические команды, например: команда SantAnna (Италия) включает в себя профессорский состав, студентов-магистров, бакалавров и аспирантов. Команда Northeastern Северо-Восточный университет (Northeastern University, Бостон, США) сформировала рабочие группы по направлениям: VR, удаленное управление, сенсорика и др, которыми управляют студенты старшего звена. Помимо классической научной работы, они получают реальный опыт, где важна не только глубокая научная экспертиза, но и навыки управления и организации команд.

В списке полуфиналистов 38 квалифицированных команд из 16 стран мира. Наибольшее количество команд из США - 10, на втором месте Япония - 8 команд, Россию в полуфинале представляет 1 команда - Dragon Tree Labs.

Для желающих присоединится к команде Dragon Tree Labs и отправится на отборочные тесты для выхода в финал в Майами с нами открыт прием заявок на стажировку. Подробности на сайте по ссылке Dragon Tree Labs

В этом обзоре, мы собрали информацию, которая находится в открытом доступе на сайтах команд. Обзор получился довольно объемный и информация о части команд будет опубликована в следующей статье. Подписывайтесь на блог и не пропустите, следующий выпуск.

Итак, предлагаем подробнее ознакомится с участниками соревнования $10M ANA Avatar XPRIZE.

#1 Aham - Индия

Команда Aham коллаборация Индийского Научного Института в г. Бангалор, технопарка ARTPARK и компаний TCS Research и Hanson Robotics.

Hanson Robotics уже более двух десятилетий создают человекоподобных роботов, всем известны Sophia, Han, Little Sophia, Zeno, Professor Einstein. Объединенная команда Aham создает робота Ашу (Asha). Этот гуманоидный робот - двойник робота Софии, специально создан для НИОКР в рамках участия в $10M ANA Avatar XPRIZE. Телеуправляемый робот-медсестра Аша разговаривает женским голосом и выражает эмоции, ее лицо выглядит как у реального человека. Оно сделано из запатентованного материала Frubber - нанотехнологическая кожа, имитирующая мускулатуру лица и кожу человека. Во время разговора робот двигает губами, моргает и жестикулирует.

Представьте себе уход за пациентом, инфицированным COVID. Медсестра-человек рискует заразиться и боится быть инфицированной, в то время как робот без рисков может выполнять задачу, ранее выполняемую медицинским работником. Робот становится продолжением медсестры - Аша не заменит медсестру-человека, скорее будет ее помощником в заботе о пациентах. Аша способна выражать такие эмоции, как смех, улыбка, а также беспокойство, что позволяет пациентам чувствовать себя комфортно, разговаривая с роботом, и думая о нем не как о машине, а как о друге.

Каждый участник в команде Aham вносит существенный вклад в текущее программное и аппаратное обеспечение, создавая удобную для исследования имитационную модель управления роботом и улучшая возможности взаимодействия робота и человека. TCS фокусируется на интеграции туловища Аши со своей AGV платформой для придания мобильности роботу, а также создает интеграцию с различными симуляторами и инструментами визуализации. Исследователи Индийского Научного Института, специализирующиеся на машинном обучении, системах автономного полета дронов и автономных автомобилях, поддерживающих 5-G, фокусируются на телеуправлении и телевзаимодействии робота с людьми.

Совместно команда планирует достичь высокого уровня полуавтономсти, что сделает робота больше, чем просто аватаром и добавит встроенный интеллект. Для оператора робота полуавтономность снижает когнитивную нагрузку сложных интерфейсов, сократит время реакции и добавит еще один уровень безопасности в рабочей среде, поможет решить проблемы слепых зон.

#2 Avatar Quest, США

Команда Avatar Quest состоит из учеников старших классов школы Valley Christian Schools (VCS), г. Сан-Хосе, США. Мы разрабатываем робот телеприсутствия в эпоху, когда все существуют в телеприсутсивии. Это новая зарождающаяся культура поведения людей, где любые вещи можно делать не выходя из дома, потому что это намного безопаснее и эффективнее.

Такой образ жизни мы хотим создать с помощью разрабатываемых технологий - говорит ученик 12 класса Алекс Лопес. Команда Avatar Quest - это уже вторая команда из школы VCS, которая выходит в полуфинал соревнований XPRIZE. Ранее команда Ocean Quest стала самой молодой командой, когда-либо участвовавшей в полуфинале $7M Shell Ocean Discovery XPRIZE. В этом соревновании ребята взяли призовой раунд NOAA Bonus. Но на этом амбиции школы не заканчиваются - третья группа студентов также работает над улучшением экосистемы тропических лесов в рамках $10M XPRIZE Rainforest.

#3 AVATRINA - США

Команда AVATRINA разрабатывает аватар под названием TRINA. TRINA - это робот с продвинутым уровнем телеприсутствия, который умеет видеть, слышать, перемещаться и взаимодействовать с удаленной средой. Оператор управляет роботом, используя стандартную систему виртуальной реальности, а также с помощью встроенных контроллеров и тактильных перчаток.

На данный момент робот TRINA представляет собой подобную торсу человека установку на мобильной платформе и состоит из следующих компонентов:

  • голова робота в виде экрана с изображением человеческого лица с динамиком и камерой (угол вращения 360 градусов);

  • камеры глубины (RGBD-камеры), установленные на руках робота и камера глубины на груди робота

  • сменные концевые устройства для взаимодействия с предметами в качестве кистей руки (swappable end effectors)

  • UR5e рука с возможностью осевого движения (flexible collaborative robot arm)

Планируется добавить: тактильные ощущения руки робота в сочетании с VR, контроллеры в сочетании с VR, возможность управления через мобильное устройство. Компоненты разрабатываемого робота TRINA: 1) газодетектор и стереомикрофон на груди робота, 2) полностью анимированная голографическая голова, 3) сенсоры распределенные по поверхности торса и рук робота, 4) маневренные тактильные манипуляции рук и встроенные в руки камеры

В своем демо команда AVATRINA имитирует прием в клинике, во время которого аватар-доктор выполняет первичный осмотр пациента, сидящего в инвалидном кресле. На видео робот TRINA демонстрирует свои возможности: отслеживание положения головы, стереозрение, манипуляции, выполняемые руками робота, бимануальные манипуляции, безопасное управление механическим импедансом (safe impedance control), возможности навигации и сэйфти фичи.

#4 Cyberselves, Великобритания

"Let the robot be your surrogate self" - Команда Cyberselves разрабатывает софт телепресутвия Teleport, позволяющий управлять роботом из любой точки мира интуитивным и иммерсионным способом. Teleport App - приложение для робототехники, использующее универсальный язык Animus, end-to-end инструмент для программирования роботов, разработанный командой Cyberselves. Софт команды используется другой командой Roboy, также вышедшей в полуфинал $ 10M ANA Avatar XPRIZE.

Используя Teleport App и VR гарнитуру возможно перенестись в теле робота в любую точку мира - телепорт позволяет видеть то, что видит робот; слышать то, что слышит робот; чувствовать то, что чувствует робот, и перемещаться в его теле.

Команда получила грант 100k от UK's Sustainable Innovation Fund для использования своего опыта в сфере роботов телепресутвия для поддержки ключевых секторов экономики пострадавших от COVID-19: рынок недвижимости, выставочная индустрия и удаленное здравоохранение.

#5 Human Fusions - CША

Команда Human Fusions объединяет исследователей из 5 университетов США: Университет Кейс Вестерн Резер (Case Western Reserve University), Калифорнийский университет в Лос-Анджелесе (UCLA), Государственный университет в Кливленде (Cleveland State University), Университет Карнеги Меллон (Carnegie Mellon University), Вайомингский университет (University of Wyoming). Команда Human Fusions создает медицинский аватар Sensa. Первый прототип аватара сфокусирован на предоставлении оператору дополненного опыта удаленного управления роботом с тактильными ощущениями, визуальной и голосовой обратной связью. В аватаре используются следующие компоненты:

  • Робо-платформа Stretch (Hello Robot)

  • Манипулятор MIT GelSight с тактильными датчиками (UCLA)

  • Сенсорная перчатка NeuroReality (CWRU)

  • Oculus headset (Facebook)

Основной технологией, обеспечивающей связь с аватаром Human Fusions, является платформа NeuroRealityTM, а уникальной сильной стороной команды - это нейронный подход к получению сенсорной информации, чтобы обеспечить дополненный опыт через платформу NeuroReality. Интерфейс платформы создан для работы с различными другими роботизированными системами и команда открыта делиться экспертизой и сотрудничать с другими командами.

#6 ENZO AVATAR - Колумбия

Человекоподобный робот ENZO с 23 DOF и телеуправлением

#7 Dragon Tree Labs - Россия

Команда Dragon Tree Labs - единственная российская команда, которая продолжает бороться за победу и главный приз.

Нашего робота зовут Джони, он управляется дистанционно, а оператор наблюдает за происходящим через VR-очки. Робот-аватар оснащён колёсами и может свободно передвигаться по помещению. Для одновременного запуска нескольких нейронных сетей и параллельного выполнения задач с задействованием ML-алгоритмов на роботе установлен бортовой Edge AI компьютер, разработанный стартапом Fast Sense. На данном этапе у робота одна активная рука, которой можно управлять, а в будущем появится вторая. Аватар оснащен системой распознавания объектов для помощи оператору в захвате предметов. На данный момент робот обладает рядом ограничений, которые команда Dragon Tree Labs планирует устранить для повышения шансов на победу, в том числе за счет привлечения новых участников в проект.

До полуфинальных тестов в сентябре 2021, которые пройдут в США аватар обзаведется второй управляемой рукой, разными типами хватов, научится распознавать больше объектов. Также команда стремится обеспечить быструю передачу сигналов для управления роботом из любого точки мира. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Если вам интересно присоединиться к нашей команде и помочь с апгрейдом аватара Джонни, пишите нам на почту hello@dtlabs.tech или заполните анкету на сайте

#8 I-BOTICS - Нидерланды

Команда I-BOTICS разработала антропоморфного робота, его высота робота 184 см и вес 89 кг. Движения робота соответствуют кинематике человека. Он может балансировать, наклоняясь или работая в сидячем положении, а также сохранит баланс при ударе или столкновении. Однако, передвигаться по неровной поверхности робот не может, так как установлен на колесной базе и есть проблема с динамической балансировкой.

Оператор управляет роботом, находясь в специальной кабине с экранами для управления роботом. Присутствуют элементы экзоскелета. Оператор видит глазами робота через встроенную камеру в голове робота. Используется VR-перчатка для того, чтобы получать обратную связь с кисти робота. Робот безопасен при прикосновении к человеку. При этом рука робота способна поднимать груз весом 8 кг на руку. Таким образом, в будущем робот сможет ухаживать за пациентами, помогая им встать с постели.

В своем демо видео команда демонстрирует как оператор с помощью робота-аватара помогает шеф-повару в Норвегии, находясь на расстоянии более 850 км в Нидерландах.

#9 INBIODROID - Мексика

Команда INBIODROID разрабатывает робот-аватар Prometheus для выполнения спасательных работ при ликвидации последствий в зоне чрезвычайных происшествий.

#10 Pollen Robotics - Франция

Pollen Robotics - команда стартапа, основанного в 2016 году двумя робототехниками из известного во Франции исследовательского центра Inria. Среди прошедших в полуфинал это одна из самых маленьких команд. Штат Pollen Robotics - это всего шесть человек, увлеченных претворением в жизнь своих идей и замыслов. С другой стороны это полностью открытая команда, призывающая к сотрудничеству единомышленников.

На сайте стартапа пока не отображен ход работы над проектом аватара для $10M ANA Avatar XPRIZE. Зато Pollen Robotics щедро делится своими знаниями и наработками по предыдущим реализованным проектам. Все они являются открытыми (open source), как и стартап.

В активе команды имеется открытая роботизированная платформа с интерактивным гуманоидным роботом Reachy, который очевидно и является прообразом аватара для $10M ANA Avatar XPRIZE. На сайте https://github.com/pollen-robotics выложена документация по отдельным компонентам Reachy.

Pollen Robotics стремится делиться своими знаниями и совместно решать возникающие на пути прогресса проблемы, вместо желания монополизировать полученные результаты исследований. В Pollen Robotics мы стремимся способствовать обмену знаниями в сообществе, чтобы помочь в реализации революции ИИ. Мы считаем, что вместо того, чтобы пытаться монополизировать какую-то проблему, мы должны совместно работать над ее решением, которое принесет всем пользу.

#11 proRobot - Чехия

Робота Fimbot создает команда proRobot из чешского университета в городе Градец-Кралове. Свое название робот получил по первым буквам факультета Информатики и управления (FIM - Faculty of Informatics and Management). Команда разработчиков состоит из студентов старших курсов и преподавателей этого университета.

Роботизированный аватар Fimbot должен отличаться простым и удобным управлением через костюм виртуальной реальности. Новейшие стандарты безопасности и шифрования призваны обеспечить надежность эксплуатации робота. Базовая модель Fimbot должна стать прототипом для специализированных аватаров, которые в будущем найдут применение в промышленности, здравоохранении, в аварийно-спасательных службах.

За основу 3D печатной конструкции Fimbot взят известный гуманоидный робот InMoov, созданный французом Гаэлем Ланжевеном. Отдельные конструктивные элементы робота создаются методом 3D печати из биоразлагаемого материала PLA (polylactic acid) это полимер молочной кислоты.

Пластиковая конструкция гуманоидного робота будет дополнена сенсорными датчиками, обеспечивающими в режиме реального времени обратную связь робота с человеком-оператором. Для успешной работы системы человек робот придется добавить скоростную систему телекоммуникации с использованием технологии Wi-Fi.

У проекта Fimbot пока один спонсор, но зато это компания Skoda Auto.

Видео комапнии можно посмотреть на странице в FB

#12 Rezilient - США

Компания Rezilient из США представляет в полуфинальном конкурсном отборе ANA Avatar XPRIZE проект Rezilient Health. Компания занимается оказанием медицинских услуг, отличающихся инновационным характером в организационном и технологическом плане. Роботизированная телемедицина одно из перспективных направлений в деятельности Rezilient.

Проводимые компанией из США инновационные разработки в области робототехники и удаленных коммуникаций позволят обеспечить клиентам полную доступность медицинских услуг в любое время и в любом месте. Создание аватара Rezilient Health позволит компании обеспечить внедрение новых, повсеместно доступных сервисов здравоохранения, включая телемедицину с использованием роботизированной техники, расширит возможности медперсонала по обслуживанию клиентов.

#13 Robot Guru

Проект Robot Guru реализуется на платформе уже готового продукта HoloSuit, куда входят куртка, брюки и перчатки, оснащенные набором датчиков и системой двусторонней беспроводной связи (Wi-Fi и Bluetooth LE) с программным обеспечением на базе Windows, iOS, Android. Встроенные датчики позволяют контролировать все движения человека.

Основанная в 2016 году компания сегодня предлагает свою разработку под названием Holosuit для применения в медицине, робототехнике, промышленности, образовании, спорте и играх.

В стандартный комплект HoloSuit четырех размеров для взрослого человека входят:

  • 23 встроенных датчика и 9 устройств тактильной обратной связи, распределенных по обеим рукам и ногам, встроенные кнопки на двух пальцах.

  • Holosuit может подключаться через Bluetooth, Wi-Fi и USB.

  • 6 датчиков движения на куртке.

  • 5 датчиков движения на брюках.

  • 12 датчиков движения на перчатках (по 6 на каждой перчатке).

  • 9 сенсоров с обратной связью (4 на куртке, 3 на брюках, по 1 на каждой перчатке).

  • 8 кнопок управления (4 на куртке и по 2 на каждой перчатке).

По заказу комплекты HoloSuit комплектуются лицензионным программным обеспечением. Компания HoloSuit обладает большим опытом исследований и разработки аппаратного/программного обеспечения, имеет более 37 патентов, выданных в США, ЕС, Китае, Корее.

#14 Synapse - Япония

Команда Synapse объединяет четыре экспертные группы, сформированные на базе известных компаний NTT Communications, Tokyo Robotics, XELA Robotics и университета Васэда. NTT Communications известная во всем мире телекоммуникационная компания. Основанная в 2015 году Tokyo Robotics занимается роботизацией складских и офисных помещений, ферм и даже домов. В компании XELA Robotics занимаются исследованиями и проектированием надежных и безопасных захватов и манипуляторов для роботизированных систем. Группа из престижного университета Васэда в г. Токио занимается созданием эффективных тактильных датчиков.

Команда Synapse уже имеет в своем активе гуманоидного робота общего назначения под названием TOROBO. На очереди создание робота AVATAR, который будет обеспечивать функции телеприсутствия. Каждая группа команды объединяет квалифицированных специалистов в своих областях: телекоммуникации, робототехника, удаленное управление и тактильные датчики. Демо видео - можно посмотреть по ссылке

Видео Tokyo Robotics, которое поможет представить будущее сервисных услуг с использованием телеуправляемого человекоподобного робота.

#15 SNU - Южная Корея

Команда SNU представляет Сеульский национальный университет (SNU). Основа команды студенты из пяти лабораторий университета и преподаватели, занимающиеся проектированием гуманоидных роботов. Среди них есть специалисты в области управления с использованием тактильных ощущений, разработки мягких сенсорных материалов. Интеграцией всей системы руководит профессор Пак Джэ Хын.

Аватар SNU включает три составляющие: систему управления, интерфейса и удаленно управляемый гуманоидный робот. Система управления состоит из видеошлема и перчаток для оператора. В видеошлем интегрированы дисплей, микрофон и система распознавания движений головы и речи. На дисплее виртуальной реальности отображается изображение с двух камер, которые установлены на голове гуманоидного робота и перемещаются вверх-вниз, вправо-влево при движениях головы оператора. Система распознавания речи оператора позволяет имитировать его эмоции матрицей из светодиодов на лице робота.

Система интерфейса обеспечивает передачу команд роботу и ответный поток данных с сенсорных датчиков гуманоида. На руках у оператора перчатки с датчиками для передачи движений рук и пальцев. Перчатки робота оснащены мягкими сенсорами для передачи в перчатки оператора тактильных ощущений.

#16 UNIST - Южная Корея

Второй южнокорейской командой, прошедшей в полуфинал ANA Avatar XPRIZE стала команда Национального института науки и технологий (UNIST) из г. Ульсан. В команде представлены студенты и аспиранты из лаборатории BiRC (Биоробототехника и управление) под руководством профессора и научного сотрудника с докторской степенью.

Команда пока не раскрывает деталей создаваемого Аватара. Но на сайте лаборатории представлены результаты многочисленных исследований в области мягкой и био робототехники, виртуальной реальности и удаленного управления.

В группе Мягких компонентов исследуют материалы для датчиков, которые помогут в создании захватов для аватара и перчаток с тактильными сенсорами для оператора

В группе Био робототехники занимаются созданием шагающих и летающих роботов. В группе Телеуправления разрабатывают алгоритмы удаленного управления роботами и аватарами с помощью жестов и движений туловищем оператора. В группе Виртуальной реальности исследуют надеваемый на руку тактильный интерфейс для точного отслеживания положения и интерактивного контроля усилия отдельных пальцев.

#17 Telexistence - Япония

Основанная в 2017 году японская компания Telexistence, занимается проектированием, производством и эксплуатацией удаленно управляемых роботов. Концепция виртуального присутствия в любом удаленном месте была предложена еще в 1980 году доктором Сусуму Тати, почетным профессором Токийского университета и президентом компании Telexistence.

Ключевые особенности технологии Telexistence:

  • Расширенные интерфейсные возможности подключения через стандартный проводной или беспроводной интернет.

  • Незначительная задержка при передаче сигналов управления.

  • Гибридная интеллектуальная система управления.

  • Уникальная механическая конструкция робота.

  • Оптимизированный дизайн виртуальной реальности.

В 2018 году Telexistence анонсировала серийный прототип удаленно управляемого робота MODEL H, в котором используются технологии дистанционного управления, виртуальной реальности и тактильных ощущений. Ориентированная в первую очередь на коммерческое применение MODEL H отличается простотой и долговечностью использования, сокращенным временем загрузки и запуска, имеет собственную облачную инфраструктуру с доступом через проводной и мобильный Интернет.

В июле 2020 года компания объявила о разработке модели T, в которой применяется для розничной торговли технология AWP (Augmented Workforce Platform), предполагающая использование гуманоидных роботов манипуляторов с управлением от удаленного оператора. Рука робота обеспечивает точную и быструю укладку товаров различной формы. Модель T обеспечивает повышенную точность удаленных манипуляций и минимизированную задержку управляющих сигналов при плотном трафике в телекоммуникационной среде.

#18 Touchlab - Великобритания

Команда сформирована на базе компании Touchlab из шотландского г. Эдинбург и занимается исследованиями в области роботехники. Одно из основных направлений деятельности компании разработка и производство электронной кожи eDermis с встраиваемыми в нее сенсорными датчиками.

Технология eDermis использует принцип туннельного эффекта для пьезорезистивного измерения прикосновения, усилия и положения. Гибкий пакет из металлических и полимерных пленок толщиной в 2 человеческих волоса легко настраивается по размеру, форме и количеству областей тактильного восприятия. Выходной сигнал eDermis снимается с 4 контактов. Прочный материал eDermis тоньше человеческой кожи и может использоваться для покрытия любых мягких и твердых поверхностей.

Последний вариант запатентованной технологии электронной кожи способен обнаруживать силу и направление воздействия в трех осях. Датчики eDermis будут дополнены программным обеспечением с использованием технологий глубокого обучения, что позволит роботам идентифицировать объекты и текстурированные поверхности на ощупь, обнаруживать и компенсировать проскальзывание при захвате предметов, измерять усилие нагрузки на опору. Такие датчики находятся в стадии интенсивной разработки, эксклюзивный доступ к ним предоставляется ограниченному числу клиентов.

Команда Touchlab заявляет. "Наш Аватар позволит оператору полноценно видеть и чувствовать на удалении, а также обеспечит другие способности, превосходящие человеческие возможности, такие как обнаружение дыма, вредных газов, излучения, инфракрасное зрение, ориентацию в пространстве. Улучшенное сенсорное восприятие позволит выполнять сложные задачи в опасных условиях гораздо эффективнее, чем это может сделать человек."

#19 Virtual Sapiens - Индия

Команда Virtual Sapiens объединила усилия и наработки трех коллективов в области систем виртуальной реальности, робототехники и передачи тактильных ощущений.

PropVR является удобной платформой для интерактивной 3D визуализации чертежей и изображений. Эта платформа, созданная на основе технологий искусственного интеллекта (AI), виртуальной и дополненной реальности (VR/AR), идеально подходит для создания систем удаленного телеприсутствия. Компания уже предлагает варианты использования своей платформы для виртуального присутствия в медицине, торговле и электронной коммерции, при продаже недвижимости, в туристическом бизнесе.

Компания Vicara занимается исследованиями в области технологий виртуальной реальности, которые позволяют управлять с помощью жестов оператора роботом, дронами, игровыми и другими виртуальными объектами. Компания имеет два продаваемых устройства удаленного управления, способных отслеживать малейшие движения кистей рук и пальцев (менее 1 мм). Задержка сигнала управления менее 10 мс. Устройства поддерживают Bluetooth Low Energy 5.0. По замыслу Virtual Sapiens контроллеры Vicara позволят успешно взаимодействовать с удаленным аватаром через каналы связи.

Компания Invent Robotics разрабатывает и продает роботов Mitra, которые способны автономно перемещаться в пространстве, распознавать людей по лицу и поддерживать с ними беседу. Компания позиционирует их в качестве роботов для приема гостей в различных учреждениях и для обслуживания посетителей в кафе и ресторанах. Заложенные в Mitra потенциальные возможности создания новых интерфейсов позволят Virtual Sapiens использовать этого робота в качестве аватара.

#20 GITAI - Япония

Команд GITAI разрабатывает робот-аватар для космической миссии на МКС при поддержке Японского космического агентства. В начале 2021 года в рамках Раунда В стартап GITAI получил инвестиции в размере 1.8 млрд йен (~16,5 млн. долл).

На конкурс $10M ANA Avatar XPRIZE представлен робот-аватар в виде верхней части тела человека (планируется добавить еще 2 руки) на мобильной колесной платформе. Робот способен производить манипуляции с мелкими предметы, открывать застежку-молнию, захватывать очень тонкие предметы.

На руках 2 датчика с опцией осевого вращения в кистях и руках (3 оси вращения на кончиках пальцев). Тактильные ощущения передаются оператору. Оператор управляет роботом при помощи специальной установки, а информацию об окружающей среде робота получает через глаза робота в свои VR очки и в наушники. Перемещением робота оператор управляет педалями.

В настоящий момент проходят процедуры тестов с NASA и эксперименты для работе робота на МКС. Эксперименты в космосе планируются на 2022-23 гг.

В этом обзоре мы разобрали только 20 полуфиналистов соревнования $10M ANA Avatar XPRIZE, и совсем скоро расскажем об оставшихся 28 командах. Подписывайтесь на наш блог, чтобы не пропустить выход статьи.

Представленные команды демонстрируют, что новое будущее, в котором роботы войдут в нашу повседневную жизнь, это не абстрактное будущее, а совсем уже близкая реальность. Команды объединяют усилия, собирают вокруг себя исследователей из топовых институтов, лабораторий, аккумулируют опыт коммерческих компаний, стартапов и индивидуальных робототехников для достижения общей цели - приблизить новое будущее.

Мы в Dragon Tree Labs также убеждены, что для совершения прорыва нужны коллаборации, совместные тесты и разработки. Это позволит быстрее дать миру принципиально новую платформу и отыскать значимые коммерческие применения систем, которые облегчат жизнь человека.

Наша команда Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира. Мы приглашаем к диалогу университеты и рисерч лабы, которым интересен этот проект. А для студентов открыта оплачиваемая стажировка на лето 2021 года.Подробности о стажировке на сайте Dragon Tree Labs

В разрабатываемом аватаре важно учесть социальный аспект общения робота и человека, это огромная новая область исследований психологии и социологии. Мы будем рады сотрудничеству с экспертами в этой области исследований.

Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

Участие в соревновании $10M ANA Avatar XPRIZE для нас это возможность открыть горизонты для всех участников нашей команды, которые по отдельности могут многое, но вместе могут совершить невозможное.

Подробнее..

Как работает VR? Разбор

15.03.2021 20:13:27 | Автор: admin
У VR есть такая особенность. Все, кто попробовал нормальный VR обязательно хотят подсадить на эту тему всех своих друзей и близких. Всё дело в том, что VR это потрясающие ощущения, о которых невозможно рассказать. Это обязательно надо пробовать самому.

Но VR это не только крутой опыт. Это еще и крутые технологи, которые какие-то 10 лет назад назвали бы фантастикой, а теперь они доступны нам в домашних условиях.


Сегодня мы расскажем вам про все крутые технологические фишки в современных VR-девайсах.А поможет мне в этом первая в мире модульная VR система HTC Vive Cosmos Elite.

Трекинг




Как понимаете, подменить нашу реальность на виртуальную задача непростая. Поэтому в мире VR применяются очень хитрые технологии. И первый интересный набор технологий, который используется в VR шлемах это трекинг.

К трекингу в современных VR шлемах есть два кардинально разных подхода. Первый называется inside-out tracking или внутренний трекинг. Он работает незамысловато.

На шлеме размещаются несколько камер с широким углом обзора, которые отслеживают ваши контроллеры и положение шлема относительно предметов окружающей среды.А чтобы контроллеры точно были видны они подсвечиваются.Плюс такого подхода, в том что он дешевый и простой в настройке и использовании.

Минус такой трекинг не самый точный, а также камеры не могут фиксировать положение рук когда они вне обозрения например, за спиной. А руки за спиной в VR-играх это не редкость. Например, когда вы машете лазерным мечами like-a-pro в Beat Saber. Также там часто прячут инвентарь и тяжелое оружие.

Такая система трекинга используется в Oculus Rift S и Quest, а также у младшего HTC Vive Cosmos.



Другая система называется Lighthouse, что переводится на русский как маяк. Но проще всего систему назвать внешний трекинг. В ней маяки или базовые станции ставятся друг напротив друга очерчивая вашу игровую зону и поехали.

Сначала первая базовая станция мигает инфракрасным светом. Сразу за ним испускается широкий падающий лазерный луч. Каждое ИК-мигание это начало отсчета. И так 60 раз в секунду.

С момента получения первого мигания шлем и контроллеры начинают отсчет 1,2,3 и так далее. Затем их датчики улавливают лазерный луч. Но из-за смещения датчиков в пространстве один датчик уловит луч на отсчете 3, другой на 5, третий, например, на 11.И как раз базируясь на этой задержке в отсчете от датчиков и рассчитывается положение шлема и контроллеров в пространстве.



Внешний треккинг куда более точный и надежный. Но в начале немного времени придется потратить на установку маяков я их поставил на штативы, но можно положить на полку или прикрепить к стене.

Такая система используется в Oculus Rift, Valve Index, HTC Vive первой волны, и в текущем HTC Vive Cosmos Elite.Но конкретно с Vive Cosmos есть нюансы.

В самом начале я вам сказал, что Vive Cosmos это целая модульная экосистема. Которая состоит на данный момент состоит из двух предложений:

  • Обычный Cosmos
  • Премиальный Cosmos Elite



В обеих версиях используется один и тот же шлем, но в них используются разные модули. Так в базовой комплектации в шлеме установлена передняя панель с внутренним трекингом. На ней целых шесть камер с широким обзором на 310 градусов. Также в комплекте нет маяков и контроллеры соответственно там для внутреннего трекинга светящиеся.



А в Elite в комплекте идут все модули для внешнего трекинга.Но весь прикол в том, что меняя модули одну модель можно превратить в другую.



Например, можно проапгрейдиться с младшей модели на старшую.А можно пойти дальше и подключить к старшей модели самые продвинутые контроллеры с трекингом всех пальцев Knuckles от Valve Index. Представляете, они прекрасно будут работать, если вы конечно где-то их найдёте.

Экраны




Следующая важная технология это экраны.Критичным для экрана в VR является время задержки отображения. OLED-экраны самые быстрые, поэтому с них и началось освоение. Но с ними возникла другая проблема.

Дело в том, что когда вы используете VR шлем, ваши глаза находятся очень близко к дисплеям и крайне важно иметь очень высокое разрешение и плотность пикселей. Поэтому OLED-дисплеи для VR сегодня не лучший выбор. В OLED диоды находятся на почтенном расстоянии друг от друга и используется PenTile-раскладка. Поэтому такие дисплеи выглядят зернистыми и появляется эффект москитной сетки.В будущем эти проблемы скорее всего решит microLED.

А пока лучший выбор для VR это именно Super-Fast LCD. По сути, это тот же IPS только быстрый. Именно такой стоит в HTC Vive Cosmos Elite.



Второй важный параметр это частота обновления она должна быть минимум 80 Гц, а лучше 90 или выше. Сейчас самая высокая частота у шлема Valve Index 144 Гц, но на практике вряд ли вы найдет компьютер, который может выдавать такой FPS, ведь в VR нужно рендерить две разные картинки одновременно, для левого и правого глаза.

Что мы имеем в Vive Cosmos Elite? Те самые Super-Fast LCD дисплеи, частота обновления 90 Гц и самое высокое на потребительском рынке разрешение 1440 1700 пикселей для каждого дисплея, в итоге получается 2880 x 1700 пикселей.

В Valve Index и HTC Vive Pro разрешение немногим меньше 1440 1600, то есть разница всего 100 пикселей в высоту. И кажется что это немного, но в VR-шлеме эта разница ощущается и в том числе играет в пользу угла обзора.

Это третий важный параметр в VR. Тут он 110 градусов благодаря линзам, которые наложены на экран для придания изображению сферической картины, привычной нашему глазу.

Чем больше угол обзора, тем меньше выражается эффект экранного окна и мы больше приближаемся к полному охвату человеческого зрения.Более того в HTC Vive Pro был OLED-экран, поэтому переход на IPS (Super Fast LCD) и увеличение разрешения тут очень заметны.

Еще одна крутая технология, о которой хотелось бы рассказать, сейчас есть в профессиональных решениях от HTC. Это система трекинга глаз Vive Pro Eye и она позволяет реализовать технологию фовеального рендеринга.



Дело в том, что наш глаз видит четко только ту область куда он сфокусирован, все что вокруг он воспринимает чуть размыто. Зная, куда направлен взгляд в тот или иной момент, можно отображать эту область с максимально возможным качеством.А остальную область на экране можно не рендерить в полном качестве.В итоге такой лайфхак дает серьезной серьезное улучшение картинки при одинаковом железе. Это очень крутая технология. Сейчас даже научились отслеживать саккады.

Беспроводные технологии


Окей идём, дальше. Как вы считаете, что больше всего мешает погружению в виртуальную реальность. Думаете невысокое разрешение? Нет, это не так. Самое большое ограничение сегодня провода!



И вот у HTC есть огромный козырь в рукаве. Существует беспроводной набор VIVE Cosmos Wireless Adapter Attachment Kit.Эта штука работает на особенном стандарте Wi-Fi 802.11ad. Это не Wi-Fi 6 и не Wi-Fi 5. Стандарт называется WiGig и работает он на частоте 60 ГГц, поэтому скорость фантастическая и нет задержек.



Правда батарейки хватает всего на 2 -2 ,5 часа игры, и в компьютер нужно вставить отдельную плату PCI express. Но в любом случае на сегодня это самое передовое решение, чтобы играть без проводов. И хоть конструкция кажется немного громоздкой, это дает совершенно новый опыт -полноценный VR без проводов.

Игры




Но самая главная VR-технология это игры!Поэтому подрубаем всё и играем!

Один из Мифов VR, что не во что играть, а это вообще не так.У HTC есть свой сервис подписки Viveport. Cейчас там 1168 тайтлов, совместимых с Cosmos Elite. При этом 2 месяца подписки вам сразу дают в подарок.Но если сразу с головой пустить в VR, то это безусловно Half Life Alyx!

Поверьте мне, только ради этого одного стоит попробовать VR. Когда я впервые включил Alyx, я минут сорок стоял в первой локации на балконе кидал вниз банки разглядывал все вокруг и просто восторгался.

Многих волнует вопрос укачивания в шлемах виртуальной реальности. Проблема может возникать от нескольких параметров низкая точность трекинга или например высокая задержка тут с этим проблем нет. В играх, где вы стоите на месте, например, в том же Beat Saber, я сразу чувствовал себя комфортно!

Но при этом, если вы хотите чувствовать себя как рыба в воде в любом VR мире, вестибулярку придется подучить. Это больше касается моментов, когда ваш персонаж в игре перемещается, а вы стоите или сидите на месте. Именно от этого и возникает конфликт: мозг не понимает, как такое может быть. Поэтому для плавного погружения лучше выбирать режим перемещения телепорт, а потом плавно пробовать полное перемещение, мне хватило недели, играя час в день, чтобы весь дискомфорт прошел.Потом остается только кайфовать и это того стоит!



Half Life Alyx отлично подходит для такого обучения но это всего один проект, который при этом безусловно лучший. Я уверен, что будут появляться проекты еще круче, они уже в разработке.

Другой отличный пример Walking Dead: Sins and Sinners. Но этот проект я не рекомендую людям со слабыми нервами. Ещё есть вирусный Beat Saber, в котором я провел немало часов. В общем и целом, игр хватит не на один месяц игры.

Кстати, чего не хватает во многих шлемах, это связи с внешним миром. В HTC Vive Cosmos можно открыть забрало откинуть экран и посмотреть, что происходит вокруг.

Будущее VR


Но давайте заглянем, куда же будет двигаться в VR в ближайшие годы.Естественно, мы хотим полного погружения в виртуальные миры как в фильме Get Ready Player One или в русском переводе Первому игроку приготовиться. Поэтому уже сейчас начали появляться VR-костюмы с отдачей, либо их можно собрать самому.



Экосистема Vive Cosmos подразумевает подключение дополнительных модулей, которые можно закрепить на ногах или других частях тела. Это даст вашему аватару еще больше живости. Уже сейчас некоторые энтузиасты используют такие модули для VR-чата и в других социальных VR-платформах. История с Covid только подталкивает это развитие вперед.

Лично я уже посетил несколько VR-ивентов, презентаций, концертов, даже ходил в кино с друзьями. Это целый мир, который появляется и быстро развивается при нас. Мир с безграничными возможностями не только в играх.

Кроме общения вы можете творить в VR, создавая 3D-модели, как скульпторы, архитекторы, аниматоры.



Говоря о кино, Джон Фавро при съемках Маугли активно использовал VR для погружения актеров в мир будущего фильма. И с каждым днем появляется все больше профессионального софта для разных областей. Уверен, что скоро появятся профессии, которые будут существовать только в VR.

Понятно что сейчас VR это дорогое удовольствие. Шлем HTC Vive Cosmos Elite в России стоит 100 тысяч рублей. При этом можно докупить беспроводной адаптер. Не стоит забывать, что для игр в VR понадобится и еще и мощный ПК.

Порог входа высокий, но за билет в будущее иногда стоит заплатить, особенно когда хочется попасть туда раньше остальных.
Подробнее..

Recovery mode Кто движет рынком VR технологий и какие VR тренды будут актуальны в 2021 году?

03.01.2021 04:18:53 | Автор: admin
Если вас спросить про технологию виртуальной реальности (VR), в какой сфере деятельности вы ее видите? Игры, верно? Но c каждым годом VR выходит на новый уровень применения. Лучшие маркетинговые агентства западных стран изучают возможность задействовать потенциал VR технологий в таких сферах как туризм, здравоохранение, образование. В этой статье я хочу рассказать вам о тенденциях индустрии виртуальной реальности и насколько сильно она может изменить наш мир в ближайшем будущем.

Компании западных стран активно используют технологию VR в своих бизнесах. США и Китай являются ведущими инвесторами в VR и по прогнозам аналитиков к 2027 году объем рынка виртуальной реальности достигнет 92,31 миллиарда долларов. По данным eMarketer 52,1 миллиона человек в США использовали технологию виртуальной реальности не реже одного раза в месяц в 2020 году, к 2030 году 23 миллиона рабочих мест будут так или иначе использовать AR и VR. На сегодняшний день к основным игрокам на рынке VR относятся Sony, Samsung Electronics, Google, Microsoft, HTC и Oculus (Оberlo.com 2020).
image
Источник: www.capgemini.com

6 основных трендов развития VR в 2021 году


1. Обучение на основе VR


Студенты


По данным с веб-сайта Коха (kochind.com) благодаря применению технологии VR в образовании, результаты учащихся улучшились на 20% от первого до последующего тестирования. Обучение стало более увлекательным, так как ученики могли на практике применить полученные знания не покидая класса. Студенты Google могут брать уроки истории с виртуальным посещением Лувра, бродить с динозаврами и забраться на гору Эверест.

Военные


VR также оказалась чрезвычайно полезной в обучении военных и пилотов. Уже несколько лет молодые солдаты и пилотные учебные заведения проходят обучение в виде симуляторов виртуальной реальности. Эта технология вместе с лучшим программным обеспечением электронного обучения помогает солдатам подготовиться к неожиданным ситуациям в полевых условиях.

Бизнес


В розничной торговле менеджеры продаж могут оттачивать навык управления длинными очередями или покупателями, заполняющими магазин. Компания Walmart готовила своих сотрудников к Черной пятнице с помощью моделирования реальных сценариев общения с клиентами или ситуациями на складе. После обучения сотрудники должны были сделать выбор исходя из того, что они видели в сценах, созданных VR.
Statista опубликовали отчет, в котором к 2025 году общее количество пользователей VR в розничном секторе достигнет 31,5 миллиона. Основной фактор, мешающий быстрому внедрению VR тренажеров для бизнеса стоимость технологии виртуальной реальности. В качестве стратегии владельцы бизнеса разделяют сотрудников на две категории, использующих гарнитуру VR и других, кто просто смотрит на монитор с плоским экраном. Так часть сотрудников приобретает навык, в то время как другие учатся на их ошибках.

image

2. Внутриигровая реклама


Пока основной трафик пользователей VR приходиться на игры, внутриигровая реклама набирает все большие обороты и является демографически актуальной для отдельных потребителей. Разработчики игр сотрудничают с брендами и создают сенсационные впечатления от виртуальной реальности у геймеров, размещая в центре игры продукты бренда.

imagehabrastorage.org/webt/ed/jo/aw/edjoawyyctgn9elqzho-ui3sjos.jpeg

3. Игры с VR


Технология VR занимает 43% в игровом секторе, поэтому основные инвестиции для развития поступают именно из него. Самые успешные реализации VR представлены именно в играх. Основной фокус разработчиков сейчас направлен на доработку новых носимых устройств и устройств ввода виртуальной реальности. С гарнитурами VR, такими как Oculus Rift, геймеры могут испытать трехмерных существ в продвинутой виртуальной среде.
С увеличением спроса на VR-игры, увеличивается число новых вакансий в игровом секторе. С 2017 по 2018 год количество объявлений о вакансиях выросло до 17%. И это не только производители игр, дизайнеры, художники и программисты, а также специалисты бизнеса, продаж и маркетинга.

4. VR туризм


Из года в год все больше туристических компаний начинают пользоваться преимуществами виртуальной реальности в маркетинговых стратегиях для лучшего обслуживания своих клиентов. Технология VR позволяет туроператорам, агентствам и отелям предлагать туристам реалистичное взаимодействие с услугами, которые они получат перед покупкой, что в разы увеличивает количество бронирований услуг.
Фарерские острова принимают 60 000 туристов ежегодно, но в период карантина туристические компании сделали уникальное предложение VR тур по острову. Местные жители надели Go-Pro на себя, а туристы с помощью приложения и гарнитуры могли задавать нужный маршрут. Также Фарерских островов не было на картах Google, поэтому местные жители надели камеры на овец, которые гуляли по всему острову, передавая изображение на карты и показывая всю туристическую привлекательность страны.
GlobalWebIndex опубликовал данные, согласно которым 40% представителей поколения Z хотят использовать VR приложения для путешествий. С такой положительной тенденцией технология VR поможет вывести маркетинговые кампании сфере туризма на новый экономический уровень доходности.

5 Улучшения в технологии VR


Первые видео VR были с разрешением 360 px, сейчас китайская компания виртуальной реальности Pimax предлагает гарнитуры VR, способные работать в виртуальной реальности 5k и 8k, и эксперты прогнозируют, что за ними последуют и другие компании VR. Эксперты также прогнозируют, что использование AR и VR также ускорит развитие сетей 5G.
Еще один прорыв в технологии VR это возможность отслеживания взгляда. Он все еще находится на ранней стадии разработки, и производитель VR Pimax работает над выпуском модуля отслеживания взгляда для своих гарнитур 8k и 5k. Гарнитуры виртуальной реальности с отслеживанием взгляда смогут задействовать большую вычислительную мощность в том месте, куда смотрит пользователь. Технология пригодится для отображения сложных виртуальных сцен.

6. Ниже цена больше пользователей


Стоимость VR технологии один из основных факторов, останавливающий пользователей и бизнес в переходе на эту технологию. В 2017 году вышла гарнитура от Oculus Rift стоимостью 599 долларов, но при этом пользователю нужно было еще найти современный компьютер, поддерживающий эту технологию, который стоил еще около 1200 долларов.
Сегодня Oculus оптимизировали процессы и готов предложить новые модели гарнитур по более низким ценам, что вызывает интерес у клиентов. Хороший пример, Oculus Go гарнитура ценой в 199 долларов или Daydream от Google, предлагающие погружение в виртуальную реальность через смартфон всего за 50 долларов.

Ведущие игроки рынка VR


image
В 2020 году COVID-19 ускорил развитие этой технологии. Пользователи стали набирать новый опыт и открыть для себя новый формат общения. К сожалению, Россия до сих пор не в топе лидеров в использовании VR в сервисах и услугах. Почему? Одни из таких причин технические ограничения и отсутствие пользовательского опыта у потребителей. Именно это становиться основным препятствием для бизнеса, когда заходит вопрос об использовании продуктов виртуальной реальности.

К 2030 году технология виртуальной реальности будет являться частью нашей повседневной жизни, и применяться в десятках отраслей, от игр до бизнеса, включая внутреннюю навигацию, удаленную помощь, отслеживание взгляда и виртуальные спортивные мероприятия.
Все тенденции указывают, что VR с нами будет еще надолго. Она открывает возможности, которые мы еще не осознали до конца. Но можно сказать с уверенностью, что VR уже прокладывает новый путь к обучению и профессиональному развитию и приведет к появлению новых тенденций в будущем.
Подробнее..

Обучение, удалённая экспертиза и другие сферы применения ARVR в металлургической промышленности

27.01.2021 18:04:51 | Автор: admin

Привет, меня зовут Денис Колупаев, я возглавляю команду AR/VR-разработчиков в компании Северсталь. В нашей компании технологии виртуальной и дополненной реальности начали внедрять по инициативе экспертов управления по развитию новых технологий нашего центра R&D в IT. Было непросто объяснить начальству, зачем это здесь, на металлургическом производстве, нужно Сначала наши эксперименты с геймерскими девайсами и игровыми движками воспринимали с определённым скептицизмом, но после первых пилотов сомнения в профпригодности AR/VR развеялись. Хочу поделиться опытом внедрения этих технологий, рассказать о наших кейсах и сделанных выводах. Если вам интересно, зачем сотрудникам Северстали AR-очки и VR-тренажёры, добро пожаловать под кат.


image


Как всё начиналось


Промышленность не первый год осваивает AR/VR. В качестве примера можно вспомнить производственный центр компании Ford, где VR-технологии уже давно помогают обучать сотрудников, выявлять потенциально опасные операции и оптимизировать рабочие процессы ещё до запуска новых конвейеров. Россия не отстаёт: по данным прошлогоднего исследования, охватившего 100 крупнейших отечественных предприятий, AR/VR-технологии использует 21 % компаний. 40 % из них в IT-секторе, 33 % в металлургии, по 25 % в телекоммуникационной и нефтегазовой сферах.


Это неудивительно: технология достаточно зрелая. Но если первые виртуальные шлемы, очки, контроллеры и ПО к ним разрабатывались в основном для игровой индустрии, то сейчас создатели VR-решений всё чаще ориентируются на корпоративный сегмент.


Поначалу я был единственным сотрудником Северсталь-инфокома, занимавшимся AR/VR. Постепенно команда разрасталась, и в апреле 2019-го нас отделили от R&D, сформировав отдельное направление. Сейчас в команде более 10 человек: разработчики, 3D-дизайнеры и другие специалисты по AR/VR.


Первый пилот стартовал в январе 2018 года, это были интерактивные инструкции по разборке и дефектовке насосного оборудования. Идея основывалась на использовании дополненной реальности и не требовала применения каких-либо дополнительных девайсов, кроме смартфона: с помощью мобильного приложения сотрудник считывает QR-код на оборудовании, после чего у него на экране отображается 3D-модель соответствующего насоса. Её можно поэтапно разбирать и собирать, используя экран телефона как инструкцию по реальной сборке-разборке.


Позже мы пробовали реализовать аналогичный проект с использованием технологий VR, но отказались от этой идеи. К этому моменту мы уже начали заниматься VR-тренажёрами, на примере которых убедились: для обучения виртуальная реальность подходит гораздо лучше.


image


Понять процесс и создать эффект погружения


Один из первых VR-тренажёров создавался для Череповецкого металлургического комбината. Это был курс для подручного сталеплава: надевая виртуальный шлем или очки, обучающийся попадает в VR-цех, в котором можно брать пробы жидкого металла, проверять его температуру и прочие параметры.


После такого виртуального курса полезно закрепить полученные знания, проверить себя. Поэтому тренажёры сначала проходятся в режиме обучения, то есть с разъяснениями и подсказками, а затем в режиме тестирования своего рода экзамен, в ходе которого обучающийся выполняет все действия без подсказок.


Кроме того, в виртуальном пространстве появляется отличная возможность имитировать какие-то нештатные происшествия: пожар, аварийную остановку оборудования. Один из наших тренажёров на сегодняшний день их 13 предназначен для шахтных рабочих, в нём обыгрываются ситуации с обвалами, задымлением. Мы можем посмотреть, как поведёт себя человек в случае ЧП, отработать технику безопасности, не подвергая его риску.


Один из самых важных этапов в создании виртуального тренажёра понять, в чём заключается процесс, самим разобраться в нём. Для этого мы выходим на производство, снимаем на видео интересующие нас операции, фотографируем инструменты, чтобы их потом смоделировать.


Главное из преимуществ обучения на VR-тренажёре погружение в процесс. Если мы слушаем лекцию или смотрим обучающие ролики, велик соблазн отвлечься на телефон, какие-то параллельные занятия. Наши тренажёры такой возможности не дают: мы максимально сконцентрированы на материале, находясь в виртуальном пространстве. Поэтому обучение идёт быстрее, и вся необходимая информация запоминается гораздо лучше. Но для этого нужно всё делать правдоподобно, реалистично.


Если какая-то операция выполняется с помощником создаём виртуальных персонажей, которые выглядят и двигаются естественно. Добавляем качественную графику и достоверную механику и добиваемся максимального погружения. Мы убеждены, что механика тренажёра должна повторять некий жизненный опыт, чтобы можно было не просто нажать на инструмент и применить его, а, например, открутить что-то гаечным ключом и т. п. Некоторые считают такое внимание к деталям неоправданным, но у нас другая позиция: такой подход как минимум тренирует мышечную память у обучающегося.


image


Пандемия внесла коррективы: 3D-режим и AR-проекты


В этом году в связи с пандемией мы начали добавлять в наши тренажёры дополнительный режим возможность пройти курс в 3D. Всё выглядит как обычная компьютерная игра: для обучения не требуется VR-шлем или другое специальное оборудование, только обычный компьютер с мышью, клавиатурой и монитором. Конечно, в этом случае теряется эффект погружения. Но для тех, кто может обучаться только дистанционно, такой вариант всё равно лучше чтения теории или просмотра видео. Тем более что можно сначала изучить курс дома на 3D-тренажёре, а затем перепройти виртуальную версию и закрепить материал в наших специальных VR-кабинетах для обучения.


Главная проблема при создании этих домашних версий заставить 3D-тренажёр работать на обычных пользовательских устройствах вроде портативных ПК без дискретной видеокарты, на встроенной графике. Нам это удалось: недавно мы выпустили второй тренажёр, в котором есть и VR, и 3D.


Удалённый помощник ещё один проект, связанный с карантинной ситуацией этого года. Сценарий такой: сотрудник в смарт-очках звонит со своего рабочего места на производстве эксперту, который может находиться где угодно, главное, чтобы у него был интернет. Изображение с очков транслируется в смартфон или компьютер эксперта. Тот, в свою очередь, может указать на проблемные места прямо на картинке и сотрудник увидит указку в дополненной реальности очков. У сотрудника на производстве, помимо прочего, при таком решении остаются свободными руки. Мы попробовали несколько вариантов и пока остановились смартфонах и смарт-очках RealWear с Microsoft Teams: такое решение оптимально по стоимости и соответствует нашей политике безопасности.


Другой интересный проект, который находится в стадии разработки, дополненная реальность для навигации на складе. Суть в том, что человек идёт по заранее просчитанному оптимальному маршруту, комплектует заказ, а затем подтверждает его в смартфоне или в очках. Пока получилось создать трёхмерную карту склада и приложение, которое просчитывает маршруты. А с трекингом проблема. Попробовали Spatial Mapping, облако точек не подошло. Экспериментировали с Bluetooth-маячками слишком большая погрешность, разброс метров до пяти. Продолжаем искать: изучаем опыт коллег, общаемся с ребятами из других компаний, которые занимаются подобными вещами.


Примерно 80 % из того, что мы внедряем, это VR. Дополненную реальность в основном исследуем.



Из чего делается другая реальность: оборудование и ПО


Оборудование у нас, по сути, такое же, как и в игровой индустрии. Мы используем преимущественно шлемы HTC Vive Pro и HTC Cosmos, но недавно начали экспериментировать с мобильными шлемами Oculus Quest, которые уже не привязаны к ПК. Кроме того, нам понравилась новая система трекинга, которая не использует контроллеры: движения рук захватывают камеры, расположенные на шлеме. Такой подход имеет свои минусы, например нельзя ставить руку ребром к камере в таком положении она не распознаётся. И, разумеется, руки нужно держать в поле обзора.


Бесконтроллерная технология идеально подходит для случаев вроде тренажёра машиниста коксовых машин, когда обучающийся постоянно сидит в кресле и держит руки перед собой на виртуальной панели управления. Пока для этой цели мы пользуемся контроллером Leap Motion, который захватывает движения рук и переносит их в виртуальную реальность. Пробовали несколько вариантов перчаток, но тут есть некоторые ограничения по масштабируемости: перчатки могут стоить не меньше, а то и больше иного шлема.


В качестве первого движка использовали Unity в основном из-за более низкого порога вхождения. То же комьюнити Unity-разработчиков существенно больше, чем Unreal. Тем не менее через год всё-таки решили переходить на Unreal Engine 4. На наш взгляд, он более привлекательный в графическом плане, у него лучше картинка из коробки, а многие инструменты, которые в Unity нужно докупать или писать самостоятельно, прилагаются по дефолту.


На Unity всё ещё работаем, делаем приложения для AR. Они получаются легче, к тому же необходимое там оборудование, такое как очки от Microsoft HoloLens, охотнее дружит с C# языком Unity. А для приложений на Unreal Engine 4 можно вообще не пользоваться кодом: Blueprints внутренний нодовый редактор, полностью графический, позволяет сделать всё с помощью мышки. Но мы пользуемся им только для прототипирования, финальные проекты пишем на C++.


Процесс программирования, который затрагивает механику взаимодействия с виртуальным миром, поведение объектов во время взрывов и других нештатных ситуаций это достаточно сложно. Но и трёхмерное моделирование сложный процесс: сначала создаём геометрию, затем развёртки, текстурирование, анимацию и пр. Для моделирования мы используем 3ds Max, Blender, а также пакеты для текстурирования Substance Painter и Substance Designer, которые позволяют рисовать сразу по мешу. Для создания и персонализации персонажей-ботов, захвата движений, анимации iClone и Character Creator 3.


image


Что дальше: платформа, мультиплеер и VR под заказ


В январе 2021 года мы планируем открыть доступ к платформе для дистрибуции и запуска тренажёров. Во-первых, это фронтенд на админ-панели, куда может зайти специалист по обучению назначить курсы на определённых сотрудников, указать время прохождения, количество попыток и пр. Во-вторых, это бэкенд, который наши курсы обрабатывает в плане доставки: дистрибуция, обновление тренажёров, контроль запуска. В-третьих, все тренажёры будут собраны в одном месте.


Лаунчер наподобие игровых, как Steam, ставится на компьютер сотрудника. После входа под логином и паролем открываются доступные для прохождения курсы. Платформа позволяет сразу запустить и пройти 3D-версию, а для виртуальной версии нужно зарегистрироваться на свободное время для посещения VR-класса. Здесь можно будет найти справочную информацию, описание элементов управления, помощь по прохождению.


Увидеть результаты своего прохождения и оценить их помогает система аналитики, которая контролирует правильность действий обучающегося, фиксирует ошибки, время прохождения различных этапов и т. д. Эта информация выводится после прохождения. Специалист по обучению, в свою очередь, имеет доступ к данным всех, кто проходил обучение.


В планах на следующий год реализовать мультиплеерный режим. Для чего он нужен? Например, в нашу компанию входит предприятие Северсталь-Метиз, фабрики которого находятся в Волгограде и Череповце. На каждой из фабрик есть волочильный стан оборудование для изготовления проволоки. Мы сделали такой VR-тренажёр, Волочильщик проволоки, и было бы интересно, чтобы коллеги из разных локаций могли соревноваться между собой или совместно проходить обучение в режиме мультиплеера.


Мультиплеерный режим можно использовать, чтобы вместо бота в тренажёр заходил ещё один сотрудник, это поможет в отработке совместных операций. Ещё одна возможность, которую откроет мультиплеер, создание админ-панели, с помощью которой специалист по обучению мог бы наблюдать за проходящими обучение и при необходимости вмешиваться в процесс.
Сейчас все наши тренажёры предназначены исключительно для внутреннего использования, они сделаны под конкретное оборудование, конкретную планировку цехов это соответствует нашей концепции эффекта погружения. С 2021 года мы попробуем выйти на внешний рынок с услугой разработка VR-тренажёров для производственных целей.


Как стать AR/VR-разработчиком и каковы перспективы этой технологии


Все члены нашей команды молодые ребята, обучавшиеся с нуля, со стажёрских позиций. Во-первых, так уж повелось в нашей команде: кадры мы привыкли растить сами. Во-вторых, готовых AR/VR-специалистов найти сегодня достаточно сложно или дорого: разработка под игровые движки узкая специализация. В процессе ковки кадров мы смотрим, кому какое направление ближе: 3D-моделирование, программирование базовых сервисов или работа с движками. И предлагаем углубиться в ту область, которая больше нравится.


Проблема в том, что наши вузы практически не выпускают VR-программистов или геймдевов. Зато есть огромное количество различных обучающих платформ, таких как Skillbox или Яндекс, которые помогут на базовом уровне освоить Unity, Unreal Engine или 3D-моделирование. Можно пойти на любой из этих курсов или обучаться самостоятельно. Тот же YouTube поможет освоить какие-то базовые вещи.


Как я уже говорил, у Unity немного ниже порог вхождения: комьюнити большое, информации много. Но зато специалистов по Unreal Engine сложнее найти, поэтому они больше ценятся.
Стационарное оборудование всё ещё достаточно дорогое, громоздкое и требует мощного компьютера, а мобильные VR-устройства пока проигрывают в качестве картинки. При этом перспективы AR/VR-технологий сомнений не вызывают: рынок будет расти по мере решения указанных проблем. Когда устройства типа смарт-очков начнут повсеместно использоваться вместо смартфонов, вокруг нас станет гораздо больше виртуальной и дополненной реальности.


Мы к этому уже готовы, за последние пару лет AR/VR-технологии вошли в жизнь нашей компании довольно плотно. В виртуальной реальности сотрудники не только обучаются, но и соревнуются: кто быстрее выполнит задание, выйдет из шахты и т. д. А цеха нашего предприятия круглосуточно открыты для виртуальных экскурсий: любой желающий может совершить тур по Череповецкому металлургическому комбинату, начиная с центральной проходной.


На этом пока всё. Буду рад ответить на ваши вопросы в комментариях. Спасибо за внимание!

Подробнее..

Earth2 виртуальная реальность, новая криптовалюта, или мир NFTs?

20.03.2021 00:14:27 | Автор: admin

Вот уже несколько месяцев умы геймеров и криптоинвесторов будоражит новое явление под названием Earth 2. Вдохновлённая футуристическими вселенными Ready Player One и Snow Crash, игра была запущена в декабре 2020, и с этого момента успела привлечь более 300.000 игроков, продать сотни миллионов частиц будущего мира, создать дорогостоящие NFT, и получить освещение в прессе и на телевидении.

На фоне недавнего безумного роста стоимости биткойна и других криптовалют, все чаще звучит фраза: Эх, если бы я знал и купил немного биткоинов в 2010 году. В этом плане очень важно оказаться в самом начале чего-то грандиозного, так что давайте попробуем вместе разобраться, что это за новое явление, как с ним иметь дело, и может ли получиться из этого что-то стоящее.

Идея и философия игры

Вселенная Earth 2 представляет собой оцифрованную копию Земли (aka Earth 1). Вся планета представлена с помощью карт Mapbox и разбита на маленькие ячейки (tiles), размерами не менее 10 на 10 метров, всего примерно 5.1 триллионов ячеек. Игроки могут покупать эти ячейки за игровую валюту (а ее, в свою очередь, за реальные деньги), продавать друг другу, или выкладывать на торги.

Согласно блогу Mapbox, их команда работала совместно с создателями Earth 2 по реализации этого грандиозного проекта и разработке нового функционала (такого, например, как Heatmap, показывающего распределение наиболее популярных зон на планете).

Сейчас вселенная находится на самой начальной стадии (об этом чуть ниже), но попутно идет разработка самого 3D-мира этой параллельной реальности. Этот мир разработчики создают на основе Unity, что по идее говорит о возможности как игры на PC, так и реализации различного VR функционала.

Первое превью ландшафта нового мира разработчики недавно выкладывали в 4K и обсуждали со своими фанатами:

https://www.youtube.com/watch?v=pmx161RADWw

На игровых ячейках их владельцы смогут создавать свой мир строить здания, города, и целые миры. Также обсуждается возможность терраформа преобразования ландшафта из одного типа в другой.

Перемещаться из одной зоны мира в другую можно будет как физически, так и с помощью телепорта. Для этого на своих территориях игроки смогут размещать порталы и давать им уникальные имена.

Открытым остается вопрос, что именно игроки смогут делать в этом мире, какие будут правила, и будет ли мир созидательным или враждебным. Пока разработчики не имеют однозначного ответа на этот вопрос, но допускают возможность существования одного и того же мира в нескольких ипостасях когда можно будет жить и наслаждаться миром по типу San Junipero, и в то же время использовать тот же самый мир для шутеров с монстрами a-la Resident Evil и т.п.

Команда создателей

С самого начала команда Earth2 выбрала путь максимальной прозрачности, насколько это возможно (еще бы, учитывая, какие деньги люди вкладывают в их вселенную). Разработчики периодически появляются в дискорде, твиттере, а также устраивают онлайн трансляции.

На отдельной странице сайта можно найти всех создателей и сотрудников на данный момент, с фотографиями и ссылками на публичные аккаунты.

  • Shane Isaac основатель компании с более чем 20 годами опыта в разработке и менеджменте, главный автор идеи Earth2.

  • Dillon Seo со-основатель Oculus VR, которую в итоге приобрел Facebook за $2 миллиарда. В Earth 2 выступает в качестве советника.

  • Steve Bennett гуру MapBox, специализирующийся на генерации векторных тайлов со сложными наборами данных. Отвечает за построение глобальной сети ячеек на карте Earth 2.

  • Wolfgang Walk эксперт гейм дизайна с более чем 25-летним опытом, участвовавший в создании десятков разнообразных игр. Отвечает за геймплей и игровой дизайн мира Earth 2.

  • Ralf C Adam гейм продюсер, с большим опытом и авторитетом в игровой индустрии.

Полный список можно найти здесь.

Фазы развития

Разработчики заранее объявили, как они планируют создавать и развивать вселенную Earth 2 и чего можно ожидать от каждой из фаз. На данный момент мы знаем только о трех фазах, но понятно, что в будущем их должно быть гораздо больше.

Первая фаза Распределение земель

На этой стадии игроки могут найти точку на карте, где они хотят купить землю. За один раз можно купить одну или сразу несколько ячеек (обычно не больше 750). Если ячейка никем не занята, ты просто покупаешь ее и ее уникальный номер добавляется в твой портфолио. Если ячейка уже была занята другим игроком, то ты можешь попробовать ее выкупить.

Обычно важно, что именно находится на ячейке, которую ты хочешь купить. Это может быть или кусок земли, или какая-то известная точка на карте, или какой-то памятник или здание. Создатели игры говорят, что новая вселенная не будет повторять те же самые рукотворные строения, что есть в реальном мире. Однако, если какая-то точка является очень популярной на нашей планете (например, Эйфелева башня, Статуя Свободы, пирамиды, Московский кремль, дворец Путина, и т.п.), то велика вероятность, что это тоже будет местом притяжения в новом мире.

Цена за ячейку в любой стране начинается с $0.10, а затем постепенно увеличивается в зависимости от количества проданных ячеек. Ячеек по изначальной цене уже не осталось ни в одной стране (кроме нескольких недоступных, см Дубай ниже), однако до сих пор есть много стран, где можно купить ячейку по цене меньше доллара.

Также все ячейки каждой страны распределены на классы: Class 1, Class 2, Class 3 и так далее. В зависимости от класса ячейки, на них периодически начисляется LIT (Land Income Tax), который собирается с покупок новых ячеек в этой стране и их часть распределяется между всеми текущими владельцами. Подробнее про функционал новой фазы можно почитать здесь: https://earth2.io/about.

Hint: если будете покупать ячейки, не забудьте использовать код на 5% кэшбэк 9R3E6WFFY6

Вторая фаза Появление ресурсов

В ближайшее время в игре ожидается появление различных ресурсов, которые будут добываться на ячейках и приносить доход их владельцам. Пока не очень ясно, какие это будут ресурсы: например, будут ли это те же самые ресурсы, которые есть в нашей реальности, и будут ли, например, золото и алмазы более востребованнее, чем соль или вода.

Также неясно, будут ли эти ресурсы появляться в зависимости от реального расположения на Земле или нет. Так, например, многие игроки покупают реальные нефтяные вышки или алмазные шахты, из-за чего они очень выросли в цене хотя вовсе не факт, что именно там в будущем появятся ресурсы Earth 2.

Известно, что эти ресурсы будут нужны для строительства и для экономики будущей вселенной в целом. Так, например, если тебе будут нужны ресурсы, которые не добываются на твоих собственных ячейках, у тебя должна быть возможность купить эти ресурсы у других игроков. И наоборот, выставить излишки своих ресурсов на рынок.

Самый первый ресурс, который должен появиться в ближайшем будущем, называется Essence. Сложно точно перевести его название, но если дословно, то наверное самым близким будет сущность. Essence точно будет нужна, чтобы создавать порталы и задавать им уникальные имена; ну и возможно для чего-то еще.

Пока создатели не очень охотно рассказывают подробности, потому что это может привести к ненужным спекуляциям и манипуляциям с землей. Ну и плюс они пока оставляют за собой свободу выбора, чтобе решить, куда игре двигаться дальше.

Третья фаза Появление ландшафта

В третьей фазе Earth 2 начнет приобретать трехмерные очертания. На земле появится ландшафт, который станет основой будущего виртуального мира. Вот текущий скриншот их игрового мира, которым поделились разработчики:

Пока про эту стадию известно не очень много, но ясно одно все творения человеческих рук будут стерты и природа предстанет в своей первозданной красоте. Хотя, как все что же будет, например, с каналами, или например, дамбами? Непонятно. Да и в принципе, глобальное потепление - это тоже творение человеческих рук, ну или чего там еще. В общем, поживем увидим.

Уникальные явления

За то немногое время, что существует игра, она уже успела породить несколько уникальных явлений. Их важно принимать во внимание, если вы хотите выстраивать свою стратегию. Вот некоторые из них.

Ватикан

Как известно, самое маленькое государство на планете. Так как количество ячеек на Earth 2 в Ватикане безумно мало, то его раскупили в первые же несколько дней. Теперь землю в Ватикане почти невозможно купить и ее цена доходит до заоблачных высот. Некоторые игроки продают землю под видом Ватикана, но на поверку оказывается Рим. Смотрите, не перепутайте!

NFTs

Так как Earth2 это изначально повторение карты обычной Земли, то конечно же культовые места на Земле сразу стали невзаимозаменямыми токенами в этом мире. Пирамиды, Статуя Свободы, Эйфелева башня, Московский кремль, Эверест и т.д. и т.п. Пока не очень ясно, будет ли возможность в этих местах повторить сооружения Земли или создать что-то своё, уникальное ясно одно: ячейки вокруг этих мест стоят безумно дорого и их почти не купить.

Другой тип NFTs, рождение которых мы сейчас наблюдаем это уникальные рисунки (или надписи) на карте.

Mega cities

Виртуальная вселенная порождает желание сотворить что-то космическое. Так игроки стали объединяться, чтобы в будущем строить новые мега-города, которых не существует в реальном мире. Каждый такой город имеет свой сайт, комьюнити, стратегию развития и строгое распределение ролей.

Полное описание всех мега-городов можно найти в соответствующем Discord-канале.

Dubai

Ну и конечно, Дубай. С самого начала игры некоторые страны были закрыты для продажи (то ли по юридическим, то ли по религиозным соображениям). И одна из самых популярных стран, где игроки до сих пор не могли купить ячейки, это ОАЭ (в простонародье, "Дубай"). "Почему нельзя купить Дубай?" и "Когда можно купить Дубай" этими вопросами раздражает каждый второй новичок. Зачем он вообще им нужен? Вроде как просто много красивых зданий, плюс потенциально нефть и подобные ресурсы, которые могут пригодиться на следующих фазах игры. Ну и начальная цена 10 центов за ячейку такой в мире Earth 2 уже нет и больше не будет.

Апдейт от разработчиков: Дубай наконец-то будет доступен для продажи! Уже завтра 20 марта, в ночь с субботы на воскресенье, игроки всего мира будут настраивать своих ботов лихорадочно жать "купить" и растащут всю землю ОАЭ на кусочки. Если вы хотите поучаствовать в этом безобразии желаю удачи, но сразу оговорюсь надежды мало. Интерес будет колоссальный.

Стратегии заработка

Вложив реальные деньги, игроки хотят (зачастую быстрой) отдачи и вывода своих средств. Пока самым успешным способом заработка является перепродажа так, купив большие участки земли за несколько долларов в популярном месте, некоторые умудряются продавать позднее за несколько сотен, а то и тысяч. Также каждый участок сейчас периодически приносит LIT (Land Income Tax), но пока это совсем небольшие средства.

Создатели игры собираются показывать внутри рекламу и ведут переговоры с разными компаниями. Возможно, если у вас будет участок в популярном месте, вы сможете зарабатывать на этом.

Но основная идея гораздо глобальнее это попробовать в будущем создать что-то свое, настолько крутое, чтобы туда могли захотеть приходить люди из реального мира. Что это может быть? Огромный парк развлечений? Копию реального места на земле? Мега-города? Экспо-город для виртуальных конференций?

Идей много, но всё зависит от того, насколько сами создатели Earth 2 способны это всё поднять и сделать мир пригодным для созидания другими игроками. Пока серьезно об этом мечтать довольно рано.

Вердикт

Игра безусловно имеет потенциал, в основном из-за большой виральности. Основные причины этой виральности: привязка к реальной земле и ее реальным объектам (каждый хочет купить что-то крутое) и замес сразу нескольких популярных трендов крипто-эйфории и VR/AR-технологий.

Но тут в любом случае, каждый решает сам, стоит ли вкладываться и рисковать реальными деньгами. Я думаю, ни в коем случае не стоит рассматривать это как стабильный источник заработка и вкладывать последние крохи.

Некоторые люди предпочитают купить немного ячеек на всякий случай например, известные места в своём родном городе, чтобы сделать там порталы и в будущем удобно перемещаться по новому виртуальному миру (если будет реализована привязка к геопозиции, как в Pokemon Go и подобным концептам). Еще можно подарить кому-то на день рождения кусочек новой виртуальной земли гораздо лучше, чем фиктивный сертификат на Луне. Если кто-то всё-таки захочет купить несколько ячеек Earth2, вот вам код для 5% скидки: 9R3E6WFFY6

Делитесь своим мнением, стратегией и прочими советами в комментариях! Пока совершенно непонятно, во что игра превратится в будущем предлагаю просто оставить этот пост, чтобы вернуться к нему снова через полгода-год и посмотреть, где мы были правы, а где ошиблись.

Подробнее..

Июньские заметки о виртуальной реальности. Часть 2

04.06.2021 16:20:58 | Автор: admin
Продолжение, первая часть тут

А что кроме игр?


Прежде всего я сфокусирован на играх, но для меня мой шлем должен стать ещё и персональным кинотеатром у меня трое детей, и редко когда получается уединиться, чтобы посмотреть ужасы, например. Я ещё не смотрел кино в VR, но огромное окно в YouTube мне нравится. Тем более, сейчас есть приложения, которые позволяют смотреть кино в VR вместе с друзьями, в одном пространстве.

Мне также интересен Virtual Desktop у меня появится доступ к стационарному компьютеру, прямо с дивана. Это не сильно изменит мою работу на удалёнке, так как удалённый рабочий стол не готов к VR. У меня всё так же будет одно окно терминала я не смогу в VR расположить почту справа, а ssh в левой части.

VRChat очень многих побудил купить как VR-гарнитуру, так и систему систему полного трекинга тела. Исходя из большого количества видео это забавный мир, в котором всё время происходит что-нибудь интересное и он полон сюрреализма.

Из приложений мне очень понравилась рисовалка, хотя я и не художник. Это что-то среднее между изображением и скульптурой и очень такой медитативный процесс.


Вот тут больше разных впечатляющих видео с софтом для рисования.

Порно, кино для взрослых


Кино для взрослых в VR тоже довольно интересная тема как для одиноких людей, так и для пар. Я думаю что у таких видео должен появиться API, который будет управлять вибраторами/мастурбаторами. Либо такие видео будет размечать нейросеть, чтобы изменять режимы стимуляции и их интенсивность.

Что касается пар это может быть довольно интересным опытом. В шлеме ты смотришь взрослое видео, а в реальности занимаешься сексом с женой, которая повторяет действия женщины из видео. Если пойти дальше, то взрослое видео может быть снято с двух точек (со стороны мужчины и женщины) и тогда уже два человека могут заниматься сексом в шлемах.

Я не вижу каких-либо технических сложностей в том чтобы отслеживать тела людей в реальности и проецировать их в виртуальности, изменяя при этом их внешность и окружающую обстановку. Это пространство сделает доступными любые фантазии и фетиши, в том числе противозаконные или небезопасные в реальности.

Я полагаю, что реальности это может пойти только на пользу. Но пока нет ответа сможет ли, например, педофил или зоофил заниматься сексом с женой/мастурбатором в реальности, в то время как в виртуальности он будет заниматься сексом со свиньей или несовершеннолетней? Достаточно ли ему того будет? Или богатые возможности виртуала смогут толкнуть на эту дорожку даже тех, кто в эту сторону и не смотрел? Или вообще побудит к осуществлению запретных фантазий в реальной жизни? Возможна ли терапия для педофилов, если каждый раз при виртуальном сексе очень постепенно и незаметно заменять части тела vr-куклы на более взрослые? А что, если это делать в сочетании с психоделической терапией, которая, судя по всему, даёт возможность перепрограммирования?

Было дело, я начинал писать на Хабр достаточно провокационную статью Выбор секс-куклы в 2040-м, но от обсуждения, какими будут эти куклы, быстро перешёл к разговору на тему ИИ-психотерапии и фантазии о полной оцифровке всей жизни людей (для того, чтобы понять, как детские травмы сказываются на будущей жизни и для быстрой возможности их коррекции).

Потом мне пришла идея, что было было неплохо уже сейчас провести эксперимент: дать контрольной группе детей Ангела-хранителя видеокамеру на лоб, микрофон и наушник. За наблюдательным пультом постоянно должен был бы сидеть человек, который бы всё время наблюдал за ребёнком, корректно и с удовольствием общался с ним, учил его и подсказывал. Делал бы то, что никогда не могут сделать родители. Когда-нибудь такие няни для детей, наверное, появятся, только это будет ИИ.

В общем, пока я писал, растекся мыслью в разных направлениях, и эта статья вряд ли когда-нибудь увидит свет. Но сейчас, обсуждая секс в VR, я не могу не вспомнить, как я представлял себе выбор этих кукол и их функционал.

Ведь уже сейчас есть ИИ-модели, которые позволяют на основе небольшого опроса (где вам показывают разные лица и считывают вашу реакцию) создать наиболее привлекательную для вас женщину. Когда нейроинтерфейсы плотнее войдут в нашу жизнь, понять, что нам нравится, что возбуждает или отталкивает, станет значительно проще. И это касается не только лиц и фигур, но и поведения! Некоторым нравится агрессивность, в то время как другим покорность. Доминирование или подчинение. Смогут ли наши земные женщины дотянуть до того идеала, который может создать компьютер?

Феномены погружения


Когда я играл в Rust 5-8 лет назад я понял, насколько мир может стать живее в случае если игрок начинает молить о пощаде (или угрожать) голосом, а не в чате. Но в полную силу это раскрылось в игре MMO шутере Will to Live.

Главным образом потому, что, во-первых, в этой мморпг были безопасные зоны для игроков. Во-вторых, из-за малого количества локаций где можно достойно охотиться. Постоянно занятые кем-нибудь споты для фарма порождали массу конфликтов как между отдельными игроками, так и между гильдиями.


В этой игре можно в любой момент натолкнуться на двух игроков, которые возле костра обсуждают тупых бухгалтеров, которые в компьютерах нифига не понимают, или группу игроков, травящих анекдоты. Бывает, происходят разговоры по понятиям, разбор полётов и конфликты на повышенных тонах. Это самые настоящие конфликты, которые вызывают подлинные эмоции адреналин так и бурлит, как перед дракой в реальной жизни. И я даже пару раз пугал жену, когда начинал по-настоящему злиться и орать в микрофон.

Виртуальная реальность добавляет новое измерение, которое делает игровой опыт реальнее. Она добавляет нам руки, которыми мы можем взаимодействовать с виртуальным миром и с другими игроками. И это даёт куда больший эффект, чем, возможно, мы можем себе представить. Также мы можем осматриваться и даже передвигаться естественным образом. Мы полностью сосредоточены на игровом мире, т.к мир не заканчивается за рамками монитора.

Игрок в VR слишком сильно отличается от управляемого компьютером персонажа и именно поэтому в Pavlov VR и других играх люди могут вести себя странно и несообразно игре. Они системно игнорируют игровые правила, по которым они должны просто стрелять друг в друга. Я посмотрел достаточно материала, чтобы это заметить и этот эффект отмечают сами игроки.


У меня есть впечатление, что игроки в VR более дружелюбны, чем эти же игроки, но в плоских играх.

Когда мир перестал быть плоским и появилось больше механизмов для взаимодействия с ним, это стало генератором для самых разных забавных ситуаций. Например, когда один игрок со стола успевает схватить пистолет без патронов, а второй игрок обойму. Благодаря тому, что в игре видно, что в руках у другого персонажа, это становится сразу очевидно. Игроки естественным образом (т.е, даже не нажимая клавишу Push to talk) на это реагируют и смеются.

Эффекты, о которых я говорю так же заметны в игре Echo Arena:


*Кстати, очень понравилось, как в Echo Arena сделаны удары по игрокам. Эти удары субъективно хорошо ощущаются, даже если просто смотришь видео этой игры.

Игроки в игре Echo Arena дружелюбны. Мне кажется, что корень этого явления в том, что люди в игре легко позволяют другим людям заходить в их личное пространство и прикасаться в себе (потому что VR это безопасно и не чувствуется как угроза) и это здорово повышает уровень доверия между игроками.

Возможно, это распространится и на реальную жизнь людям после таких игр будет легче заговорить с незнакомыми людьми и они будут более открыты миру. VR сильно отличается от опыта других мультиплеерных игр мне кажется, он может стать тем местом, где люди смогут социализироваться, а потом выходить в реальный мир.

Именно поэтому моё отношение к жилетам обратной связи*, которые позволяют почувствовать прикосновение или удар, или ощутить звук выстрела телом, далеко от скептического. Я думаю, что мы пока слабо осознаем, насколько он реально может влиять на наше восприятие и погружение. Мы можем только сказать, как жилет реагирует на те или иные игровые события.

Демонстрация жилета:


Есть и более сдержанные отзывы, в том числе на русском. К слову, Tacticsuit на 40 точек прикосновения стоит 500$. Это стоимость жилета, но есть крепления для рук, ног и даже головы. Наверное, может быть полезно использовать его в шутере, чтобы понять, откуда тебе прилетело.

Мы также слабо представляем себе факторы, которые заставляют нас настолько глубоко погрузиться в работу, что мы вспоминаем о том, что не пообедали, когда уже пора идти домой. Мы можем настолько глубоко уйти в книгу, что не будем замечать ничего вокруг, в том числе течения времени. Или на ходу погрузиться в свои мысли и не помнить, как дошли до дома.

Интуитивно многие создатели игр понимают, как привязать наше сознание к происходящему в игре и сделать так, чтобы мы перестали замечать окружающий мир. Есть какие-то общие практики и наработки для этого, и что-то даже формализовано. Но я думаю, что многие возможные приёмы пока остаются в тени, и их предстоит открыть, особенно в VR, который ещё недостаточно изучен.

Ведь есть игры с невероятной графикой, от которых мы скучаем, и в то же время есть игры без графики, часы за которыми пролетают незаметно и где мы сливаемся с персонажем. Вообще, мы пока не знаем, где та последняя капля, что создает эффект погружения.

Мне также очень интересно возможно ли в haptic vest проводить телесную психотерапию? Или это не сработает?

Спортивный аспект игр


Если ритм-игры просто держат в тонусе, то бокс в VR реально выматывает даже спортивных людей. Некоторые дополнительно используют тренировочные резинки боксеров, которые крепятся к талии и рукам, чтобы усилить тренировочный эффект.

Вот видео, где VR бокс пробуют профессиональные боксеры:


К спорту в VR сейчас пристальное внимание, потому что он неплохо, в общем-то, работает. Я не утверждаю, что он полностью заменит реальный спорт и тренировки. Но для многих это будет отличный выход, ведь можно сбрасывать лишний вес и делать это весело.

Для VR фитнеса уже начали продавать интересные железки Icarus.







Выглядит интересно, но стоит от 2000 до 9000 евро за ПРО версию. Для мышц пресса штука классная и, как мне кажется, это не такая уж большая цена для большого спортзала. Тем более, что в нём есть игры с мультиплеером и соревновательный элемент.

Есть стартапы велосипедов с возможностью подключения VR, но, как по мне, так это тупиковый путь. А вот устройство к акселерометром, которое можно было бы использовать на любом вело-тренажёре, могло бы взлететь.

Поэтому я даже написал письмо в поддержку DecaMove (проект, о котором я расскажу ниже).

Good day! I really like your startup DecaMove and I even ordered it myself.
But it seems to me that you have not noticed the potential of this device in vr sports. Please note that exercise bikes connected to virtual reality are now being sold. I think that they are too expensive, and secondly a lot of people already have exercise bikes or treadmills that just stand somewhere in the corner and are not used.
I think it's easy enough to position your device as a sports device. You simply connect the decamove to your leg, record the acceleration determine the potential speed at which the person is pedaling. Faster you pedal, the faster your car/bike/horse goes in the vr game.
I think you need to release a video showing this application of your device.
I also really like your device DecaGear, it will be cool if a device with such functionality comes out for such a price and I wish you the best of luck with this cool project.


Цена велосипедов с играми для VR:
Holodia VR 400$
VirZoom 400$

DecaMove



Как обычно происходит свободное передвижение в VR? Куда смотришь в шлеме туда и двигаешься, зажав контроллер. DecaMove, небольшое и не сильно дорогое устройство, которое вешается на пояс позволяет передвигаться более естественно. Вы сможете смотреть в одну сторону, а передвигаться другую. Я думаю, что это одна из самых важных вещей для VR если вы используете его для игр оно позволяет передвигаться относительно естественным образом.

Небольшой обзор:


Развернутый обзор:


Заказать можно здесь, с доставкой он обошелся мне в 5700р.

Но покупать DecaMove вовсе не обязательно! Ведь вместо него можно использовать обычный смартфон+приложение, если в нём есть акселерометр и компас:


В третьей части поговорим о позиционировании, трекинге, Full body tracking, существующих решениях и ценах на них, и о многом другом.
Подробнее..

Июньские заметки о виртуальной реальности. Часть 3

11.06.2021 16:11:37 | Автор: admin
Часть 1
Часть 2


Позиционирование, трэкинг. Full body tracking. Решения и цены


Основное, что нужно знать.

Всё, что вы можете получить, используя Oculus Go, Google Dream, Samsung Gear или мобильный телефон вложенный в шлем это 3DoF, вращение головой. То есть вы не сможете перемещаться в пространстве, двигаясь вперед, в шлеме вроде Oculus Go. У полноценных шлемов типа HTC или Quest 2 куда больше степеней свободы:



Кроме того, есть внутренний трекинг (использующий камеры на шлеме) и внешние маяки (LightHouse или так называемые базовые станции) с трекерами. Также есть камеры глубины типа кинекта и обычные камеры, считывающие маркеры/ir-светодиоды.

Подробнее о принципах FBT можно почитать в этих статьях: раз, два.

Чем хорош и интересен Full Body Tracking?


Лично меня он заинтересовал после просмотра видео, где блогер использует пинки в игре Blade and Sourcery:


Возможность использовать ноги в качестве оружия это качественно новый уровень погружения и интерактивности, и рано или поздно это станет игровым стандартом.

Vive trackers + LightHouse


Довольно дорогое удовольствие. Один vive tracker стоит от 10 до 17 тысяч рублей в зависимости от версии. Третий релиз трекеров легче и работают они значительно дольше. Базовая станция 2.0 обойдётся в 25 тысяч рублей, б/у станцию 1.0 можно купить за 8-12 тысяч рублей. Советуют использовать не менее 3-х трекеров.

Датчики обратно-совместимы. Можно использовать трекеры 3.0 с базовыми станциями 1.0 и 2.0. Непонятно, с какой частотой они обновляются (отслеживаются). Но вот тут есть обсуждение этого вопроса.

Базовые станции первых и вторых версий отличаются довольно сильно:

sdvuh, IXBT:
Главное, пожалуй, что БС 2 поколения могут работать до 4 штук вместе и обеспечивать трекинг до 10*10 метров, а первого только 4*4 на 2 штуках. Но для обычного пользователя это, имхо, малоприменимо. Ну и точность трекинга выше, типа не 1 мм, а 0,1 мм, тоже не слишком важно)

Whisper, IXBT:
1. 2 бски могут стоять друг от друга по диагонали на 10 метров против 5 метров у первых
2. Заявляли большую точность по сравнению с первыми станциями. В целом мне и первых БСок тут хватает при стрельбе из снайперки на большое расстояние в Pavlov этого достаточно.
3. Поддержка до 4-х БСок для одной зоны (вот тут точно не помню уже, может и больше). Первые только 2 б-ски поддерживают.
4. Ещё заявляли, что меньше движущихся частей и из-за этого выше надежность. Но тут у меня сомнения, так как много слышал про поломки вторых БС-ок и очень мало про первые.


Senso Suit

Преордер костюма с 15 трекерами, в каждом из которых вибромотор для обратной связи + базовая станция), обойдется в 600$. На русских порталах продают за 200 000.




Senso известна также своими перчатками Senso Gloves DK3 1000$ за комплект.

Tundra tracker

На кикстартере появился Tundra tracking с более демократичными ценами, прямой конкурент HTC.

Комплекты уже включают в себя базовую станцию для отслеживания трекеров:

3 трекера 300$, 22 500р
5 трекеров 456$, 34 200р
7 трекеров 630$, 47 250р

SlimeVR Full Body Tracker Crowdfunding Pre-Launch

Также готовится к выходу SlimeVR, комплект из 5 датчиков за 140$. Про него можно сказать только то, что частота обновления будет 100 герц, и они могут работать без подзарядки до 15 часов.


Cookie-Body Tracking DK1 180

Главная цель проекта сделать FBT как можно более дешевым.
Работает в 120 герц, 1 cm precision, 85x55 FOV, 3m range. Обещают отдать комплект за 600 SEK (5400 руб).
Преордер обещают на Kickstarter к концу апреля.
Латенси в районе 3-5мс и трекеры не требуют батареек.

Судя по всему, это трекинг при помощи распознавания маркеров (?). В Driver4VR, например, недавно появился такой режим.

Может быть, CookieBody будет работать лучше/быстрее, чем Driver4VR?

Демонстрация.


Shockwave-костюм

Костюм из спандекса за 265$ c 12 IMU-трекерами и 64 точками для имитации прикосновения (ну или для ощущений от взрыва гранат) при помощи вибромоторов.
Первые, кто вложился в проект, могли заказать за 195$.

На май-июнь запланировано производство, и в июле уже будут отгружать. Также они планируют трекинг для ног и перчатки.



Костюм нативно поддерживает SteamVR, может использоваться через Driver4VR. Указано, что поддерживает следующие игры: The Age of Monsters, Sci-WAR: 2220 и Ghost Assassin VR, VR Chat, Skyrim VR, Fallout 4, Alyx.

К сожалению, не нашёл частоту обновления. Если вас заинтересует костюм поищите у них в дискорде или в комментах на кикстартере.

Почему так дёшево? Думаю, основная причина в том, что Shockwave не использует внешний трекинг, а использует IMU (Инерционно измерительный блок) то есть акселерометры. Такой вид трекинга можно назвать инерционным.

Пять месяцев назад многие бейкеры в комментах требовали видео с доказательством, что костюм работает. Судя по тому, что в комментах видны отменённые заказы пруфы были предоставлены не в срок. Сейчас видео с демонстрацией есть, но в любом случае, будьте осторожными и оцените риски перед заказом.

Самый доступный трекинг для VR

Driver4vr позволяет использовать Kinect (1500р с авито) или PS Eye для полного трекинга тела.



Кроме того, при помощи Driver4vr можно использовать и обычные вёб-камеры + маркеры из кубиков, прикреплённые к телу.

Нативно Driver4vr не поддерживает несколько кинект-камер, а ведь именно это приходит сразу в голову. Однако это не фантастика:


Странно, конечно, что у драйвера до сих пор нет поддержки RealSense-камер, которые должны быть уже намного более технологичными, чем Kinect.

Что именно выбрать, зависит от размеров вашего кошелька. Один Kinect справляется с трекингом хуже, чем две базовых станции HTC. Но и стоимость HTC больше чуть ли не в 10 раз.

Вот здесь попытались сравнить качество трекинга Kinect/HTC:

Отмечу также, что на форумах писали, что Kinect+Driver 4VR потребляет довольно много CPU, так что непонятно, потянет ли компьютер сразу два кинекта.
*Driver 4VR не поддерживает 2 кинекта, но на ютубе можно найти демонстрацию, где задействовано несколько кинектов.

Системы перемещения в VR


Virtux Omni



Я позвонил представителям в России и представился обеспеченным человеком, который хочет купить себе версию дорожки для дома. Но оказалось, что даже вымышленный обеспеченный Я не настолько богат, чтобы себе это позволить.

10 500$ платформа, два пояса, 4 пары обуви.
13 000$ платформа, датчики, два пояса и 8 пар обуви.

Пока проходим мимо.

ROVR



Гораздо более демократичные цены, чем у Omni ROVR1 обойдётся в 700 евро.

Стоит, правда, отметить, что доставка таких больших и тяжелых устройств может быть довольно дорогим удовольствием.

Cyberith Virtualizer



600-1000$ в зависимости от комплекта.


Kat Walk



Первое, что хочется узнать про платформу для VR это цена. У KAT WALK C она не то чтобы совсем неподьёмная 1499$ (164 т.р)

Про Kat Walk на Pikabu я увидел следующий отзыв:
1) В комплекте идут резиновые накладки на ноги разных размеров с пластиковыми (скорее всего) шайбами на подошвах. Резина рвётся, шайбы царапают поверхность.
2) Делая большой шаг (а в очках естественно вы не видите края платформы ) будут постоянные зацепы за этот край. Это бесит
3) Нельзя поиграть в любую игру которую захочешь. Надо чтобы игра была оптимизирована их разработчиками. Список таких игр на прошлый год был весьма скромный. В их магазине есть и простенькие игры с уровнем графики относительно современных мобильных телефонов, НО! бесплатных там всего пару штук. За все остальные надо платить, при чём ты не можешь купить эту игру. Ты покупаешь время, которое проведёшь в игре. И цены по лично моим меркам дурные.
4) После каждого перезапуска надо делать калибровку, чтобы при физическом передвижении вперёд персонаж не двигался назад. Калибровка иногда дико выпендривается и надо ковырять вручную ПО, чтобы прописывать положение пояса.
5) Сам пояс в плане комплекции игрока вообще не универсальный, как по обхвату талии, так и по высоте человека.
6) Херовы датчики 6 если быть точнее. Один ресивер получает данные с двух датчиков ног и ещё один получает данные с металлической оси, на которой висит пояс + датчик позади пояса в области поясницы. Далеко не всегда вся эта песня хочет синхронизироваться друг с другом.
7) Опять же, не знаю как сейчас, но мы покупали две установки, которые комплектуются терминалом, похожим на тот, в котором пополняется мобильный счёт и оплачиваются всякие гос.услуги. Большая тяжелая е**ла с отвратительной антивандальной клавиатурой, которой невозможно пользоваться.
8) Поверхность чаши покрыта несколькими трапециевидными листами то ли пластика, то ли тонкого металла. И не дай б**ь боже начнутся задираться уголки этого материала (а они априори начнут). Всё, пиз**ц. Плюс эту поверхность надо постоянно смазываться перед игрой какой-то силиконовой полиролью.
9) Ох сколько раз в кураже мы бились руками и геимпадами о металлическую трубу, которая идёт от платформы вверх и держит всю конструкцию
Не знаю где вы нашли их за $1500, мы покупали примерно за 120000 грн каждую + растаможка и доставка обошлась примерно столь же

Kat Loco



Гораздо интереснее и доступнее выглядит Kat loco. Комплект состоит из трёх трекеров, которые крепятся на ногах и поясе и позволяют перемещаться по VR вполне естественно. Однозначно не у всех найдется место дома, куда можно поставить большую платформу типа KAT Walk C, поэтому Kat Loco вариант. Более подробно о нём напишу чуть ниже.


Цена вопроса 230$

Впечатления по Kat Loco от Ивана Ивко (IXBT):


Кто не в курсе, это набор датчиков из 3 штук, на пояс и лодыжки, которые позволяют двигаться в играх за счет перемещения ног. Это шагание на месте и некоторые другие опции. Kat Loco помогают освободить руки а так же использовать датчики для захвата движений.

Сразу предупрежу, я тестил часа 2, и в игре из этого времени был минут 15, т.е. это скорее впечатления от процесса настройки, чем от игрового процесса.

1) Базовая настройка и подключение. В целом, все достаточно просто и по инструкции, но было 2 момента, на которые я убил основное время, это Kat gateway (утилита управления) должна стартовать от имени администратора, иначе она не может взаимодействовать со SteamVR (считывать положение шлема, эмулировать контроль, встраиваться в оверлей). Это, в принципе, в FAQ на сайте описано (на 4 странице, ага), но не очевидно и без привязки к главным симптомам (только к части), как будто это редкая ситуация.

При этом сама утилита никак не сообщает, что у нее какие-то проблемы взаимодействия, просто не делает то, что должна. Минут 20 убил на эксперименты и переустановки.

Датчики беспроводные, но для связи с компьютером и отслеживания в пространстве используется собственная базовая станция, поэтому требуется калибровка при первой установке и смене места игры (кстати, в инструкции указано, что отслеживание гарантируется при расстоянии до базовой станции от 1 до 2 метров, 1,5 оптимально).

Тут у меня произошел затык, поскольку для калибровки требуется всячески вращать датчик согласно инструкциям на экране. При первой калибровке я его вращал диодомом, обращенным к БС (что показалось логичным, т.к. именно так он будет во время игры закреплен на поясе). А по факту оказалось, что это надо делать держа диодом к себе.

К чему это привело после первой калибровки я в играх двигался туда, куда хотел, только когда смотрел на БС, а стоило чуть чуть повернуться, направление движения поворачивалось в другую сторону. Отследить это можно прям в стиме, в оверлее есть меню Кат со статистикой, которое отображает угол поворота шелма и датчиков, и было видно, что эти углы в разные стороны меняются. Но тоже, я не сразу допер, что дело в неверной калибровке.

Также, говоря о настройке, стоит упомянуть о необходимости калибровки направления. Тут суть в чем глядя прямо вперед и стоя ровно жмется кнопка калибровки, в итоге синхронизируются углы поворота датчика и шлема (чтобы при дальнейших поворотах менялись равномерно). Про необходимую частоту этой калибровки в инструкции написано обтекаемо при старте игры и если заметите неточности в определении направления движения. По факту, у меня средний датчик висел на поясе шорт и слегка сползал туда сюда, в результате чего синхронизация углов слегка сбивалось (на 10-15 градусов). И это приводило к тому, что, к примеру, когда я пытался идти вперед, в игре персонаж двигался не вперед, а под небольшим углом от этого направления. Калибровка это исправляла, но ненадолго.

Вероятно, крепить надо на ремень или т.п., чтобы жестко держалось, позже это проверю.

2) Возможности

Базовый режим перемещение вперед, когда шагаешь. Именно эту часть я потестил меньше всего, т.к. была глубокая ночь, и не хотелось топать и будить соседей. Дополню отзыв позже, пока отмечу, что мне показалось недостаточной чувствительность. Я начал двигаться только когда выкрутил ее на максимум. Правда, уже после еще раз посмотрел рекламные видео, в них человек шагает не очень высоко, но часто, я же шагал реже, но высоко поднимая ноги. Мб в этом дело.

Даже когда датчик шагов срабатывал, была явная задержка между началом шагов и началом движения в игре, по ощущениям что то типа 0,5 1 секунды. Насчет быстроты остановки не скажу. Замечал при движении рывки (т.е. шагаю, двигаюсь вперед, остановился, снова начал двигаться, хотя я не прекращал шагать). Мб это было связано как раз с неправильным шаганием.

(тут отмечу, что разрабочики заявляют о поддержке румскейл, т.е. мб тут как раз логика, чтобы когда ходишь медленно, локомоушн не врубался, и можно было своими ногами по комнате перемещаться, а начинаешь часто шагать локомоушн).

Про возможность бега не скажу. Заявлено, что чтобы бежать в игре, надо шагать еще чаще, но у меня пока и с просто перемещением проблемы)). Буду дальше тестировать.

  • Привязка направления перемещения. По умолчанию привязано к направлению шлема, однако есть опция независимого осмотра. Т.е. можно идти куда-то и при этом вертеть головой по сторонам, смотреть в другую сторону. Фича работает.
  • Режим бокового перемещения (опция). Отставляешь ногу вбок, движется вбок. (есть еще какой-то альтернативный режим с поворотом лодыжки но я его пока не вкурил)
  • Режим Движения назад (опция). Отставляешь ногу назад, движется назад.
  • Режим Круиза (опция). Выставляешь ногу вперед, движется вперед.

В основном я тестировал в последних трех режимах на чувствительности по умолчанию, т.к. они тихие. Чувствительности по умолчанию тут хватает. задержка начала движения +- такая же, как и при шагании, отслеживается четко, прерываний движения нет.

Минусы

  • То, что я писал выше про необходимость калибровки направления. Выставляешь вперед левую ногу, движешься вперед. Чуть покрутишься, выставляешь правую начинаешь двигаться не вперед, а вперед и вбок.
  • (главный на мой взгляд минус) движение в этих трех режимах дискретное. Т.е. Вперед назад влево вправо. Нельзя держа ногу впереди сдвинуть ее правее и начать двигаться вперед вправо все равно будешь двигаться вперед. Только когда совсем вправо ногу сдвинешь, начнешь двигаться уже только вправо. Написал по этому поводу разрабам, чтобы сделали непрерывную (а не дискретную) смену движения в зависимости от положения ног (что, ИМХО, логично), мб пофиксят. Это бы решило и первую проблему (калибровки), т.е. движешься чуть не туда ну сдвинул ногу вбок и норм.

3) Поддержка в играх, возможность конфигурирования

Система, по сути, эмулирует нажатие определенных кнопок с контроллеров. Т.е. указываешь в профиле для игры, какой джойстик используется для локомоции и какая кнопка за это отвечает и вперед. ОФициальный список поддерживаемых (т.е. для которых профили протестировали) игр довольно велик, порядка 100 штук. Но наблюдаются несостыковки, к примеру, в No Man's Sky у меня перемещение не работало, а потом я понял, что это потому, что профиль сделан под раскладку вайв махалок (т.е. движение по нажатию курка), а у меня индекс контроллеры (движение по стику). Но кастомные профили как для существующих, так и для отсутствующих игр создаются очень легко, так что это не проблема. Т.е. я бы сказал что проблем совместимости быть не должно,

Еще интересно, что нет выбора кнопки для бега, хотя возможность перехода на бег заявлена (и даже можно указать для игры, зависит ли скорость перемещения от скорости шага или же сразу максимальная). Просто в той же NMS на индексе это не банальное нажатие на левый стик, а нажатие при беге на правый стик.

В целом, по итогам короткого теста, я бы сказал, что штука интересная, но несколько сырая, не вставил и вперед играть. Я безусловно буду еще разбираться, мб чего-то не понял или сделал не так, буду пробовать с ней играть, позже напишу впечатления, как наиграю хотя бы 10 часов.

Погонял еще Kat Loco.
Пока 10 часов не наиграл, так что не буду спешить с впечатлениями.

Кратко

1) Если шагать как в рекламном ролике (т.е. часто и мелко, а не редко и высоко) отслеживает хорошо, можно ходить без рывков.

2) В разных играх это несколько по разному. Если в Павлов рывки у меня все же случались изредка, то в но мен з скай очень плавно перемещаюсь, без рывков, при примерно одинаковом темпе ходьбы. Есть параметр-настройка для игр, коэффициент передачи движения в игру, попробую с ним поиграться, мб в этом дело (вероятно, условная мертвая зона стиков (с точки зрения игры) разная)

3) Как работает отвязка от направления контроллеров/шлема.
Судя по всему, кат считывает положение тела и (в зависимости от настроек) шлема и контроллеров. Далее если выставлена настройка отвязать перемещение от взгляда при получении сигнала движение передает команду наклон стика (условно, в зависимости от того, какой контроллер используется со шлемом), причем не вперед, а в таком направлении и под таким углом, чтобы компенсировать поворот контроллеров/шлема, и двигаться в направлении тела. Видно, если бежишь вперед и машешь контроллером влево вправо, этакие рыскания, когда Кат вносит поправки на лету.

В разных играх работает по разному, в Павлове и НМС хорошо (игра была в библиотеке от разработчика), а в ходячих работает странно ведешь контроллером правее, начинаешь двигаться слишком сильно левее и наоборот корректировки некорректно работают. Но при этом вполне нормально работает, если выставить в настройках Кат Локо привязка к HMD (в игре остается привязка к направлению контроллера). Когда идешь, если смотреть в сторону, небольшое смещение вбок добавляется, но несущественно.

WalkOVR



От 84$ за один датчик до 229$ за 5 датчиков.

Обзор:

Принцип примерно тот же, что у Kat Loco.

Сравнение Kat Loco и Walkovr:
WalkOVR


Kat Loco


На последней минуте обзора ютубер говорит, что ему больше нравится Kat Loco.

Virtusphere

Нельзя не вспомнить и про ВиртуСферу. Поставляется развлекательным паркам, скорее всего, ценник 10 000$+



Это, видимо, ранняя версия:



Infinadeck

Большая, громоздкая, дорогая всенаправленная беговая дорожка.


Real Go

Создается студентами ИТМО, выглядит недурно, но сколько будет стоить непонятно.




Устройства для игр в сидячем положении


Cybershoes



Принцип действия вы сидите на стуле (он должен уметь вращаться вокруг оси) и перебираете ногами. Цена 369$. Непонятно, почему так дорого вроде, относительно простое устройство.

3Drudder



Давишь на пятки идёшь назад, давишь носками идёшь вперёд. Чем больше наклон тем выше скорость. За 100 баксов можно купить на Amazon.

Мне не очень нравятся как сидячие игры, так и данные устройства. В тот же шутер хотелось бы играть стоя чтобы приседать и стрелять из укрытия, выглядывать из-за угла. Что касается беговых дорожек сомневаюсь, что цены могут значительно понизиться, и это довольно громоздкое устройство, как ни крути.

Оптимальным устройством для передвижения в VR кажется Kat Loco, но к нему есть ряд вопросов.


Система не имеет своего трекинга и базируется на акселерометрах. Kat Loco может срабатывать ложно, либо не срабатывать совсем.

Даже в случае если эти проблемы будут решены вряд ли те жесты, что есть для управления устройством, сейчас идеальны. Для стрейфа, например, нужно довольно сильно отставить ногу влево. Получится ли в шутерах сделать это быстро, или лучше использовать стик? Останется ли возможность прямо из игры отключить Kat Loco и сделать пару шагов по комнате естественным образом?

Но мне кажется, для того, чтобы это устройство корректно работало на нём должен быть трекинг. Было бы неплохо, если бы софт работал вместе с внешним трекингом. Также вполне логично ожидать акселерометры сразу в трекерах, чтобы обходиться без покупки Kat Loco.

С другой стороны нужно ли будет такое управление, если мы сможем управлять движением в VR с помощью мысли? Или передвижение с помощью мыслей, а не движения ног может убить погружение? Возможно, мы так и продолжим использовать в VR наши руки и ноги, даже когда мы сможем управлять персонажем с помощью мысли.

На ютубе, кстати, есть видео Home Made VR BOOTS, в котором парень сделал примерно тот же Kat Loco. И главное, что его побудило на это тошнота при перемещении в VR при помощи обычных контроллеров:


Мне кажется логичным попробовать создать контроллеры для ног. Что-то вроде педалей, которые можно было бы использовать стоя, чтобы не терять мобильности. Большие пальцы ног, например, вполне можно использовать, чтобы нажимать на кнопки. Это может быть сделано в виде тапок/стелек с кнопкой, или в виде контроллера, который бы надевался на большой палец и был направлен кнопкой к полу. Чтобы было меньше ложных срабатываний, можно использовать даблклики.

Возможно, стоит попробовать поискать мышцы на теле, которые не используются во время игры, прилеплять туда EMG-сенсоры и использовать их для контроля передвижения.

На Ali есть готовы сенсоры для Arduino.

Как может выглядеть игра, которая это использует:


Тут видео с созданием одного из таких контролеров:



С удовольствием купил бы пару таких контроллеров в виде готового решения чтобы вся установка заключалась в переназначении клавиш (при срабатывании) и настройке чувствительности. А также с документацией, какие точки и мышцы лучше всего использовать.

Вообще, люди, далёкие от сферы контроллеров, даже не представляют, сколько разных решений пытаются воплотить в жизнь для того, чтобы нормально взаимодействовать с компьютерами. Вот, например, контроллер, который располагается во рту. Для того, чтобы с помощью него управлять смартфоном, контроллер нужно крутить на языке, зажимать зубами, возможно, даже посасывать.

И ещё одна интересная самоделка для передвижения в VR:




В главе Motion Sickness можно увидеть, что есть также любопытные программно-аппаратные решения, которые решают проблему перемещения в VR.

Костюмы с обратной связью


Самое интересное в этом секторе это Teslasuit, который может бить током (миоэлектростимуляция) в любую из 68 точек, вызывая сокращение мышц. Помимо этого костюм способен передавать холод, тепло и у него есть инерционный трекинг.

Демонстрация:


Цена на Теслу, как и в случаев одноименного автомобиля, не бюджетная более 5000$

Искренне не понимаю, почему пока нет ни одного проекта DYI-костюма, который бы использовал электромиостимуляцию.


4*4 см/5*9 см EMS электрода колодки стимулятор нервной мышцы силиконовый гель десятки электродов цифровой акупунктурный физиотерапия десятки подушек с али-экспресса.

Весьма бюджетно, как и сам китайский прибор.

Если у кого-то вдруг появится желание сделать что-то похожее готов к кооперации. У меня есть контакты профессиональных швей и закройщиц, могу поучаствовать деньгами и найти людей, которые помогут с ардуино или программной частью, но совершенно не знаю, как создать и реализовать схему устройства и сопряжение с ардуино. Тут нужно иметь возможность влиять на силу тока, частоту и длительность разряда.

На тему применения электродов для обратной связи есть довольно интересные и перспективные исследования.



Есть возможность манипулировать человеком при помощи EMS. Вот тут, например, подают немного электричества на ногу в случае, если комната маленькая, а человек уже близко подходит к стене.


Что интересно, пока я гуглил про EMS в VR, я нашёл видео, где пытаются ускорить человеческую реакцию посредством электростимуляции:


А вот это уже интереснее:

Об этом эксперименте я узнал благодаря каналу VR Studio.

Mean Gene Hacks выложил видео, как он испытывал гальваническую стимуляцию вестибулярного аппарата малыми токами, играя в гонки:


Самое устройство было изобретено давно, он лишь его немного допилил и сделал современным.

Подробнее о самом устройстве, где есть схема сборки:


Стоимость сборки около 50 баксов.

Работа с вестибулярным аппаратом также может быть полезна для того, чтобы новичков не тошнило в VR.

Аналогичная сборка.

Тут я могу порекомендовать походить по профилям учёных, участвующих в проекте. Например по проектам, в которых участвует Pattie Maes из MIT. У него много работ по HCI (Human Computer Interaction):

Вернёмся к жилетам.

На рынке есть относительно бюджетные Tactot и TactSuit от bhaptics.

Жилеты используют вибромоторы для симуляции тактильных ощущений.

TactSuit X40 (40 вибромоторов) 499$
TactSuit X16 (16 вибромоторов) 299$
Haptic face (6 вибромоторов) 149$
Arms (6 вибромоторов для каждой руки) 249$
Hands (3 вибромотора для каждой руки) 249$
Feet (3 вибромотора для каждой ноги) 249$.

В комплекте получается совсем уже не детская цена в 1 395$, 104 т.р.



Из плюсов жилета можно отметить возможность подключения аудиокабеля. Это позволяет использовать их при просмотре фильмов вы будете чувствовать все басы.

Есть также Vest Pro Woojer с 6 точками обратной связи за 500$.

Эти жилеты используют запатентованный, мощный, полифонический и бесшумный тактильный преобразователь Osci . Я так понимаю, это что-то типа мини-сабвуферов.

Но всё, что есть сейчас на рынке, это только вершина айсберга.

Есть, например, стартапы, которые создают искусственную кожу с помощью ультразвуковых передатчиков.

В целом же костюмов мало, они примитивные и дорогие, с весьма ограниченной поддержкой в играх. И их однозначно стоит где-нибудь попробовать, прежде чем покупать. Но ситуация с костюмами для VR всё же лучше, чем с перчатками.

Haptic gloves. Перчатки для VR с обратной связью


В целом, перчатки становятся дешевле и выбор довольно большой. 2-3 года назад я не видел перчаток дешевле 300-500 т.р, сейчас перчатки появились и в потребительском сегменте.

Перчатки с обратной связью должны не только иметь трекинг пальцев и руки, но и оказывать сопротивление нажатию или вибрировать.

Haptic-перчатки, которые могут оказывать серьезное сопротивление (т.н силовые), пока находятся в районе профессионального сегмента их используют для работы хирургов, спасателей и обучения космонавтов. Сопротивление осуществляется при помощью магнитных тормозов или через шумный компрессор. Стоимость выше 5000 $.

Самые интересные и продвинутые модели, заслуживающие внимания, это HaptX Gloves DK2, Senseglove Nova и Teslasuit Glove.

HaptiX Gloves DK2





Sensogloves Nova



В этом видео по таймкоду видны ранние прототипы Sensogloves Nova, это довольно любопытно:


Teslasuit Glove



Я не особо понимаю, зачем нужны остальные перчатки. Они очень дорогие, но с ограниченным функционалом. Как правило, там лишь трекинг и вибромоторы. Вы можете почувствовать вибрацию при прикосновении к объекту, но если вы попробуете сжать объект ваши руки не встретят сопротивления.

Для игровых целей мне в таком случае куда ближе обычный контроллер я хотя бы могу сжать рукоять и почувствовать, как будто это пистолет.

Давайте рассмотрим одну из таких перчаток.

Manus gloves



Это Manus Gloves за 5000 $ и вот впечатления пользователя.


А так выглядят Senso Gloves DK3 за 500$



Основа перчаток 7 IMU-датчиков и 5 вибромоторов. Считывание 150 FPS с отзывчивостью 10мс.

Перчаток довольно много, и у меня нет цели подробно рассказывать о каждых. Достаточно просто увидеть общие тренды перчатки до сих пор сырые, дорогие, возможно, бесполезные.

Но сейчас народ уже вовсю мастерит разные перчатки, в том числе с обратной связью. На сборку некоторых ходит всего 22$. Сейчас такое интересное время, что, может, какой-то из этих проектов и выстрелит когда-нибудь на кикстартере.





В целом, чтобы отслеживать движение пальцев, VR-перчатки не обязательны. Это умеют делать контроллеры HTC и Valve Index.

Есть также Etee контроллеры за 260 евро:


Есть поделки в виде трекинга рук и пальцев на основе Leap Motion


Oculus Quest 2 умеет отслеживать руки и пальцы посредством камеры. Я попробовал, и мне понравилось работает вполне сносно, думал, будет гораздо хуже.


Технологии будущего


У VR есть ещё очень много проблем и ограничителей, они только-только начали массово входить в нашу жизнь. Видеокарт нету, либо они очень дороги. Даже самые топовые видеокарты с трудом тянут разрешение 4-5k, а ведь уже есть возможность купить шлемы с 8k разрешением и 200 FOV.

SLI и Crossfire вроде как умерли, и даже WiFi6 не обладает достаточным каналом для того, чтобы передавать разрешение в 5к.

И это всё ещё очень дорогая технология, особенно, если ты хочешь не только качественный шлем, но и полный трекинг. С OLED-экранами шлемы делать перестали и делают на LCD, у которого есть свои особенности. DPI оставляет желать лучшего. Но всё же свет в конце тоннеля виден движение и развитие есть, прогресс уже не остановить. Давайте расскажу, что может изменить VR в будущем.

CREAL

Это копипаста, к сожалению не нашёл источник:

Современные дисплеи это такие цветные плоские экраны, и они к сожалению не способны передавать свет таким же образом, как он поступает в глаза в реальной жизни. Эту проблему и пытаются разрешить швейцарские инженеры из стартапа CREAL. Ну типа See Real смотри реально.

Они разрабатывают так называемые Lightfield дисплеи, которые способны передавать свет теми же самыми лучами, как и в реальной жизни. Я не понял, как это конкретно происходит, но знаю, зачем это нужно чтобы глаза сфокусировались как в реальной жизни, не испытывая дискомфорта. Традиционные линзы выдают картинку только в одной фокальной плоскости, поэтому механизм зрительной аккомодации у пользователя не работает и зафиксирован тоже в одном значении. Про аккомодацию тоже почитайте сами, я не понял её настолько, чтобы пересказать коротко без ошибок. В моем понимании это способность физически менять диоптрии своего глаза с помощью напряжения мышц глаза для того, чтобы смотреть вблизи или вдалеке.

Ну а пока разрешение таких дисплеев составляет 1000 х 1000 пикселей в области обзора 60 градусов.

Управление силой мысли, Brain Computer Interface.


Да, мы все ждём Neurolink, но уж сейчас у геймеров появляются первые гарнитуры, которые способны вполне сносно работать.


MindControl от Next-mind обойдётся в 400$.
Обзор на Habr.

Самые ощутимые проблемы это довольно большие задержки при использовании и то, что нет игр и приложений (кроме трёх игр для примера), которые бы это поддерживали прямо сейчас. Возможность привязки горячих клавиш на какое-то мысленное усилие было бы идеальным вариантом.

В области BCI происходит примерно то же самый замкнутый круг, что был со шлемами для VR 10-15 лет назад. Пока не будет потребителей в достаточном количестве не будет и игр. Пока не будет игр не будет потребителей.

Надо отметить, что Next-mind далеко не первый стартап. Есть также Neurosky Mindwave.

О BCI и его значимости очень много говорит Гейб.

Он утверждает, что игры будущего смогут чувствовать, когда игроку скучно, и добавлять событий. В самом продвинутом варианте подлинно знать, чего боится человек, и использовать его страхи. Да, одна из серий сериала Чёрное зеркало была как раз об этом.

Возможно, Гейб в интервью намекает и на другую возможность не только на чтение мысленной активности игрока, но и о непосредственном воздействии на игрока.

Однако, чтобы считывать эмоции, возможно, вовсе не обязательно использовать только нейроинтерфейсы. Есть, например, вот такое интересное исследование по электрогастрографии, в котором к людям прикрепляли EGG-датчики в районе живота и наблюдали за показателями:
Мы обнаружили, что отрицательные стимулы ослабляют показатели парасимпатической активации EGG или активности отдыха и переваривания. Мы сравниваем EGG с остальными физиологическими сигналами и описываем значение для выявления аффекта. Кроме того, мы представляем, как носимые EGG могут поддерживать будущие приложения в таких разнообразных областях, как уменьшение тошноты в виртуальной реальности и помощь в лечении расстройств пищевого поведения, связанных с эмоциями.


Подробнее о Oculus Quest 2


Заказ с Амазона

Адрес доставки указывать на английском:
Baranov Vladimir Vladimirovich
Taganskaya 12-12 (Улица, дом, квартира)
Ekaterinburg,
Sverdlovsk region (Свердловская область)
620011
Russian Federation

С вас далеко не сразу после заказа спишут деньги, и после покупки на Ali это было не привычно. У меня деньги списали через 3-5 дней.

Через несколько дней после этого на эл.почту (и по смс) пришло сообщение от DPD (транспортная компания), в котором они попросили заполнить на их сайте сведения для таможенного оформления (нужны будут паспортные данные). В письме будет ссылка на их сайт, логин, пароль и пин-код на это у вас будет пять дней.

Через некоторое время придет новое письмо, с требованием оплатить таможенную пошлину, которая составляет 15% от стоимости товара свыше 200$.



Далее вас проинформируют о том, что ваш заказ принят для доставки там можно будет самому выбрать удобное для доставки время. 2 мая я сделал заказ на Амазон, а 21 курьер уже привез мой заказ.

Кабель и роутер я заказал на Ali. Кабель обошелся в 1200р, роутер в 5.2т.р
(Xiaomi Redmi AX6 WiFi 6 6-ядерный 512M сетчатый домашний IoT 6 усилитель сигнала 2,4G 5 ГГц оба 2 двухдиапазонных OFDMA).

Что касается моделей роутеров, VR-комьюнити сделало вот такую табличку.

SideQuest


Игры в магазине Oculus Quest 2 очень дорогие, бесплатных вообще единицы. Включив режим разработчика и поставив SideQuest, можно поиграть в неплохие игры бесплатно или за относительно небольшую плату.

Для установки необходимо сделать несколько шагов:

1 Шаг. Аккаунт разработчика.
2 Шаг. Установка ADB драйвера.
3 Шаг. Активируем режим разработчика в Oculus app на смартфоне
4 Шаг. Качаем и устанавливаем SideQuest
5 Шаг. Коннектимся по кабелю. Разрешаем отладку по USB, надев шлем.

Подробный гайд по настройке.


SideQuest можно установить даже на телефоне, недавно появился экспериментальный режим передачи игр на гарнитуру без кабеля, через wifi.

Кстати, зарегистрироваться в SideQuest на компьютере у меня так и не получилось регистрация работает только с телефона.

Из приложений могу порекомендовать Pavlov VR Shack компьютер для игры не нужен, хотя мобильная графика шлема, конечно, гораздо слабее ПК-версии. Она сейчас где-то на уровне 2000-2003 года (Half Life-1, Halo).

В этом видео как раз рассматривают самые популярные шутеры Oculus в плане технологичности графики:


Motion Sickness


Меня слегка укачивает в играх, где нужно передвигаться на стиках. Не так чтобы это было большой проблемой даже не тошнит, но есть дискомфорт. Периодически у тела возникает потребность расставить широко ноги, как будто я на корабле. В шутерах, на самом деле, довольно сложное управление, к этому надо привыкнуть. Я одновременно использую стик для передвижения и другой стик, чтобы быстро вертеть головой, но вместе с этим я использую движение в реальности, кручу головой и разворачиваюсь.

После игры дискомфорт остается на 30-40 минут.

После 20-30-минутной сессии игры реальность ощущается как VR. Сложно объяснить это ощущение, но я не чувствую полного слияния со своим телом. Как будто руки до сих пор виртуальные, немного чужие, и я не чувствую полную и безоговорочную связь с ними. Иногда возникает импульсивное движение взаимодействовать с реальностью так, как я бы это сделал в VR (проскролить или меню вызвать).

Про укачивание и приёмы борьбы с ним хорошо написано на ixbt.

Отдельно хочется привести пост sdvuh, как он отчаянно боролся и учился передвигаться в VR играх:
Решил написать финальный отчет по своим тренировкам smooth locomotion. Сразу предупреждаю от попытки перенять мой опыт без критики и осторожности все люди разные и что русскому хорошо, то немцу может быть смерть.
Изначально после покупки моей первой VR гарнитуры (HP reverb g2) у меня выявилась острая непереносимость smooth locomotion (хождения со стика), при первой попытке в своей первой игре (Alyx) при нажатии на стик я сразу же потерял равновесие и чуть было не упал. Попытки как то приспособиться привели к печальным последствиям я не смог в этот день продолжить игру, а мысли о продолжении подобного издевательства вызывали отвращение.

Более месяца я играл с teleport locomotion и проблем никаких не имел, но было очевидно, что большая часть VR игр для меня недоступна, что меня категорически не устраивало и я был уверен в том, что проблему буду так или иначе решать. Я надеялся, что накопление опыта в VR само по себе решит проблему, но я ошибался это так совершенно не работает, по крайней мере со мной.

13 дней назад я утвердился в своих целях, окончательно понял, что VR для меня это серьезно и что время решительных действий пришло.
Первый день тренировок был очень коротким, я начал новое прохождение Alyx, со smooth locomotion. Я смог 20 секунд походить по стартовому балкону, покрылся холодным потом, ощутил рвотные позывы и на этом решил (был вынужден) прерваться.

Вторую тренировку я тоже провел на этом балконе и сразу же воодушевился прогрессом: я смог продержаться порядка 5-ти минут, что меня очень удивило и обрадовало. Я даже научился худо-бедно ходить вперед по прямой поднимая взгляд вверх, но перемещение спиной и стрейфы меня просто уничтожали на месте.
Третий день ознаменовался выходом с балкона и попытками начать прохождение, худо-бедно дошел до жилища Рассела.

В четвертый я устроил себе испытания и постарался довести себя до предела, стреляя на ходу и маневрируя. Игровая сессия была достаточно долгой по сравнению с предыдущими и ознаменовалась особенно неприятными последствиями. Как раз именно четыре первые дня были самыми тяжелыми, после тренировок у меня болела голова в области темени и за глазами, учащалось сердцебиение, была некая дезориентация в пространстве, а после четвертой, когда я лег спать, у меня были т.н. вертолеты ощущение вращения комнаты и мнимая подвижность тела при закрывании глаз.

Я не знаю, прав я или не прав (я так и не смог найти никаких нормальных статей по тренировке вестибулярного аппарата), но я самовольно решил, что для адаптации мозга ключевую роль играет преодоление болезненных последствий укачивания, так что каждый день старался себя довести до плачевного состояния, старался относиться к своему вестибулярному аппарату как к подопечному, которого я должен хорошенько нагрузить и замучить, т.е. у меня совершенно не было цели худо-бедно проползти игру.

С пятого по одиннадцатый день у меня наблюдался постепенный прогресс, последствия тренировок мне уже не портили вечер и не влияли на сон, где-то к 7-му дню я понял, что окончательная победа неминуема.

12-й день (вчера), был первый, когда я смог поиграть полтора часа без последствий вообще (полное прохождение Alyx со smooth locomotion я завершил), а сегодня (13-й), я себе устроил экзамен, целенаправленно пытаясь раздолбать себе вестибулярный аппарат теми средствами, которые может предложить Alyx я ходил спиной зигзагами по поверхности с перепадами высот, старался фиксировать взгляд по разным сторонам, в конце даже выставил через консоль 200% рендеринг и отправился в большую открытую и светлую (я заметил, что чем светлее, тем сильнее укачивает) локацию, которая перед Джеффом. Игра начала лагать, картинка подергиваться. Вестибулярный аппарат местами срывался, плыл, но быстро восстанавливался без каких-либо последствий для самочувствия. Считаю, что я победил. Теперь собираюсь поиграть в blade and sorcery, потом пройти medal of honor и, наконец, грозу тошнотиков boneworks.


Также пройдемся по приложениям, которые занимаются реализаций передвижений в VR. Они так же могут помочь с MS.

Natural Locomotion, которое позволяет двигаться естественно. Для движения необходимо махать контроллерами, а для прыжков прыгать:

Можно также ходить при помощи ног, используя для отслеживания массу девайсов от смартфона и Vive трекера до PS и Switch контроллеров:



Также имеется PocketStrafe, которые использует смартфон:


И Freedom Locomotion VR от Huge robot vr.

Последнее выглядит весьма достойно. Например, чтобы сделать стрейф, нужно вытянуть левую руку влево, и от скорости махания контроллерами зависит скорость вашего передвижения:


К сожалению, PocketStrafe и Freedom Locomotion VR заброшены.

Игра в облаке


Одна из самых перспективных вещей для автономных шлемов типа Oculus Quest 2 это игра в облаке. Будет здорово, если можно будет поиграть в PCVR из любой точки мира. Сейчас в SideQuest доступно Shadow VR, но я пока его не пробовал и есть сомнения, что мне хватит 100 Мбит от провайдера для качественной трансляции потока.

Что ещё полезного из софта для пользователя VR?

Vorpx
Позволяет играть на шлеме в обычные игры, но в 3D.

Trueopen vr drivers. Позволяет использовать контроллеры для создания бюджетного VR.

У разраба есть канал на Youtube, там есть довольно много забавного. Например, вот такой контроллер:


На этом заканчиваю, надеюсь было интересно.
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru