Телеприсутствие

Одним из направлений робототехники стали интеллектуальные игрушки для обучения детей творчеству, основам наук и программированию. Порой такие детские роботы уже обладают элементами искусственного интеллекта (ИИ) и способны самообучаться в процессе общения. Воплотить в жизнь самые оригинальные идеи из детской игровой робототехники помогают небольшим стартапам платформы Кикстартер и Индигого. Из представленных на этих краудфандинговых платформах проектов мы сформировали подборку наиболее востребованных идей, получивших финансирование для дальнейшего развития проекта.

Clicbot обучающий робот-игрушка

Clicbot универсальный программируемый робот-игрушка. Благодаря модульной конструкции робот можно собрать в виде гуманоида, двух и четырех колесной тележки, манипулятора, напоминающего формой и движениями промышленные роботы-автоматы. Имеется 50 предварительно запрограммированных забавных конструкций и множество других вариантов для самостоятельного творчества.

Интерактивный Clicbot способен слушать собеседника и реагировать на его действия. Хотя, он и не предназначен для использования в качестве полностью автономного робота-компаньона, но его поведение может легко программироваться. У Clicbot более 1000 настроек и каждая имеет свои под варианты. Он может ходить, ползать, танцевать, ездить, участвовать в гонках или даже подавать утренний кофе, увлекая детей занятиями по робототехнике и программированию.

Головной блок управления включает акселерометр, гироскоп, датчик расстояния, микрофон, динамик, модуль Wi-Fi. Видеокамера позволяет распознавать лица и образы, команды управления, поддерживает технологию FPV (First-Person View) для телеприсутствия и удаленного наблюдения. Для программирования Clicbot можно использовать графический редактор Google Blockly или язык Python

На платформе Кикстартер ClicBot собрал $903 248 от 1678 спонсоров.
keyirobot.com

Bittle программируемый роботизированный кот

Bittle это игрушечный аналог роботов от Boston Dynamic. Он чем-то напоминает и другого робота-собаку Sony Aibo. Но при этом Bittle продается по цене роботизированной игрушки в виде конструктора для самостоятельной сборки.

Bittle умеет ловко преодолевать препятствия, двигаясь на четырех лапах как настоящие животные. Он может запоминать десятки шаблонных движений, выполнять причудливые трюки по командам с пульта управления. А в случае потери равновесия и опрокидывания робот способен вернуться в исходное положение и продолжить движение к цели.

Bittle создан на основе доработанной платы Arduino, для сложных движений использует различные датчики и внешние устройства. Плата управления включает процессор Atmega328P/16 МГц, 2 КБ памяти SRAM и 32 КБ флэш-памяти. Кроме того есть инерциальный измерительный модуль, блок ШИМ для 12 сервоприводов, инфракрасный приемник и зуммер. Есть 4 разъема для модулей расширения.

Bittle это открытая платформа, позволяющая объединить гаджеты разных производителей в единую систему. Добавить роботу возможности ИИ можно подключением микрокомпьютера Raspberry Pi. Написанная на Python программа может запускаться на Raspberry Pi и других поддерживаемых процессорах, управляя Bittle через проводное или беспроводное соединение.

Для упрощенного программирования есть фреймворк OpenCat. Он определяет минимальную структуру данных и алгоритмы движений для четвероногих роботов. Вы сможете научить Bittle новым навыкам и трюкам, чтобы выигрывать призы в соревнованиях международного сообщества OpenCat.

На развитие проекта Bittle на Индигого было собрано $709 391 от 2505 спонсоров.
petoi.com

MOSS универсальный инструмент для обучения программированию

Комплекты MOSS от компании Modular Robotics это оригинальный конструктор для создания роботов. Разнообразные по назначению, программируемые кубики (Cubelets) легко комбинируются и позволяют собирать сотни разнообразных роботов.

Подбор кубиков в процессе сборки робота имитирует процесс простейшего программирования. Программирование с помощью графического редактора Blockly и MOSS Scratch задает алгоритмы контроля датчиков и управления исполнительными механизмами для движения, поворотов, подачи световых и звуковых сигналов.

Программировать и управлять роботом можно через Bluetooth с помощью смартфона или планшета с клавиатуры или пульта дистанционного управления.

При первоначальной цели на Кикстартер в $100 000 для финансирования проекта удалось собрать $361 293.

modrobotics.com

Makeblock Neuron платформа электронных строительных блоков

Makeblock Neuron это удобная для сборки программируемая платформа с использованием электронных строительных блоков. Более 30 типов блоков в виде кнопок, джойстиков, сенсоров и датчиков звука, освещенности, температуры, влажности и других параметров позволяют создавать множество оригинальных гаджетов.

Для соединения блоков между собой предусмотрены подпружиненные разъемы с магнитами. Помогает при этом интуитивно понятная система программирования. Каждый блок уже имеет предварительно запрограммированную функцию. Программировать новые функции можно в приложении Neuron или в редакторе mBlock 5. Для беспроводной передачи сигналов управления используются технологии Bluetooth и Wi-Fi.

Проект Neuron от китайской компании Makeblock получил на Кикстартер одобрение 1464 спонсоров, вложивших в развитие этой идеи $367 129.

makeblock.com

Thimble: новая электронная игрушка каждый месяц

Электронные наборы компании Thimble предназначены для любознательных детей и взрослых. Они помогают в увлекательной форме изучать основы электроники, робототехники, мехатроники и программного обеспечения. Новые наборы деталей для создания высылаются по подписке ежемесячно.

Среди наборов Thimble представлены комплекты для сборки игровых контроллеров, музыкальных синтезаторов, устройств для Умного дома. Можно заняться сборкой более сложных программируемых роботов на микроконтроллере Arduino с управлением через Wi-Fi.

Для начинающих предназначены более простые наборы: различные световые и музыкальные игрушки, термометры, таймеры, дверные звонки. Приложение Thimble включает пошаговые руководства по сборке и позволяет обмениваться опытом и знаниями с другими сборщиками каждой игрушки.

Для развития проекта Thimble через Кикстартер собрано $295 760 от 1776 заинтересованных заказчиков.

thimble.io

MarsCat домашний робот-кот

Полностью автономный, интерактивный MarsCat идеальный робот-игрушка с программируемыми возможностями. Он может выражать эмоции мяуканьем, движениями тела и глаз. Сделать поведение MarsCat натуральным и выразительным помогают 16 серводвигателей.

Программируемый микроконтроллер ATMega2560 позволяет реализовать 6 программируемых шаблонов поведения, MarsCat может быть восторженным или задумчивым, энергичным или ленивым, общительным или застенчивым.

Моделировать поведение настоящего животного помогают алгоритмы ИИ, реализуемые миникомпьютером Raspberry PI. Приобретенные одним роботом навыки и шаблоны поведения хранятся в отдельном модуле памяти и могут быть легко воспроизведены в другом роботе простой заменой памяти. Программировать поведение робота MarsCat помогает специальный комплект разработчика.

Реализовать проект MarsCat в жизнь помогли 227 спонсоров, вложивших в эту идею через Кикстартер $213 198.

elephantrobotics.com

Робот-автомобиль Zumi

Роботизированный автомобиль Zumi помогает детям изучать основы сложных наук, писать программы с использованием блочного кодирования и языка Python. Более опытные программисты смогут создавать программы для уникальных экспериментов с беспилотными автомобилями, научатся проектировать собственные нейронные сети, чтобы обучить Zumi классифицировать объекты и распознавать лица и жесты людей.

В процессе передвижения по трассе Zumi использует Tensor Flow и Open CV это те же самые программные инструменты, что есть и у настоящих беспилотных автомобилей.

Прототип Zumi был удостоен награды Лучшая инновация в категории Роботы и дроны на выставке CES 2019

Реализовать проект Zumi в жизнь помогли 888 спонсоров, вложивших в эту идею через $150 091

shop.robolink.com

ROYBI портативный робот-компаньон с ИИ

Портативный компаньон на базе ИИ создан для обучения детей иностранным языкам и базовым навыкам точных наук. Интерактивный робот идентифицирует ребенка по лицу, распознает эмоции и демонстрирует дружелюбное поведение для вовлечения детей в процесс обучения. Система распознавания голоса позволяет оценивать точность ответов и произношения.

ROYBI взаимодействует с повсеместно доступной онлайн-платформой для обучения детей и взрослых. Контролировать и оценивать занятия помогают формируемые роботом отчеты с рекомендациями по улучшению процесса обучения.

ROYBI был включен в США по версии CNBC в список 100 наиболее перспективных стартапов в 2019 году.

Запущенный на платформе Индигого проект ROYBI привлек $120 538

roybirobot.com

Заботливый Kiki

Kiki это робот-компаньон для детей и взрослых. Он распознает эмоции и действия собеседника, способен реагировать на них. Робот развивает свои уникальные способности в зависимости от особенностей взаимодействия с окружающим миром, при этом меняется и его поведение.

Высокопроизводительный встроенный процессор позволяет Kiki запускать модели глубокого обучения, чтобы распознавать лицо и адекватно воспринимать реакции собеседника. Несколько сенсорных датчиков в разных частях корпуса помогают воспринимать поглаживания, а всенаправленные микрофоны позволяют искать человека даже вне поля обзора камеры.

Реалистичное поведение этого робота базируется на исследованиях ведущих психологов о личностных особенностях человека. Действия в соответствии с заложенными моделями поведения и обучения обеспечивают некую осмысленность и логичность поступков Kiki.

Самообучающийся робот Kiki собрал на платформе Кикстартер $105 611.

kiki.ai

Smartipresence простой робот телеприсутствия

Конструктор Smartipresence поможет создавать собственных недорогих роботов телеприсутствия на основе любого смартфона.

Запущенное на смартфоне приложение поддерживает режим ИИ и позволяет распознавать образы с помощью облачного сервиса. По команде пользователя Smartipresence в сеансе видеосвязи будет сопровождать человека или даже домашнее животное, чтобы его лучше видел удаленный собеседник. Режим действий Smartipresence задается через приложение на смартфоне. Smartipresence можно визуально программировать в среде Scratch, либо с помощью Espruino на основе языка JavaScript.

Этот проект английского инженера Росса Аткина уже поддержали на Кикстартер 186 спонсоров, собравших для запуска проекта $17329.

В этой подборке мы собрали наиболее интересные и перспективные модели детских роботов-игрушек, включающие технологии телеприсутствия, распознавания речи и голоса, автономность действий и поведения на основе ИИ и машинного обучения, которые еще недавно были доступны лишь взрослым роботам.

Напишите в комментарии, а какие на ваш взгляд наиболее перспективные роботы-игрушки есть на рынке или уже у вас дома?

Компания Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил бы возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира.

Это совпадает с целями международного конкурса $10M ANA Avatar XPRIZE, который был инициирован, чтобы поддержать развитие технологий в этой области. Конкурс стартовал в марте 2018 года и рассчитан на четыре года. В июне 2022 года будут объявлены победители соревнования, которые разделят приз в $10 млн.

Инициаторы конкурса считают, что такие системы позволят объединить мир за счёт создания ощущения присутствия в удалённом от пользователя месте с возможностью совершать физические действия в реальном времени. Это откроет новые возможности для работы, обучения, развлечений и общения, без оглядки на возраст, расстояние, мобильность и физические ограничения пользователей. Также, такие аватары могут пригодиться для помощи в условиях стихийных бедствий или когда необходимо ограничивать физический контакт между людьми, как во время пандемии.

Для выхода в полуфинал $10M ANA Avatar XPRIZE команда Dragon Tree Labs создала робота Джонни

Для выхода в полуфинал команда Dragon Tree Labs создала робота Джонни, который прошёл соответствие всем требованиям. На данный момент это единственная российская команда, которая продолжает бороться за победу и главный приз.

Оператор может управлять Джонни дистанционно, наблюдая за происходящим вокруг робота через VR-очки. Аватар оснащён колёсами и может свободно передвигаться по помещению, позволяет взаимодействовать с объектами посредством манипулятора. На данном этапе у робота одна активная рука, которой можно управлять, в будущем появится вторая. Аватар оснащён системой распознавания объектов для помощи оператору в захвате предметов.

Для выполнения конкурсного задания необходимо было продемонстрировать способность управлять движением аватара, роботизированной рукой для выполнения задачи из реального мира, а также требовалось наличие "тревожной кнопки" для экстренного отключения машины. Все эти способности команда Dragon Tree Labs показала на конкурсном видео.

Робот Джонни результат интеграции нескольких прорывных технологий, в том числе инновационного компьютерного вычислителя для одновременного запуска нескольких нейронных сетей, который был создан специально для мобильных роботов командой Fast Sense. Именно благодаря этому компоненту, Джонни может одновременно выполнять несколько задач с задействованием ML-алгоритмов параллельно. Также, исследователи из МФТИ участвовали в реализации тестового сценария управления манипулятором.

На данный момент робот обладает рядом ограничений, которые объединённая команда Dragon Tree Labs планирует устранить в будущем для повышения шансов на победу, в том числе за счёт привлечения новых участников в проект. В следующей модификации Аватар Джонни обзаведётся второй управляемой рукой, разными типами хватов, научится распознавать другие объекты, помимо бумажных стаканчиков. Также команде необходимо будет обеспечить быструю передачу сигналов для управления устройством из любого места земного шара через интернет. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Для работы над этой частью задачи команда стремится привлечь дополнительных участников и приглашает на оплачиваемую стажировку на лето 2021 года. Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

"Мы считаем, что такие аватары следующий эволюционный уровень развития телекоммуникаций и человеческого взаимодействия. Когда-то мы отправляли письма почтой, затем начали звонить по домашним телефонам, то есть в коммуникации включилась ещё одна система органов чувств. Интернет позволил обмениваться идеями и переживаниями моментально, а не ждать письма месяцами. Теперь у нас есть возможность видеть друг друга во время звонка и общаться в любое время в любом месте так, как если бы мы физически находились рядом. Технологии VR делают этот опыт ещё более реальным для восприятия. Следующий шаг возможность физического контакта на расстоянии. Именно для этого нужен мобильный робот-аватар, оснащённый манипуляторами, которыми можно управлять дистанционно. Даже простая возможность передвинуть предмет, скажем, шахматную фигуру на доске, за которой сидит соперник или ваш сын на другом континенте, создаёт ощущение физического присутствия на месте событий, создавая единый контекст. Возможность обнять бабушку, к которой нельзя приехать, ощущается через аватар практически реальной".

В полуфинал $10M ANA Avatar XPRIZE прошли 38 команд из 16 стран мира, в том числе одна команда из России. В сентябре 2021 команды продемонстрируют возможности своих систем на отборочных тестах в США. Лучшие команды пройдут в финал, намеченный на лето 2022 года. Призовой фонд конкурса $10M ANA Avatar XPRIZE составляет 10 млн. долларов.

$10M ANA Avatar XPRIZE - четырехлетнее международное соревнование, которое стартовало в 2018 году. Цель соревнования - разработка, совершенствование и ускоренное внедрение перспективных технологий в систему многофункциональных аватаров, которая позволит беспрепятственно переносить человеческие навыки и опыт в любую точку пространства будь то планета Земля или лунная станция. Робот-аватар позволит удаленному оператору видеть, слышать и действовать так, словно он находится на месте событий.

38 Teams from 16 countries expanding our potential

Большинство команд это компании, работающие в сфере робототехники, VR/AR. Команды объединяются, создают коллаборации для расширения экспертизы и привлекают партнеров.

Например, команда i-Botics (Нидерланды) имеет в составе 6 компаний с компетенциями для решения узких задач в создании робота-аватара: сенсоры, человекоподобные роботы, технологии передачи обратной связи оператору, социальные роботы и др.

Другой пример организации команды, японская команда GITAI, специализируется на разработке роботов для индустриального применения. Эта команда пришла на конкурс с глубокой экспертизой и прототипом высокого уровня готовности. Аватар GITAI управляется оператором из специально оборудованного кресла управления, способен передвигаться и выполнять непростые механические манипуляции. В своем демо GITAI говорит о применении создаваемого аватара для работы на Международной космической станции в 2022-23 гг.

В конкурсе также принимают участие академические команды, например: команда SantAnna (Италия) включает в себя профессорский состав, студентов-магистров, бакалавров и аспирантов. Команда Northeastern Северо-Восточный университет (Northeastern University, Бостон, США) сформировала рабочие группы по направлениям: VR, удаленное управление, сенсорика и др, которыми управляют студенты старшего звена. Помимо классической научной работы, они получают реальный опыт, где важна не только глубокая научная экспертиза, но и навыки управления и организации команд.

В списке полуфиналистов 38 квалифицированных команд из 16 стран мира. Наибольшее количество команд из США - 10, на втором месте Япония - 8 команд, Россию в полуфинале представляет 1 команда - Dragon Tree Labs.

Для желающих присоединится к команде Dragon Tree Labs и отправится на отборочные тесты для выхода в финал в Майами с нами открыт прием заявок на стажировку. Подробности на сайте по ссылке Dragon Tree Labs

В этом обзоре, мы собрали информацию, которая находится в открытом доступе на сайтах команд. Обзор получился довольно объемный и информация о части команд будет опубликована в следующей статье. Подписывайтесь на блог и не пропустите, следующий выпуск.

Итак, предлагаем подробнее ознакомится с участниками соревнования $10M ANA Avatar XPRIZE.

#1 Aham - Индия

Команда Aham коллаборация Индийского Научного Института в г. Бангалор, технопарка ARTPARK и компаний TCS Research и Hanson Robotics.

Hanson Robotics уже более двух десятилетий создают человекоподобных роботов, всем известны Sophia, Han, Little Sophia, Zeno, Professor Einstein. Объединенная команда Aham создает робота Ашу (Asha). Этот гуманоидный робот - двойник робота Софии, специально создан для НИОКР в рамках участия в $10M ANA Avatar XPRIZE. Телеуправляемый робот-медсестра Аша разговаривает женским голосом и выражает эмоции, ее лицо выглядит как у реального человека. Оно сделано из запатентованного материала Frubber - нанотехнологическая кожа, имитирующая мускулатуру лица и кожу человека. Во время разговора робот двигает губами, моргает и жестикулирует.

Представьте себе уход за пациентом, инфицированным COVID. Медсестра-человек рискует заразиться и боится быть инфицированной, в то время как робот без рисков может выполнять задачу, ранее выполняемую медицинским работником. Робот становится продолжением медсестры - Аша не заменит медсестру-человека, скорее будет ее помощником в заботе о пациентах. Аша способна выражать такие эмоции, как смех, улыбка, а также беспокойство, что позволяет пациентам чувствовать себя комфортно, разговаривая с роботом, и думая о нем не как о машине, а как о друге.

Каждый участник в команде Aham вносит существенный вклад в текущее программное и аппаратное обеспечение, создавая удобную для исследования имитационную модель управления роботом и улучшая возможности взаимодействия робота и человека. TCS фокусируется на интеграции туловища Аши со своей AGV платформой для придания мобильности роботу, а также создает интеграцию с различными симуляторами и инструментами визуализации. Исследователи Индийского Научного Института, специализирующиеся на машинном обучении, системах автономного полета дронов и автономных автомобилях, поддерживающих 5-G, фокусируются на телеуправлении и телевзаимодействии робота с людьми.

Совместно команда планирует достичь высокого уровня полуавтономсти, что сделает робота больше, чем просто аватаром и добавит встроенный интеллект. Для оператора робота полуавтономность снижает когнитивную нагрузку сложных интерфейсов, сократит время реакции и добавит еще один уровень безопасности в рабочей среде, поможет решить проблемы слепых зон.

#2 Avatar Quest, США

Команда Avatar Quest состоит из учеников старших классов школы Valley Christian Schools (VCS), г. Сан-Хосе, США. Мы разрабатываем робот телеприсутствия в эпоху, когда все существуют в телеприсутсивии. Это новая зарождающаяся культура поведения людей, где любые вещи можно делать не выходя из дома, потому что это намного безопаснее и эффективнее.

Такой образ жизни мы хотим создать с помощью разрабатываемых технологий - говорит ученик 12 класса Алекс Лопес. Команда Avatar Quest - это уже вторая команда из школы VCS, которая выходит в полуфинал соревнований XPRIZE. Ранее команда Ocean Quest стала самой молодой командой, когда-либо участвовавшей в полуфинале $7M Shell Ocean Discovery XPRIZE. В этом соревновании ребята взяли призовой раунд NOAA Bonus. Но на этом амбиции школы не заканчиваются - третья группа студентов также работает над улучшением экосистемы тропических лесов в рамках $10M XPRIZE Rainforest.

#3 AVATRINA - США

Команда AVATRINA разрабатывает аватар под названием TRINA. TRINA - это робот с продвинутым уровнем телеприсутствия, который умеет видеть, слышать, перемещаться и взаимодействовать с удаленной средой. Оператор управляет роботом, используя стандартную систему виртуальной реальности, а также с помощью встроенных контроллеров и тактильных перчаток.

На данный момент робот TRINA представляет собой подобную торсу человека установку на мобильной платформе и состоит из следующих компонентов:

• голова робота в виде экрана с изображением человеческого лица с динамиком и камерой (угол вращения 360 градусов);

• камеры глубины (RGBD-камеры), установленные на руках робота и камера глубины на груди робота

• сменные концевые устройства для взаимодействия с предметами в качестве кистей руки (swappable end effectors)

• UR5e рука с возможностью осевого движения (flexible collaborative robot arm)

Планируется добавить: тактильные ощущения руки робота в сочетании с VR, контроллеры в сочетании с VR, возможность управления через мобильное устройство. Компоненты разрабатываемого робота TRINA: 1) газодетектор и стереомикрофон на груди робота, 2) полностью анимированная голографическая голова, 3) сенсоры распределенные по поверхности торса и рук робота, 4) маневренные тактильные манипуляции рук и встроенные в руки камеры

В своем демо команда AVATRINA имитирует прием в клинике, во время которого аватар-доктор выполняет первичный осмотр пациента, сидящего в инвалидном кресле. На видео робот TRINA демонстрирует свои возможности: отслеживание положения головы, стереозрение, манипуляции, выполняемые руками робота, бимануальные манипуляции, безопасное управление механическим импедансом (safe impedance control), возможности навигации и сэйфти фичи.

#4 Cyberselves, Великобритания

"Let the robot be your surrogate self" - Команда Cyberselves разрабатывает софт телепресутвия Teleport, позволяющий управлять роботом из любой точки мира интуитивным и иммерсионным способом. Teleport App - приложение для робототехники, использующее универсальный язык Animus, end-to-end инструмент для программирования роботов, разработанный командой Cyberselves. Софт команды используется другой командой Roboy, также вышедшей в полуфинал $ 10M ANA Avatar XPRIZE.

Используя Teleport App и VR гарнитуру возможно перенестись в теле робота в любую точку мира - телепорт позволяет видеть то, что видит робот; слышать то, что слышит робот; чувствовать то, что чувствует робот, и перемещаться в его теле.

Команда получила грант 100k от UK's Sustainable Innovation Fund для использования своего опыта в сфере роботов телепресутвия для поддержки ключевых секторов экономики пострадавших от COVID-19: рынок недвижимости, выставочная индустрия и удаленное здравоохранение.

#5 Human Fusions - CША

Команда Human Fusions объединяет исследователей из 5 университетов США: Университет Кейс Вестерн Резер (Case Western Reserve University), Калифорнийский университет в Лос-Анджелесе (UCLA), Государственный университет в Кливленде (Cleveland State University), Университет Карнеги Меллон (Carnegie Mellon University), Вайомингский университет (University of Wyoming). Команда Human Fusions создает медицинский аватар Sensa. Первый прототип аватара сфокусирован на предоставлении оператору дополненного опыта удаленного управления роботом с тактильными ощущениями, визуальной и голосовой обратной связью. В аватаре используются следующие компоненты:

• Робо-платформа Stretch (Hello Robot)

• Манипулятор MIT GelSight с тактильными датчиками (UCLA)

• Сенсорная перчатка NeuroReality (CWRU)

• Oculus headset (Facebook)

Основной технологией, обеспечивающей связь с аватаром Human Fusions, является платформа NeuroRealityTM, а уникальной сильной стороной команды - это нейронный подход к получению сенсорной информации, чтобы обеспечить дополненный опыт через платформу NeuroReality. Интерфейс платформы создан для работы с различными другими роботизированными системами и команда открыта делиться экспертизой и сотрудничать с другими командами.

#6 ENZO AVATAR - Колумбия

Человекоподобный робот ENZO с 23 DOF и телеуправлением

#7 Dragon Tree Labs - Россия

Команда Dragon Tree Labs - единственная российская команда, которая продолжает бороться за победу и главный приз.

Нашего робота зовут Джони, он управляется дистанционно, а оператор наблюдает за происходящим через VR-очки. Робот-аватар оснащён колёсами и может свободно передвигаться по помещению. Для одновременного запуска нескольких нейронных сетей и параллельного выполнения задач с задействованием ML-алгоритмов на роботе установлен бортовой Edge AI компьютер, разработанный стартапом Fast Sense. На данном этапе у робота одна активная рука, которой можно управлять, а в будущем появится вторая. Аватар оснащен системой распознавания объектов для помощи оператору в захвате предметов. На данный момент робот обладает рядом ограничений, которые команда Dragon Tree Labs планирует устранить для повышения шансов на победу, в том числе за счет привлечения новых участников в проект.

До полуфинальных тестов в сентябре 2021, которые пройдут в США аватар обзаведется второй управляемой рукой, разными типами хватов, научится распознавать больше объектов. Также команда стремится обеспечить быструю передачу сигналов для управления роботом из любого точки мира. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Если вам интересно присоединиться к нашей команде и помочь с апгрейдом аватара Джонни, пишите нам на почту hello@dtlabs.tech или заполните анкету на сайте

#8 I-BOTICS - Нидерланды

Команда I-BOTICS разработала антропоморфного робота, его высота робота 184 см и вес 89 кг. Движения робота соответствуют кинематике человека. Он может балансировать, наклоняясь или работая в сидячем положении, а также сохранит баланс при ударе или столкновении. Однако, передвигаться по неровной поверхности робот не может, так как установлен на колесной базе и есть проблема с динамической балансировкой.

Оператор управляет роботом, находясь в специальной кабине с экранами для управления роботом. Присутствуют элементы экзоскелета. Оператор видит глазами робота через встроенную камеру в голове робота. Используется VR-перчатка для того, чтобы получать обратную связь с кисти робота. Робот безопасен при прикосновении к человеку. При этом рука робота способна поднимать груз весом 8 кг на руку. Таким образом, в будущем робот сможет ухаживать за пациентами, помогая им встать с постели.

В своем демо видео команда демонстрирует как оператор с помощью робота-аватара помогает шеф-повару в Норвегии, находясь на расстоянии более 850 км в Нидерландах.

#9 INBIODROID - Мексика

Команда INBIODROID разрабатывает робот-аватар Prometheus для выполнения спасательных работ при ликвидации последствий в зоне чрезвычайных происшествий.

#10 Pollen Robotics - Франция

Pollen Robotics - команда стартапа, основанного в 2016 году двумя робототехниками из известного во Франции исследовательского центра Inria. Среди прошедших в полуфинал это одна из самых маленьких команд. Штат Pollen Robotics - это всего шесть человек, увлеченных претворением в жизнь своих идей и замыслов. С другой стороны это полностью открытая команда, призывающая к сотрудничеству единомышленников.

На сайте стартапа пока не отображен ход работы над проектом аватара для $10M ANA Avatar XPRIZE. Зато Pollen Robotics щедро делится своими знаниями и наработками по предыдущим реализованным проектам. Все они являются открытыми (open source), как и стартап.

В активе команды имеется открытая роботизированная платформа с интерактивным гуманоидным роботом Reachy, который очевидно и является прообразом аватара для $10M ANA Avatar XPRIZE. На сайте https://github.com/pollen-robotics выложена документация по отдельным компонентам Reachy.

Pollen Robotics стремится делиться своими знаниями и совместно решать возникающие на пути прогресса проблемы, вместо желания монополизировать полученные результаты исследований. В Pollen Robotics мы стремимся способствовать обмену знаниями в сообществе, чтобы помочь в реализации революции ИИ. Мы считаем, что вместо того, чтобы пытаться монополизировать какую-то проблему, мы должны совместно работать над ее решением, которое принесет всем пользу.

#11 proRobot - Чехия

Робота Fimbot создает команда proRobot из чешского университета в городе Градец-Кралове. Свое название робот получил по первым буквам факультета Информатики и управления (FIM - Faculty of Informatics and Management). Команда разработчиков состоит из студентов старших курсов и преподавателей этого университета.

Роботизированный аватар Fimbot должен отличаться простым и удобным управлением через костюм виртуальной реальности. Новейшие стандарты безопасности и шифрования призваны обеспечить надежность эксплуатации робота. Базовая модель Fimbot должна стать прототипом для специализированных аватаров, которые в будущем найдут применение в промышленности, здравоохранении, в аварийно-спасательных службах.

За основу 3D печатной конструкции Fimbot взят известный гуманоидный робот InMoov, созданный французом Гаэлем Ланжевеном. Отдельные конструктивные элементы робота создаются методом 3D печати из биоразлагаемого материала PLA (polylactic acid) это полимер молочной кислоты.

Пластиковая конструкция гуманоидного робота будет дополнена сенсорными датчиками, обеспечивающими в режиме реального времени обратную связь робота с человеком-оператором. Для успешной работы системы человек робот придется добавить скоростную систему телекоммуникации с использованием технологии Wi-Fi.

У проекта Fimbot пока один спонсор, но зато это компания Skoda Auto.

Видео комапнии можно посмотреть на странице в FB

#12 Rezilient - США

Компания Rezilient из США представляет в полуфинальном конкурсном отборе ANA Avatar XPRIZE проект Rezilient Health. Компания занимается оказанием медицинских услуг, отличающихся инновационным характером в организационном и технологическом плане. Роботизированная телемедицина одно из перспективных направлений в деятельности Rezilient.

Проводимые компанией из США инновационные разработки в области робототехники и удаленных коммуникаций позволят обеспечить клиентам полную доступность медицинских услуг в любое время и в любом месте. Создание аватара Rezilient Health позволит компании обеспечить внедрение новых, повсеместно доступных сервисов здравоохранения, включая телемедицину с использованием роботизированной техники, расширит возможности медперсонала по обслуживанию клиентов.

#13 Robot Guru

Проект Robot Guru реализуется на платформе уже готового продукта HoloSuit, куда входят куртка, брюки и перчатки, оснащенные набором датчиков и системой двусторонней беспроводной связи (Wi-Fi и Bluetooth LE) с программным обеспечением на базе Windows, iOS, Android. Встроенные датчики позволяют контролировать все движения человека.

Основанная в 2016 году компания сегодня предлагает свою разработку под названием Holosuit для применения в медицине, робототехнике, промышленности, образовании, спорте и играх.

В стандартный комплект HoloSuit четырех размеров для взрослого человека входят:

• 23 встроенных датчика и 9 устройств тактильной обратной связи, распределенных по обеим рукам и ногам, встроенные кнопки на двух пальцах.

• Holosuit может подключаться через Bluetooth, Wi-Fi и USB.

• 6 датчиков движения на куртке.

• 5 датчиков движения на брюках.

• 12 датчиков движения на перчатках (по 6 на каждой перчатке).

• 9 сенсоров с обратной связью (4 на куртке, 3 на брюках, по 1 на каждой перчатке).

• 8 кнопок управления (4 на куртке и по 2 на каждой перчатке).

По заказу комплекты HoloSuit комплектуются лицензионным программным обеспечением. Компания HoloSuit обладает большим опытом исследований и разработки аппаратного/программного обеспечения, имеет более 37 патентов, выданных в США, ЕС, Китае, Корее.

#14 Synapse - Япония

Команда Synapse объединяет четыре экспертные группы, сформированные на базе известных компаний NTT Communications, Tokyo Robotics, XELA Robotics и университета Васэда. NTT Communications известная во всем мире телекоммуникационная компания. Основанная в 2015 году Tokyo Robotics занимается роботизацией складских и офисных помещений, ферм и даже домов. В компании XELA Robotics занимаются исследованиями и проектированием надежных и безопасных захватов и манипуляторов для роботизированных систем. Группа из престижного университета Васэда в г. Токио занимается созданием эффективных тактильных датчиков.

Команда Synapse уже имеет в своем активе гуманоидного робота общего назначения под названием TOROBO. На очереди создание робота AVATAR, который будет обеспечивать функции телеприсутствия. Каждая группа команды объединяет квалифицированных специалистов в своих областях: телекоммуникации, робототехника, удаленное управление и тактильные датчики. Демо видео - можно посмотреть по ссылке

Видео Tokyo Robotics, которое поможет представить будущее сервисных услуг с использованием телеуправляемого человекоподобного робота.

#15 SNU - Южная Корея

Команда SNU представляет Сеульский национальный университет (SNU). Основа команды студенты из пяти лабораторий университета и преподаватели, занимающиеся проектированием гуманоидных роботов. Среди них есть специалисты в области управления с использованием тактильных ощущений, разработки мягких сенсорных материалов. Интеграцией всей системы руководит профессор Пак Джэ Хын.

Аватар SNU включает три составляющие: систему управления, интерфейса и удаленно управляемый гуманоидный робот. Система управления состоит из видеошлема и перчаток для оператора. В видеошлем интегрированы дисплей, микрофон и система распознавания движений головы и речи. На дисплее виртуальной реальности отображается изображение с двух камер, которые установлены на голове гуманоидного робота и перемещаются вверх-вниз, вправо-влево при движениях головы оператора. Система распознавания речи оператора позволяет имитировать его эмоции матрицей из светодиодов на лице робота.

Система интерфейса обеспечивает передачу команд роботу и ответный поток данных с сенсорных датчиков гуманоида. На руках у оператора перчатки с датчиками для передачи движений рук и пальцев. Перчатки робота оснащены мягкими сенсорами для передачи в перчатки оператора тактильных ощущений.

#16 UNIST - Южная Корея

Второй южнокорейской командой, прошедшей в полуфинал ANA Avatar XPRIZE стала команда Национального института науки и технологий (UNIST) из г. Ульсан. В команде представлены студенты и аспиранты из лаборатории BiRC (Биоробототехника и управление) под руководством профессора и научного сотрудника с докторской степенью.

Команда пока не раскрывает деталей создаваемого Аватара. Но на сайте лаборатории представлены результаты многочисленных исследований в области мягкой и био робототехники, виртуальной реальности и удаленного управления.

В группе Мягких компонентов исследуют материалы для датчиков, которые помогут в создании захватов для аватара и перчаток с тактильными сенсорами для оператора

В группе Био робототехники занимаются созданием шагающих и летающих роботов. В группе Телеуправления разрабатывают алгоритмы удаленного управления роботами и аватарами с помощью жестов и движений туловищем оператора. В группе Виртуальной реальности исследуют надеваемый на руку тактильный интерфейс для точного отслеживания положения и интерактивного контроля усилия отдельных пальцев.

#17 Telexistence - Япония

Основанная в 2017 году японская компания Telexistence, занимается проектированием, производством и эксплуатацией удаленно управляемых роботов. Концепция виртуального присутствия в любом удаленном месте была предложена еще в 1980 году доктором Сусуму Тати, почетным профессором Токийского университета и президентом компании Telexistence.

Ключевые особенности технологии Telexistence:

• Расширенные интерфейсные возможности подключения через стандартный проводной или беспроводной интернет.

• Незначительная задержка при передаче сигналов управления.

• Гибридная интеллектуальная система управления.

• Уникальная механическая конструкция робота.

• Оптимизированный дизайн виртуальной реальности.

В 2018 году Telexistence анонсировала серийный прототип удаленно управляемого робота MODEL H, в котором используются технологии дистанционного управления, виртуальной реальности и тактильных ощущений. Ориентированная в первую очередь на коммерческое применение MODEL H отличается простотой и долговечностью использования, сокращенным временем загрузки и запуска, имеет собственную облачную инфраструктуру с доступом через проводной и мобильный Интернет.

В июле 2020 года компания объявила о разработке модели T, в которой применяется для розничной торговли технология AWP (Augmented Workforce Platform), предполагающая использование гуманоидных роботов манипуляторов с управлением от удаленного оператора. Рука робота обеспечивает точную и быструю укладку товаров различной формы. Модель T обеспечивает повышенную точность удаленных манипуляций и минимизированную задержку управляющих сигналов при плотном трафике в телекоммуникационной среде.

#18 Touchlab - Великобритания

Команда сформирована на базе компании Touchlab из шотландского г. Эдинбург и занимается исследованиями в области роботехники. Одно из основных направлений деятельности компании разработка и производство электронной кожи eDermis с встраиваемыми в нее сенсорными датчиками.

Технология eDermis использует принцип туннельного эффекта для пьезорезистивного измерения прикосновения, усилия и положения. Гибкий пакет из металлических и полимерных пленок толщиной в 2 человеческих волоса легко настраивается по размеру, форме и количеству областей тактильного восприятия. Выходной сигнал eDermis снимается с 4 контактов. Прочный материал eDermis тоньше человеческой кожи и может использоваться для покрытия любых мягких и твердых поверхностей.

Последний вариант запатентованной технологии электронной кожи способен обнаруживать силу и направление воздействия в трех осях. Датчики eDermis будут дополнены программным обеспечением с использованием технологий глубокого обучения, что позволит роботам идентифицировать объекты и текстурированные поверхности на ощупь, обнаруживать и компенсировать проскальзывание при захвате предметов, измерять усилие нагрузки на опору. Такие датчики находятся в стадии интенсивной разработки, эксклюзивный доступ к ним предоставляется ограниченному числу клиентов.

Команда Touchlab заявляет. "Наш Аватар позволит оператору полноценно видеть и чувствовать на удалении, а также обеспечит другие способности, превосходящие человеческие возможности, такие как обнаружение дыма, вредных газов, излучения, инфракрасное зрение, ориентацию в пространстве. Улучшенное сенсорное восприятие позволит выполнять сложные задачи в опасных условиях гораздо эффективнее, чем это может сделать человек."

#19 Virtual Sapiens - Индия

Команда Virtual Sapiens объединила усилия и наработки трех коллективов в области систем виртуальной реальности, робототехники и передачи тактильных ощущений.

PropVR является удобной платформой для интерактивной 3D визуализации чертежей и изображений. Эта платформа, созданная на основе технологий искусственного интеллекта (AI), виртуальной и дополненной реальности (VR/AR), идеально подходит для создания систем удаленного телеприсутствия. Компания уже предлагает варианты использования своей платформы для виртуального присутствия в медицине, торговле и электронной коммерции, при продаже недвижимости, в туристическом бизнесе.

Компания Vicara занимается исследованиями в области технологий виртуальной реальности, которые позволяют управлять с помощью жестов оператора роботом, дронами, игровыми и другими виртуальными объектами. Компания имеет два продаваемых устройства удаленного управления, способных отслеживать малейшие движения кистей рук и пальцев (менее 1 мм). Задержка сигнала управления менее 10 мс. Устройства поддерживают Bluetooth Low Energy 5.0. По замыслу Virtual Sapiens контроллеры Vicara позволят успешно взаимодействовать с удаленным аватаром через каналы связи.

Компания Invent Robotics разрабатывает и продает роботов Mitra, которые способны автономно перемещаться в пространстве, распознавать людей по лицу и поддерживать с ними беседу. Компания позиционирует их в качестве роботов для приема гостей в различных учреждениях и для обслуживания посетителей в кафе и ресторанах. Заложенные в Mitra потенциальные возможности создания новых интерфейсов позволят Virtual Sapiens использовать этого робота в качестве аватара.

#20 GITAI - Япония

Команд GITAI разрабатывает робот-аватар для космической миссии на МКС при поддержке Японского космического агентства. В начале 2021 года в рамках Раунда В стартап GITAI получил инвестиции в размере 1.8 млрд йен (~16,5 млн. долл).

На конкурс $10M ANA Avatar XPRIZE представлен робот-аватар в виде верхней части тела человека (планируется добавить еще 2 руки) на мобильной колесной платформе. Робот способен производить манипуляции с мелкими предметы, открывать застежку-молнию, захватывать очень тонкие предметы.

На руках 2 датчика с опцией осевого вращения в кистях и руках (3 оси вращения на кончиках пальцев). Тактильные ощущения передаются оператору. Оператор управляет роботом при помощи специальной установки, а информацию об окружающей среде робота получает через глаза робота в свои VR очки и в наушники. Перемещением робота оператор управляет педалями.

В настоящий момент проходят процедуры тестов с NASA и эксперименты для работе робота на МКС. Эксперименты в космосе планируются на 2022-23 гг.

В этом обзоре мы разобрали только 20 полуфиналистов соревнования $10M ANA Avatar XPRIZE, и совсем скоро расскажем об оставшихся 28 командах. Подписывайтесь на наш блог, чтобы не пропустить выход статьи.

Представленные команды демонстрируют, что новое будущее, в котором роботы войдут в нашу повседневную жизнь, это не абстрактное будущее, а совсем уже близкая реальность. Команды объединяют усилия, собирают вокруг себя исследователей из топовых институтов, лабораторий, аккумулируют опыт коммерческих компаний, стартапов и индивидуальных робототехников для достижения общей цели - приблизить новое будущее.

Мы в Dragon Tree Labs также убеждены, что для совершения прорыва нужны коллаборации, совместные тесты и разработки. Это позволит быстрее дать миру принципиально новую платформу и отыскать значимые коммерческие применения систем, которые облегчат жизнь человека.

Наша команда Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира. Мы приглашаем к диалогу университеты и рисерч лабы, которым интересен этот проект. А для студентов открыта оплачиваемая стажировка на лето 2021 года.Подробности о стажировке на сайте Dragon Tree Labs

В разрабатываемом аватаре важно учесть социальный аспект общения робота и человека, это огромная новая область исследований психологии и социологии. Мы будем рады сотрудничеству с экспертами в этой области исследований.

Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

Участие в соревновании $10M ANA Avatar XPRIZE для нас это возможность открыть горизонты для всех участников нашей команды, которые по отдельности могут многое, но вместе могут совершить невозможное.