Робототехника

Подразделение Microsoft Research недавно опубликовало предварительный релиз Lean4. Предыдущие версии Lean были сосредоточены на том, чтобы быть помощником по доказательствам программным инструментом, который облегчает разработку строгих математических доказательств с помощью интерактивной совместной работы человека и машины. До сих пор язык Lean в основном применялся для оцифровки теоретической математики.

Главная цель Lean4 сделать Lean хорошим языком программирования, а не просто помощником по доказательствам. Синтаксис был переработан во многих отношениях, чтобы облегчить написание более широкого спектра программ. Был написан оптимизирующий компилятор, генерирующий эффективный код на языке C. Он обладает новой высокопроизводительной технологией управления памятью, помогающей избежать проблемных пауз во время работы, которые часто сопровождают такие инструменты (например сбор мусора), и при необходимости легко интегрируется с существующим кодом C/C++. В настоящее время Lean в значительной степени самодостаточный язык, который написан на самом языке Lean.

Чтобы оценить пригодность Lean как языка программирования для реальных систем, мы решили написать Lean-реализацию контроллера робототехники, работающего на одноплатном компьютере. Чтобы сделать задачу интереснее, мы выбрали контроллер для двухколёсной роботизированной платформы. Если Lean-программы не способны подавать двигателям команды в режиме реального времени в ответ на входные сигналы датчиков, система в буквальном смысле упадёт.

Наша цель состояла в том, чтобы создать работающий контроллер на языке Lean. Это отличается от того, о чем обычно думают при использовании программ для доказательства теорем. Как правило, можно указать формальную модель контроллера, которая может опустить низкоуровневые детали, определить отражающие предположения аксиомы, которые, как ожидается, будут верны для окружающей среды, а затем попытаться доказать, что контроллер стабилизировал систему в мире, удовлетворяющем аксиомам окружающей среды. Это достойная цель, и мы хотели бы в итоге её достичь. Однако, поскольку при фактической реализации контроллера для этого проекта будет использоваться язык Lean, нам необходимо было включить детали низкого уровня, которые в противном случае могут быть опущены.

Мы начали с покупки двухколёсного робота за 90 долларов и стали проводить эксперименты с языком Lean. Мы проверили сгенерированный код на языке C и библиотеку времени выполнения и обнаружили, что код вполне переносим. К сожалению, предварительный выпуск библиотеки времени выполнения Lean содержит зависимости (например от библиотеки libgmp), и она слишком велика для контроллера робота на базе Arduino. К счастью, сгенерированный код легко запускается на компьютере Rasberry Pi.

Мы приобрели 8-гигабайтную версию, чтобы скомпилировать Lean непосредственно в ней. Это добавило 80 долларов к стоимости нашего проекта, и мы вписались в наши необходимые аппаратные ограничения, а авторы Lean заинтересованы в решении проблем с размером библиотек времени выполнения.

Следующим шагом стало разделение существующего кода роботизированного контроллера для работы через последовательное соединение Bluetooth, чтобы запустить все алгоритмы управления на Rasberry Pi, сохранив при этом минимальный код для управления двигателем и считывания данных акселерометра на плате Arduino. Это было довольно просто, но потребовало использования сервиса Google Translate, чтобы понять комментарии в исходном коде. Исходный код после перевода комментариев можно посмотреть здесь, а разделённый на секции код Arduino после извлечения алгоритмов управления здесь.

Затем мы транслировали код управления с языка C на язык Lean с помощью ручного, но довольно простого процесса. Версия Lean 4 в конечном счёте создаёт функциональные определения и обладает точностью, модульностью и композиционными преимуществами функционального программирования. Однако она имеет многофункциональный исходный язык, который позволяет использовать циклы for, мутабельные локальные переменные и структурированные операторы управления потоком, такие как break и continue. Внутри Lean4 использует сложный процесс анализа для автоматической и прозрачной реструктуризации кода в функциональное определение. Это снизило уровень усилий, необходимых для портирования с языка C на язык Lean.

Написанный нами код Lean доступен широкой публике на Github. Основная функция пошагового управления BalanceCar.update выполняется каждые 5мс. Для оценки ориентации робота по показаниям гироскопа и акселерометра (6 DoF IMU) используется фильтр Калмана. Контроллер PD принимает состояние ориентации в качестве входных данных и определяет скорость двигателя, таким образом замыкая контур управления.

После завершения портирования мы написали некоторый код на языке C, чтобы подключить код управления на языке Lean к последовательным API-интерфейсам Bluetooth, и опробовали его. Первоначальные результаты были занимательными, но не совсем правильными:

Это немного разочаровало, но такое случается в реальном программировании. Мы провели несколько тестов, внесли некоторые изменения, чтобы уменьшить задержку Bluetooth, и исправили в Lean-коде попутно обнаруженную ошибку. В итоге мы успешно создали работающего робота:

Как отмечалось ранее, это был всего лишь небольшой эксперимент для тестирования языка Lean в контроллере реального времени и работы, необходимой для ручного переноса кода с языка C на язык Lean. Мы ещё не проверили правильность контроллера (пока), но, когда у нас будет немного больше времени, мы планируем поработать над этим и интегрировать контроллеры на языке Lean в экосистему ROS, чтобы и другие люди могли опробовать его. У нас также есть более крупный проект, в котором языки Haskell и Lean, а также SMT-решатель используются совместно, чтобы создать проверенный декомпилятор от 64-разрядной версии с архитектурой x86 до LLVM. В будущем у нас будет больше информации об этом.

Вся работа, которую мы проделали для этого проекта, находится в открытом доступе, чтобы её могли попробовать выполнить те, кто в этом заинтересован. Мы намеренно использовали относительно недорогого робота, чтобы люди могли легко опробовать код. Так можно опробовать Lean лично или показать студентам, что вы можете писать реальные программы на этих языках. Если у вас есть какие-либо вопросы о проекте, вы можете пообщаться с нами на канале Lean Real-time Systems (Системы реального времени на языке Lean) сервиса Zulip.

Хочется поблагодарить авторов Lean, которые помогли сделать это возможным, а также Джоуи Доддса за комментарии, которые помогли улучшить эту публикацию.

Мы уже писали о том, как ML и компьютерное зрение используют на обогатительных фабриках, и если вы хотите научить роботов или машины видеть мир, принимать решения и действовать по ситуации, обратите внимание на наш курс "Machine Learning и Deep Learning" партнером которого является компания Nvidia.

Также можете взглянуть на профессию C++ разработчик, на котором можно прокачаться или освоить С++ с нуля. Приходите будет сложно, но интересно!

Узнайте, как прокачаться и в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering

Уже 4 года я занимаюсь техническим развитием детей в России. Начиналось всё с открытия небольшого кружка роботехники и со временем переросло в комплексный детский технический центр. Сегодня я подготовил для вас инструкцию к запуску собственного детского центра.

Год от года количество людей, обращающихся за советом в запуске технической детской школы (чаще всего в небольшом городе до 100 тыс населения) увеличивается. Франшизная модель мало по малу изживает себя. На мой взгляд, это связано с несколькими причинами :

• Кабальные условия со стороны управляющей кампании. Требование к установке камер, жёсткой отчётности, взносы до 15% от выручки. За 4 года работы в этой сфере я понял, что запуск технической школы в новом городе - это абсолютно индивидуальная история. Конечно есть общие моменты, но двух одинаковых детских центров у нас не было никогда. По условиям франшизы вы получаете готовую бизнес модель, бренд, учебные программы. Чаще всего эта история работает в городах от 250 тыс населения, а вот в меньших уже всё не так устойчиво. Одна знакомая несколько лет назад купила франшизу AmoKids, запустила её в трёх населённых пунктах сразу - Краснодар, Динская, Кореновск. Так вот модель показала себя хорошо только в Краснодаре (1 млн населения), а вот Кореновск и Динскую (по 40 тыс населения) в данный момент она закрывает.

• Поиск живых кейсов. В франшизной системе вы чаще всего говорите с менеджерами, у которых стоит одна задача - продать. И продают они действительно хорошо, отработаны скрипты и возражения, раздаточный материал. Но совсем другое дело, общаться с людьми вроде меня, живыми людьми с большим опытом в вопросе - за 4 года под моим началом было открыто больше 15 детских центров, в 2018 пробовал запускать собственную сеть детских технических школ в Ростове, Москве, Питере. Результат - ушёл в кассовый разрыв и влез в долги, получил море опыта в процессе. Сейчас всё исправил и в ближайший год планирую снова поднимать собственную сеть технических школ. И вот я полностью открыт к общению, в месяц стабильно обращается несколько человек из России, Казахстана или Украины, просят поделиться опытом и подсказать, как лучше сделать. Когда ты знаешь как точно делать не надо (опыт первого запуска сети школ), остаются только правильные шаги.

Я постарался вложить в эту инструкцию весь накопленный опыт. Она не является волшебной таблеткой, но если чётко ей следовать, высока вероятность открытия успешного детского центра.

Шаг 1. Работаем с головой.

Да-да, вы не ослышались. Именно со своей головой. Первое, что нужно сделать - дать себе ответ на вопрос "Зачем?". Жить в постсоветском пространстве достаточно сложно, мозг ещё полностью не перестроился на капитализм. Из-за этого и возникают сложности в вопросе. Идея вроде "Я хочу развивать техническое образование среди детей" достаточно неплоха, кроме того, что стратегически принесёт вашему детскому центру смерть. В марте ко мне обратился довольно интересный человек с собственным детским центром. У него была очень мощная база, паяльные станции, множество оборудования, ЧПУ станки, 3Д принтеры. Сам он имел обширный опыт в разработке электронных устройств. Но вот в течении года его центр посещало всего 12 человек. 12 человек*2500 рублей абонемент=30000 выручки. Выручка-15000 рублей аренда-3000 рублей расходники=12000 рублей грязной прибыли. Почему грязной? Налоги считать не будем. Так вот человек с чистой идеей технического образования детей не смог образовать детей потому, что их фактически не было. 12 человек - это капля в море. Помимо этого, за свои еженедельные старания он получал 3000 рублей в неделю. Какой бы не был первоначальный энтузиазм, со временем он всё сильнее пропадал. И вот спустя год, он связался со мной и рассказал, что идея его уже совсем не зажигает и он подумывает о закрытии детского центра. Сама идея неплохая, я бы сказал, что она должна быть обязательно. Но этого мало. Нужна коммерческая составляющая. Если вы будете получать много денег, у вас будет дополнительная мотивация этим заниматься, можно будет расширять техническую базу центра, покупать оборудование, вкладывать в рекламу и получать больше детей на обучение, платить хорошую зарплату преподавателям в будущем, в следствие чего при правильно выстроенной системе мотивации, качество образования заметно вырастет, участвовать с детьми в соревнованиях и многое другое. Наиболее правильный ответ на вопрос "Зачем?" - чтобы технически образовывать детей и при этом хорошо зарабатывать. Одной идеи мало, нужно превратить её в отточенную машину по заработку денег, иначе в долгосрочной перспективе ничего из этого не получится.

Шаг 2. Финансовая модель.

Помните я рассказывал о неудачном опыте запуска сети детских технических школ? Так вот после этого я научился делать шикарные финансовые модели. Прежде чем что-то построить и заработать деньги в реальности, их нужно заработать в exсel. В первый раз мне не хватило бизнес образования. Я даже искал курсы директоров, но ничего не нашёл. Я понимал, что мне не хватает знаний в определённых областях бизнеса, но решил всё же идти на ощупь, собирая все грабли по пути. Сейчас, пройдя через все испытания, могу с полной уверенностью сказать - никому не советую выбирать такой путь. Лучше найти человека, который это уже сделал и впитать его опыт, как губка. Я долгое время думал (как и большинство), что чтобы что-то продать, нужно сначала это что-то сделать. Например, чтобы продать деревянный стул, его сначала нужно изготовить. Чтобы продать курс робототехники, нужна школа робототехники. Но оказалось, что всё работает в обратную сторону. Почему бы не взять фото из интернета стула, который собираемся делать, выставить его на авито, получить заявки на продажу, и только после этого произвести и продать? Ведь при таком варианте развития событий, вы полностью убираете риски. Они действительно раны нулю. Ведь если вы не получите заявки на покупку стула, вы просто не будете его производить, а значит и ничего не потратите. То же самое и с детским центром - можно запустить рекламу на курсы, собрать первые заявки и только после этого закупать оборудование и брать в аренду помещение. Гениально, правда? Всё, что вам нужно сделать на этом этапе, это прикинуть, сколько вы будете получать с ребёнка в месяц в виде абонемента (пока даже не важно, что именно вы будете давать. Робототехнику, программирование, электронику или что-то ещё), количество детей, которые потенциально могут к вам ходить( я бы заложил 30 детей в первый месяц, и дальнейшие рост по 20 детей в месяц вплоть до 80 детей на одного преподавателя), прикинуть стоимость аренды помещения. В рекламу на первый месяц заложите 15000 рублей. Прикиньте стоимость запуска детского центра - закупку мебели и материалов, компьютеров. Далее все эти данные кладёте в финансовую модель и тут же получаете результат - получится или нет. Если у вас кругом минусы, то нужно что-то менять. При таких параметрах бизнеса не будет. В итоге финансовая модель не только показывает, устойчивая у вас модель бизнеса или нет, она планирует основные показатели. Например, вы можете понять, что если аренда помещения будет выше 30 тыс в месяц, то через пол года у вас просто кончатся деньги. Или если поднять стоимость абонемента с 2500 рублей до 2800 рублей, в год вы заработаете больше на 200 тыс рублей. Таким образом, вращая основные показатели бизнеса, вы смоделируете наиболее выгодную для себя ситуацию и составите план действий. Вы поймёте, каких показателей и когда вам нужно будет достигнуть. Где же взять такую фин модель? Я могу сбросить несколько вариантов, которыми пользуюсь сам. Первая модель - упрощенная, она показывает примерные показатели в моменте, вторая - более сложная, но и более точная. Там есть такие слова, как ДДС, баланс и прочее, но если в них разобраться, вероятность успеха вырастет многократно.

Во второй модели учитываются доходы и расходы каждый месяц, она покажет ваш баланс в каждом месяце года. Всё, что останется, это подобрать такие показатели бизнеса, чтобы ни в один месяц не работать в минус. Это возможно. Детские центры, которые сейчас открываются под моим началом, работают в плюс с первого месяца как раз благодаря проработанной фин модели. Просто напишите мне вконтакте, и я сброшу вам обе фин модели.

Шаг 3. Реклама.

В шаге номер 2 мы определились, что вначале нужно набрать детей на занятия, а только после этого открывать сам детский центр. Вначале своего пути я ничего не знал про таргетированную рекламу. Я просто пошёл в ближайшее рекламное агентство, где мне посоветовали обклеить билборды и пилоны по городу своей рекламой. Что я собственно и сделал. Далее они посоветовали мне разместить рекламу на остановках. И это было сделано. Я что удивительно, эта реклама даже принесла какое-то количество детей. Но стоит учесть, что первую школу робототехники я открывал 4 года назад, и в городе на тот момент ничего подобного не было. Для детей были только спортивные секции, интеллектуальных не было совсем. Сейчас такой вид рекламы уже скорее всего не прокатит ни где. Во время запуска сети школ, я так же не разбирался в рекламе настолько хорошо, чтобы качественно контролировать процесс. Поэтому нанимал людей на стороне. С одной стороны им не были поставлены чёткие задачи, потому что я не понимал, как правильно их ставить, мне просто были нужны дети, с другой стороны, звонки по заявкам обрабатывались не лучшим образом, СРМ система не велась, и без того немногочисленные клиенты терялись. Это была одна из основных причин, почему не получилось поднять сеть - расходы текли каждый день, но вот поток дохода настроить не получилось. Поэтому после фиаско, я тотально разобрался в таргетированной рекламе. В небольших городах контекстная реклама в яндексе и гугле не работает совсем. Просто нет поисковых запросов. А вот таргетированная реклама, когда вы в соцсетях детально выбираете, кому и какая будет показываться реклама, работает просто шикарно. Когда я полностью разобрался в вопросе, мне казалось, что я воткнул палку в землю и от туда полилась нефть. Как пример, в среднем в группах в детском центре, в котором я веду занятия, обучается 15 детей. Новенькие ребята приходят в текущую группу и проходят вводное занятие, где им рассказывается что и как. Обычно новеньких на одну группу 2-3 человека в неделю максимум. Я один же день ко мне пришло 12 новеньких ребят в группу, где уже было 15 человек. Это было нечто. Пришлось максимально сгруппироваться, чтобы провести занятие для всех максимально качественно. И получилось, из 12 человек, 9 осталось заниматься на постоянной основе. И это даже не за один день, а за одну группу. За 3 часа. Вот так работает таргетированная реклама. Из опыта скажу, что сейчас 70% детей идёт из вконтакте, 30% из инстаграма. Вконтакте настроить рекламу значительно проще, чем в инстаграме, поэтому я бы рекомендовал вначале заняться таргетом именно вконтакте. Как же настроить таргетированную рекламу? У меня есть видео инструкция, которую я записал пару месяцев назад по настройке таргетированной рекламы вконтакте для детского технического центра. Её я так же могу сбросить вам. Просто напишите мне вконтакте. После настройки рекламы, за несколько дней, максимум за неделю, вы уже узнаете, есть ли заинтересованные в ваших услугах клиенты и сколько их. Обычно точка безубыточности находится в районе 10 детей с учётом, что вы сами ведёте занятия. То есть нужно набрать на занятия 10 детей, которые будут окупать аренду и расходники. Всё, что сверху пойдёт к вам в карман. Поэтому и нужно ставить план ещё до открытия набрать минимум 15 детей. Тогда, сразу после открытия можно будет провести мероприятие на открытие с конкурсами и призами, куда пригласить этих 15 детей с родителями и попросить, чтобы они привели друзей. В итоге, к моменту проведения первых занятия к вам будет уже ходить минимум 20 человек.

Шаг 4. Модель занятий.

На самом деле данный шаг выполняется совместно с шагом номер 3. Ведь чтобы разговаривать с людьми и звать на занятия нужно понимать, какие занятия вы будете проводить. На сегодняшний день, если говорить о развивающих и технических занятиях для детей, всё можно разделить глобально на 2 категории: это занятия для детей до первого класса включительно и занятия для детей от второго класса. Структура и формат занятий для этих возрастных групп кардинально отличается. С малышами 5-7 лет проводятся занятия, направленные на общее развитие. Так составляя программу занятий робототехники для малышей, пришлось изрядно постараться. Суть её в том, что занятие поделено на несколько частей - презентация на телевизоре ведёт сюжетную линию и шаги по занятию, Робот Валера -космический путешественник. Он потерпел крушение на необитаемом острове на нашей планете и должен с него выбраться. Весь курс построен на том, что Валера выполняет различные квесты, чтобы в конечном итоге выбраться с острова. Помимо презентаций, используется рабочая тетрадь. Каждое занятие включает 4 страницы, каждая страница направлена на конкретную область развития ребёнка. Первая страница - чтение, где робот Валера ведёт дневник по прошлому дню, так дети вспоминают тему прошлого занятия и учатся читать, вторая страница - письмо, третья - развлечение и рисунок, четвёртая - головоломки. Помимо рабочей тетради, дети на каждом занятии собирают для Валеры дом из конструктора (структор) и модернизируют его. Добавляют электронику, собирают схемы. Примерно так выглядят занятия робототехники для малышей в моих детских центрах. С ребятами от второго класса процесс обучения идёт совершенно по другому. Там чистая практика. Дети учатся добывать знания максимально самостоятельно. Так на программировании начинаем с изучения сайтостроения. Даётся базовая информация по HTML и CSS и альбом со скринами готовых сайтов, к которым детям нужно написать код. На старте они комплексно получают профессию верстальщика, после чего переходим к JavaScript и браузерным играм, учимся разрабатывать сайты с нуля. Повторюсь, что на занятиях со старшими ребятами 95% практики. Лекций по теоретической части как таковых нет.

Что же вам нужно сделать на этом этапе? Понять, будете ли вы писать учебные программы и придумывать формат занятий самостоятельно, либо возьмёте готовый. Собственные разработки, особенно если у вас есть в этом опыт, стратегически выигрывают. Но требуют больше времени и сил для написания, тестирования и исправления ошибок. Второй вариант - купить готовые учебные программы и план занятий. Тут всё проще, но дороже по деньгам (но не по времени). Готовые учебные программы зачастую уже прошли все этапы от первичного написания до тестирования и исправления ошибок, вы получаете полностью рабочий вариант который скорее всего понравится детям и будет лёгок в подачи материала для преподавателя. Учебные программы на сегодняшний день предлагают многие методисты, в том числе и я. Есть программы по робототехнике и программированию для малышей 5-7 лет, робототехнике и программированию для старших ребят 8+ лет, графическому дизайну, 3Д моделированию, авиамоделированию, ЧПУ станку, есть форматы разовых мастер классов и летний лагерей. Опять же, пишите вконтакте, могу подсказать, как написать свою учебную программу, либо подобрать для вас готовую.

Шаг 5. Оборудование детского центра.

К этому моменту у вас рассчитана экономика, есть формат занятий учебные программы. Вы запустили рекламу и записали первых детей на занятия. Следующий планомерный шаг - наконец открыть сам детский центр. Данный этап делится на 2 части - юридическая и практическая. Если на старте вы планируете вести занятия самостоятельно, то вам достаточно открыть ИП. По закону, ИП без наёмных сотрудников может вести обучающую деятельность с детьми без образовательной лицензии. Если же вы захотите официально трудоустроить преподавателей, то всё, что вам нужно сделать - это не заниматься образованием. К ИП прилагаются ОКВЭДы - коды, характеризующие деятельность, которую ведёт ИП. Их вы обязательно указываете при регистрации ИП. Так вот основной код добавляем 90.04.3 - деятельность учреждений клубного типа: клубов, дворцов культуры, домов народного творчества. По нему вы фактически занимаетесь досугом детей, вы - клуб по интересам, а не образовательное учреждение. В этом случае образовательную лицензию вам не нужно получать в принципе. Лицензия нужна, если вы хотите выдавать детям официальные дипломы, которые по сути ни какой роли ни где не играют. Но в замен на это, ваши помещения должны соответствовать всем санпинам, должны быть ростовые парты и стулья, помещение в определённых цветах и прочее. Будет нужно сертифицировать учебные программы. Всё вышеперечисленное сильно усложнит и удорожит открытие детского центра. Налогообложение выбираем УСН (упрощённая форма налогообложения) 6%. По этой форме вы платите 6% налога от всех поступлений к вам на счёт. Отчётность упрощена до предела. Первый год портал Контур Эльба предоставляет бесплатно. Портал сам формирует всю необходимую отчётность и отсылает её в налоговую. На этом юридическое оформление заканчивается. Есть ещё пара вопросов по приёмке платежей и договорам с родителями, но это уже более детальная тема, которую лучше обговорить индивидуально. Кассовый аппарат ставить не обязательно. Он вам на старте встанет в 20000 рублей + ежемесячные взносы в банк + комиссия. Можно принимать платежи через онлайн портал. Как это делать я так же могу рассказать по индивидуальному запросу. Второй момент - это физическое открытие детского центра. Приступать к нему нужно только после открытия ИП, т.к. договор аренды можно заключить только с ИП или ООО. Кстати, если у вас есть официальная работа, вы спокойно можете открывать ИП и вести деятельность параллельно с основной работой. Это законом не запрещается. Поиск места открытия - наиболее ответственная часть. В небольших городах до 100 тыс населения лучше открываться в самом центре на первых линиях. Крупных жилых массивов там как правило нет, значит основное условие - транспортная доступность. Большинство детей в таких городах приезжает либо на автобусах, либо привозят родители. Детям должно быть удобно к вам добраться. В городах крупнее лучше размещаться в спальных районах. Например в Москве в спальном районе в радиусе одного километра может спокойно проживать 150 тыс человек. Для удобства можно проводить аналитику на гугл картах. Очень удобно отмечать школы, жилые массивы, предложения по аренде.

Располагаться помещение в здании должно в лёгкой доступности. Чтобы не пришлось рисовать карту, как к вам добраться. Рекомендуется рассматривать аренду от 30 кв м. Меньше - будет тесновато и если наберёте много детей, придётся перебираться в помещение побольше. Так же при заключении договора просите арендные каникулы на месяц. Первый месяц вы будете делать ремонт (при необходимости) и завозить мебель и оборудование. Большинство собственников идут на встречу в предоставлении арендных каникул. Помещение должно быть просторное, светлое. Подвальное или цокольное здесь не подойдёт. Аренда за 30 квадратов в различных городах России может колебаться от 10 000 рублей до 50 000 рублей в месяц. Так же у вас может возникнуть мысль открыть детский центр на базе действующей школы или дома культуры. В эту тему я бы лезть крайне не советовал. По закону, сдать вам в аренду помещение школа не может физически. Школа может принять вас на работу и выделить помещение под ваши нужды. Платежи от родителей в этом случае будет принимать школа, вам будет выплачиваться ставка. Большую часть школа оставит себе. Вы фактически сдаёте себя в рабство за копейки (как и школьные учителя). С домами культуры и другими государственными зданиями дела обстоят лучше, но то же не так гладко, как хотелось бы. При наличии свободных помещений, вызывается государственный оценщик, который оценивает помещение и арендную плату, за которую государство вам сдаст это помещение. После чего заключается договор и можно заезжать. Проблема здесь в том, что оценка помещения может затянуться на пол года минимум. Кстати, после карантина многие собственники простили аренду в месяцы простоя. Убытки с этой стороны понеслись минимальные. Но вот государство аренду ни кому не прощало. Вы были обязаны платить каждый месяц. После заключения договора аренды вы наконец можете заняться обустройством помещения. В зависимости от того, какой вы выбрали формат занятий и по каким направлениям, закупается соответствующее оборудование. Понятно, что для школы программирования нужны компьютеры или ноутбуки, столы и стулья, доска, зона отдыха. Для электроники нужен верстак с инструментом, паяльники, стрипперы, электроника, материал для корпусов. Наши детские центры носят комплексный характер. Помещение поделено на три основные зоны - зона верстака для грязной работы, где можно припаять, отпилить, закрутить и прочее. Зона программирования - это компьютерная стойка с расположенными по кругу 8 компьютерами. Зона доски - это несколько столов для работы с доской и для чистой работы, например сборки схем. Весь инструмент расположен на верстаке. Вся электроника для сборки схем расположена в номерных шкафах. Так у детей не возникает ни каких вопросов касательно организации работы. Они не задают вопросы - где и что мне найти. Они всегда знают, где искать нужную им штуку. Нагрузка на преподавателя идёт исключительно по рабочим вопросам.

Организация рабочего пространства весьма творческая часть работы. В начале своего пути я не уделял должного внимания бренду и оформлению помещения в единых цветах. Сейчас же мы стараемся оформлять все детские центры в едином, выработанном путем проб и ошибок, стиле.

Шаг 6. Первые занятия.

Итак, вы на финишной прямой. Экономика посчитана, ИП открыто, формат занятий и учебные программы определены, помещение оборудовано, первые дети записаны. Осталось только провести первые занятия, и записать детей на постоянную основу. По курсам, которые вы определили, обязательно должны быть первые бесплатные пробные занятия. На них вы и записываете детей. Первое пробное занятие для ребёнка должно быть максимально наполнено эмоциями. Перегружать теоретической информацией на первом занятии ребёнка не нужно. Например, на первом занятии робототехники в моих центрах, детям даётся общая информация по тому, то такое робототехника, показывается несколько проектов, которые они будут делать. Объясняется смысл занятий, откуда и куда идёт ребёнок. Вступление длится не больше 5 минут. После этого ребёнок читает небольшую методичку по пайке и сразу садится паять своё первое устройство - фонарик брелок. В нём максимальна простая схема. Светодиод, кнопка и плоская батарейка. Спаянная схема садится в корпус из двух пластиковых пробок от бутылок с просверленными отверстиями посредине под кнопку и светодиод.

Что получает ребёнок после первого бесплатного занятия? Он разбирается в базовом инструменте, научился паять и спаял свою первую схему, собрал схему в корпус и получил своё первое устройство - фонарик брелок, который ребёнок забрал домой. И это всё бесплатно. Родители ещё ничего не заплатили. На первом бесплатном занятии должен быть обмен с превышением - ребёнок бесплатно получает максимально из того, что вы можете дать. Тогда по приходу домой он будет максимально заряжен позитивными эмоциями. В этот же день нужно позвонить родителю и, пока ребёнок горячий, закрывать на абонемент. На каждом этапе есть свои крючки, которые приближают родителя к принятию решения в вашу пользу. Система цены абонемента у вас должна быть так же гибкой. Например, для новеньких ребят, если они оплачивают месячный абонемент в тот же день, что пришли на первое бесплатное занятие, даёте небольшую скидку в 10% или лучше, дать что-то физическое. Например набор по сборке пистолета-резинкострела. Так же не маловажную роль в системе мотивации детей играют робокоины. Робокоин - это такая монетка (можно напечатать на 3д принтере, либо вырезать на ЧПУ), которую ребёнок получает в конце занятия, если хорошо себя ведёт и выполняет план занятия. Так же на робокоинах построена модель "приведи друга". Если ребёнок приводит на занятия друга, и тот и другой получают по 5 робокоинов. Зачем же нужны эти робокоины? В Детском центре у нас установлены небольшие стеллажи с дверцами, в которые мы кладём вещи, которые можно купить за робокоины. Получается своеобразный внутренний магазин. Товар в нём совершенно разный: Чупа-чупсы и баночки колы или пепси, паяльники и мультиметры, модели для склейки Звезда. Огромный ажиотаж был, когда я в режиме теста положил в магазин несколько айфонов. На следующие выходные записал 15 новых ребят, которых привели текущие дети. Выводы: обязательно делайте первые бесплатные пробные занятия по всем курсам. Проводите их таким образом, чтобы у ребёнка осталось как можно больше позитивны эмоций. Отзванивайте родителей и закрывайте на оплату абонементов в тот же день, что и проводите первое занятие.

Шаг 7. Развитие детского центра.

Поздравляю! У Вас получилось! Вы открыли свой собственный детский центр и провели первые занятия. Но что же делать дальше? Дальше нужно развиваться. Набирать ещё детей, совершенствовать учебный процесс. Придумывать проекты для ребят. Участвовать в соревнованиях. Дальше - свободное плавание. Но основное - это набор детей в детский центр. Важно понять, что потолка здесь нет. В начале пути я шёл по модели количества - было бы неплохо открыть много детских центров по 80 детей в каждом, думал я. И это действительно неплохо, но и не так уж хорошо. После фиаско с запуском сети, я сжался обратно до одного детского центра и стал вкладывать в качество. Пол года ушло на написание новых учебных программ, тестировании на текущих детях, запуске новых курсов. 2019-2020 учебный год я ознаменовал единственным тестом - сказал себе, что потолка не существует. В итоге в сентября по март (до того момента, пока всех не закрыли на карантин), я набрал 150 детей в свой детский центр в городе в 40 тыс населения на двух преподавателей. Работали при этом мы 2,5 дня в неделю. Выходные + вторая часть пятницы. И это был далеко не предел. Если бы не возник форс-мажор в виде всеобщего карантина, я бы пробил планку в 250 детей к концу учебного года. Дети в детском центре росли в геометрической прогрессии, больше детей зовут больше детей, начинает великолепно работать сарафан. Такой объём детей заставил меня максимально сгруппироваться, наконец в масштабах одного детского центра внедрить полноценную СРМ систему, подключить авто рассылки и много чего ещё. При этом один детский центр на двух преподавателях, один из которых я сам, начал генерировать 300 000 рублей оборотки в месяц, при затратах 20 000 на аренду помещения, 10 000 на рекламу, 5 000 на расходники. Звучит очень вкусно, не правда ли?)

Выводы.

Открыть свой детский технический центр хочет всё больше и больше людей. Чаще всего это небольшие города до 100 тыс населения. Инженеры/программисты, которые хотят с одной стороны передать свои знания юному поколению (иначе зачем мы их копим?), с другой стороны диверсифицировать доход, открыв направление, отличное от текущей работы. Открыть свой детский технический центр это с одной стороны не тривиальная задача, в которой спрятано много подводных камней, но когда этот путь уже кто-то прошёл, становится чуточку легче. Задавайте любые вопросы! Если хотите поговорить в частном порядке, получить финансовые модели детского технического центра, для оперативности ответа пишите мне вконтакте.

Обучать детей техническому мастерству, либо программированию можно по-разному. Я нашёл наиболее эффективный способ, при котором вовлеченность детей в процесс максимальна и вы остаётесь не с пустыми карманами.

4 года назад я открыл первый кружок робототехники в небольшом городе. За первые 3 месяца набрал 80 детей на занятия без особого труда и знаний в области маркетинга. Однако за 4 года утекло много воды и сейчас старые методы привлечения детей на занятия уже не работают. Долгие годы в России и странах СНГ активно развивались только спортивные направления, футбол, баскетбол, единоборства. Однако за последние годы количество интеллектуальных кружков и секций росло, как грибы после дождя. Начали формироваться крупные игроки, но до консолидации рынка детского технического образования ещё очень далеко. Вначале появились школы робототехники, после подключилась ментальная арифметика и скорочтение, направленная больше на ребят помладше. Позже подтянулись школы программирования.

За 4 года работы, кружки робототехники, открывающиеся под моим началом, менялись в соответствии с текущими трендами, не забывая о стратегии, обозначенной в самом начале пути - дать детям возможность развиваться технически, и когда придёт время, после школы не тыкать пальцев в небо, а точно знать, по какой специальности пойти учиться дальше и в какой университет или техникум поступать.

Ответ на вопрос "Что запускать, кружок робототехники или технический центр?" многим может показаться очевидным, однако всё не так просто, как кажется на первый взгляд. Ко мне обращается множество людей, по вопросам открытия технической детской школы, и почти все нацелены либо на робототехнику и электронику, либо на школу программирования. На старте пути я был таким же, воплотил в жизнь то, что было ближе - я неплохо разбирался в электронике и построил школу робототехники, но сейчас такой подход прокатит далеко не везде. В прошлых статьях я писал, на чистом альтруизме далеко не уехать - ваш детский центр должен приносить доход, чтобы вы могли обновлять техническую базу и кормить себя и семью. И речь здесь не о получении 20-30 тысяч дополнительного дохода в месяц, речь о получении минимум 100 тысяч рублей в месяц с детского центра. При таком раскладе, руки у вас не опустятся никогда, школа будет непрерывно развиваться, качество подаваемого материала расти, посещать занятия будет всё больше и больше детей.

В школе робототехники я довольно быстро уткнулся в стеклянный потолок - заявки на занятия становились всё дороже, экспонента насытилась и прежние методики привлечения клиентов становились неэффективны. И тогда я начал запускать новые курсы. И речь здесь не о пустом добавлении направлений в текущую систему, я начал строить экосистему, где каждый новый продукт дополнял предыдущий. В детском центре, куда ходило 50 человек на робототехнику, и больше было набрать уже слишком дорого, я запустил программирование. Дети уже работали с компьютером, когда учились программировать микроконтроллеры на курсе робототехники, но там я столкнулся с проблемой - программировать нужно на С++, который в базе дети ещё понимали, изучили переменные и условия, но когда дело дошло до циклов, половина отвалилась. На массивах, особенно двумерных всё стало намертво. До сих пор я старался давать детям максимум практики, минимум теории, но здесь этот подход не сработал. Я всячески пытался обучить детей сделать что-то посложнее, чем робота, ездящего по линии, или руку на сервоприводах, но ничего не получалось. Вернее, результат был, но значительно увеличился процент оттока детей. Кто-то понял материал и пошёл дальше, но добрая половина не могла понять ничего, как бы я не старался. И вот тогда, именно для них был создан курс программирования, где на старте учимся делать сайты - базовый html и css, где практически нет ни какой логики. Ребёнок делает сайт и у него получается. Более того они получают ощутимый результат н каждом занятии. Когда первые два языка поняты полностью, переходим к Java Script, попутно добавляя нотки C++. Так как дети уже щупали код до этого, их мозг понемногу перестраивается на логику компьютера, и тут плюсы или скрипты даются гораздо проще.

Далее я задумался, как можно привлечь девочек в технический центр? На робототехнику и программирование ходили в основном мальчики. Их было больше 95%. Но ведь девочек как минимум половина. То есть половина рынка лежит рядом и стандартным путём выйти на него не получится. Для девочек я запустил курс по графическому дизайну. На старте изучаем Фотошоп. Привязываем его к практике - работе в типографии или рекламном агентстве. Они учатся делать визитки, календари, блокноты. Разрабатывают дизайн в Фотошопе, после чего печатаем, ламинируем, сажаем на пружину на брошюраторе. Всё, что изготовили, забираем себе. Некоторым девочкам хватило квалификации, чтобы полностью задизайнить и изготовить школьный дневник.

Так в чём же здесь магия? Она начинает работать тогда, когда у вас есть база робототехников в 50 человек, и вы им говорите, что запускаете программирование отдельным курсом, куда каждый может прийти на первое пробное занятие. Из 50 человек пришло 25. Из 25, пришедших на первое пробное занятие, 18 осталось ходить на постоянной основе, не бросая при этом робототехники. Получается, что без дополнительных вложений в рекламу, к вам уже ходит не 50 человек, а 68. То же самое произошло и с дизайном. Первоначально я задумывал данный курс для девочек, но мальчикам там оказалось не менее интересно. За несколько недель я увеличил клиентскую базу на 50%, фактически не увеличивая её. Половина детей стала посещать 2 и более курсов. Рекордом был мальчик Женя, который ходил параллельно на робототехнику, программирование, авиамоделирование, репетиторство по физике и математике. Он посещал у меня параллельно 5 курсов. И ему это безумно нравилось.

Но магия здесь не только в том, что можно расширить базу клиентов из текущей базы. Раньше, когда я звонил клиенту по заявке, предлагал ему робототехнику, рассказывал о всех плюсах, что получит ребёнок, если слышишь ответ "нет, не интересно", то говоришь - "ну ок". Теперь же, я могу предложить ему ещё и программирование, или дизайн, или может быть ЧПУ станок? А авиамоделирование нравится? А хотите в бесплатном пробном формате попробовать всё сразу, а потом уже решим? Большинство из новых ребят, таким образом, сходу начинает посещать несколько курсов одновременно. А это увеличение среднего чека фактически в два раза. Вот здесь и находится магия. Все остаются в плюсе - дети изучают материал более комплексно, а так как они посещают несколько курсов, на стыке этих знаний рождаются самые крутые проекты и решения. Хотите метеостанцию с веб интерфейсом в реальном времени? Пожалуйста. А хотите сеть метеостанций, которые каждый ребёнок устанавливает у себя дома? Пожалуйста. А может быть вам интересна деревянная картина с подсветкой? Нет проблем.

Дети довольны, родители так же рады, что их ребёнок нашел увлечение, и бежит на очередное занятие с удовольствием, а не из под пинка. Вы получаете геометрический рост клиентской базы, не прикладывая дополнительных усилий в маркетинге. Все остаются довольны.

Комплексный детский технический центр запустить сходу достаточно трудно, но это и не требуется. Стоит начинать сразу с робототехники и программирования на две возрастные категории - малыши (5-7 лет) и старшие ребята (8+ лет) Тогда вы получите не 2, а 4 курса сразу. Кстати, у малышей статистика еще интереснее. В прошлых статьях я рассказывал про формат робототехники для малышей. Так вот малышей на робототехнику ходило 20 человек, когда я запустил программирование, привязав сюжетные линии, сделав рабочие тетради, наподобие тех, что дети использовали на робототехнике, из 20 детей, 18 пошло ещё и на программирование. Здорово, правда?

Подведём итоги:

Школа робототехники сама по себе - не плохой вариант. Но детский технический центр с множеством курсов здесь безоговорочно выигрывает. Это как раз тот случай, когда 1+1=11.

Сегодня я бы хотел рассказать в цифрах, что же на самом деле происходит за кулисами детского технического образования в России. Вы будете сильно удивлены.

Кто я такой? Меня зовут Максим Иванков. 4 года назад я открыл свою первую школу робототехники в небольшом городе Краснодарского края. За несколько месяцев на занятия ходило уже 80 детей, я открываю ещё один центр в соседнем городе, и ещё один открывает знакомый с моей помощью под Ростовом. Через год, не имея практически ни какого опыта, я попытался запустить сеть собственных детских технических центров. За пол года было открыто 6 детских центров. Что из этого получилось, можете почитать в прошлых статьях, но если кратко - я совсем не разбирался в маркетинге, управлении и финансах. Когда масштабируешь бизнес, в узких местах обязательно прорвёт трубу, что и произошло. Первый кассовый разрыв наступил через пару месяцев, хотя узнал я о нём через пол года) И такое, как оказалось бывает. После неудачной попытки в масштабировании, я сжался обратно до нескольких детских центров и плотно начал работать над качеством, а так же решать проблемы, возникшие во время масштабирования. За последующие два года, школы робототехники превратились в комплексные детские технические центры, были проработаны и усилены все моменты, которые дали течь в первый раз. Сама бизнес модель претерпела сильное изменение. В следующем учебном году, я планирую заходить в эту реку ещё раз. И в преддверии масштабирования, решил глубоко проанализировать рынок детского технического образования в России.

Но сперва, я бы хотел рассказать несколько интересных историй, которые сильно мотивируют меня заниматься детским техническим образованием в глобальном масштабе. Вы слышали про сеть автосервисов Вилгуд? Эти ребята сейчас рвут рынок автосервисов в России. У них очень интересная история. Выбирая очередное дело, которым хотелось бы заняться, они исходили из многих параметров, в том числе, из одного нового - консолидации рынка. Что такое консолидация рынка? Попробуйте открыть продуктовый магазин между Пятёрочкой и Магнитом, и тогда узнаете. Много секторов глобального рынка уже давно поделено между несколькими крупными игроками. Если в такой сектор пытаются влезть предприниматели, то чаще всего уходят ни с чем. Рынок автосервисов в России очень интересный - в нём есть несколько крупных игроков, работающих больше по своим зонам, и тысячи тысяч мелких автосервисов, расположенных в гаражах. Консолидация рынка стремится к нулю. Именно в такой рынок и решили зайти супруги Турсуновы, организовав компанию Вилгуд - сеть умных автосервисов. У них было всё то, чего не хватает стандартным гаражным автосервисам, чистая красивая зона ожидания, мобильное приложение, вежливый персонал, прозрачная отчетность по ремонту и многое другое. К 2023 году они обещают открыть 1000 точек автосервисов Вилгуд. С Магнитом и Пятёрочкой, кстати та же история - они сделали самые низкие цены на основную группу продуктов - молоко, хлеб, крупы и прочее, и просто открылись фактически в каждом дворе. Они полностью консолидировали рынок ритейла за считанные 10 лет. Этот список можно продолжить магазинами Леруа Мерлин, ставшими причиной закрытия множества гигантских дилерских сетей по продаже стройматериала. Маркетплейсы начали убивать практически все дилерские сети в России (говорим о товарах, которые могут продаваться на самих маркетплейсах).

И вот теперь плавно переходим к рынку детского технического образования. К чему была прелюдия? Этот рынок - непаханое поле, куда ещё не успели запустить корни достаточно крупные игроки. На данный момент в России 1193 детских технических центров в городах с населением больше 250 тысяч человек. В этих городах проживает 62,675 миллиона человек. Из них детей от 4 до 14 лет (основная аудитория детских технических центров) 12,5%. Получаем 7,8 миллиона детей. По нашим детским центрам можем сказать, что в городах находится 10% детей, заинтересованных техническим обучением - робототехникой, программированием или их производными. Получаем, что потенциально в детские центры хочет ходить 783 тысячи детей. Делим 783 тысячи на 1193, получаем 656 детей на детский центр. При этом среднее число воспитанников в учреждениях подобного рода - 100 человек. Получается, что рынок коммерческого детского образования в крупных городах, освоен всего на 15%.

В России открыто всего 1350 технических школ. Если проделать те же манипуляции с цифрами населения всей России, то получим, что рынок детского технического образования освоен всего на 10%.

При среднем чеке с человека в 3000 рублей в месяц, можем вычислить объём рынка:

40 млрд рублей в год для детских технических центров.

400 млрд рублей в год для всего детского дополнительного образования.

И этот рынок освоен всего на 10%. Здорово, правда? Теперь поговорим о крупных игроках и консолидации рынка.

Какие выводы можно сделать? Рынок не консолидирован, однако присутствуют крупные игроки. Самый крупный - лига роботов, она занимает 12% локального, существующего рынка, либо 1,15% от всего рынка детского образования России. При этом в крупных городах, больше 250 тыс населения, можно открыть до насыщения рынка ещё 6000 детских технических центров.

В меньших городах возникают проблемы с поиском преподавателей надлежащего качества. Это я могу вам сказать с полной уверенностью из первого ряда, первичная модель была направлена именно на открытие детских центров в небольших городах. И эта модель работает великолепно, если находится энтузиаст на месте, готовый заниматься обучением детей, но находить их очень трудно. Поэтому фокус, на этот раз, я решил сместить в города с населением больше 250 тысяч человек, а начать с Питера. В Питере на данный момент открыто 200 технических центров. По подсчётам, в Питере до насыщения рынка можно открыть ещё столько же. При этом квалифицированные преподаватели с опытом прямо сейчас находятся на рынке труда, только руку протяни. В первой попытке масштабирования, мы открывали один из центров как раз в спальном районе Питера. Хорошего преподавателя нашли на первом же собеседовании. Плюсом открытия детских центров в больших городах, являются спальные районы - это место, где в радиусе километра может проживать пара сотен тысяч человек. Таргетированная реклама в связке с догоняшками от РСЯ через пиксель работает здесь на ура.

Сейчас в команде 3 человека со своими зонами ответственности. В первый год планируется открыть 10 детских технических центров и вывести их на показатель - 5 млн рублей выручки в месяц с рентабельностью 50%, сформировать управляющую компанию, настроить единый отдел маркетинга. Далее, с сентября 2022 года, открываем по 5 детских технических центров в месяц., постепенно наращивая обороты. Формируем методический отдел, отдел обучения персонала. К 2026 году планируется занять 20% рынка детского технического образования с годовым оборотом в 7,8 млрд рублей.

Я занимаюсь детскими техническими центрами уже 4 года, и за это время, путём проб и ошибок, нашёл формат, который с одной стороны даёт детям качественное техническое образование, с другой стороны - позволяет зарабатывать. Первый детский центр, открытый 4 года назад, существует и по сей день. В нём есть ребята, которые ходят с самой первой набранной группы. Они пришли в 4-5 классе, и сейчас уже девятиклассники. Детский центр изменил их жизнь, подарил вектор, которому они следуют. На курсе по профориентации, который я проводил для детей и родителей, они определились, куда и на какую специальность будут поступать. С другой стороны, мне удалось довести этот детский центр до 150 детей на 2-х преподавателях, работающих по выходным и половину пятницы. Благодаря крайним двум статьям, где я рассказывал о шагах для открытия своего детского центра, ко мне обратилось уже больше 10 человек. Они подумывают об открытии детских центров в своих городах. Тема оказалась очень интересной, а я, в свою очередь, накопил за последние несколько лет много оформленных компетенций, которыми с радостью готов поделиться. Первый детский центр нового формата в Питере планирую запустить в июле, через 2 месяца. Сейчас ищем партнёров, которые за долю в компании готовы усилить нашу команду своими компетенциями, либо инвестициями. Если захотите обсудить подробнее, обязательно пишите.

4 года и не один миллион рублей мне потребовался, чтобы разобраться в вопросе наиболее эффективной работы детских технических центров, изучить маркетинг и найти рабочие связки привлечения детей, разработать учебные программы, по которым дети готовы заниматься годами. Весь этот опыт я готов воплотить в собственной сети детских центров, а так же помочь открыться вам в своём городе.

Заслуженно распространена точка зрения, что типичный разработчик высокоуровневого прикладного ПО настолько свыкся с доступностью системных ресурсов и мягкостью требований реального времени, что ожидать от него оптимизации кода в угоду снижения ресурсоёмкости приложения можно лишь в крайних случаях, когда этого прямо требуют интересы бизнеса. Это и логично, ведь в задачах прикладной автоматизации самым дорогим ресурсом остаётся ресурс человеческий. Более того, снижение когнитивных затрат на возню с байтами оставляет внимание разработчика свободным для задач первоочередной важности, таких как обеспечение функциональной корректности программы.

Редко когда речь заходит об обратной проблеме, имеющей место в куда более узких кругах разработчиков встраиваемых систем, включая системы повышенной отказоустойчивости. Есть основания полагать, что ранний опыт использования MCS51/AVR/PIC оказывается настолько психически травмирующим, что многие страдальцы затем продолжают считать байты на протяжении всей карьеры, даже когда объективных причин для этого не осталось. Это, конечно, не относится к случаям, где жёсткие ценовые ограничения задают потолок ресурсов вычислительной платформы (микроконтроллера). Но это справедливо в случаях, где цена вычислительной платформы в серии незначительна по сравнению со стоимостью изделия в целом и стоимостью разработки и верификации его нетривиального ПО, как это бывает на транспорте и сложной промышленной автоматизации. Именно о последней категории систем этот пост.

Обычно здесь можно встретить упрёк: "Ты чё пёс А MISRA? А стандарты AUTOSAR? Ты, может, и руководства HIC++ не читал? У нас тут серьёзный бизнес, а не эти ваши побрякушки. Кран на голову упадёт, совсем мёртвый будешь." Тут нужно аккуратно осознать, что адекватное проектирование ПО и практики обеспечения функциональной корректности в ответственных системах не взаимоисключающи. Если весь ваш софт проектируется по V-модели, то вы, наверное, в этой заметке узнаете мало нового хотя бы уже потому, что ваша методология содержит пункт под многозначительным названием проектирование архитектуры. Остальных эмбедеров я призываю сесть и подумать над своим поведением.

Не укради

Что, в конечном итоге, говорят нам вышеупомянутые стандарты в кратком изложении? Примерно вот что:

• Не своевольничай. Наличие каждой строчки кода должно быть однозначно обосновано низкоуровневыми техническими требованиями и проектной документацией.

• Пиши простой код. У простого меньше шансов сломаться или выстрелить тебе в ногу, чем у сложного.

• Делай свои намерения явными и избегай неявных предположений. Это касается проверки инвариантов, исключения платформно-зависимых конструкций, исключения UB, unsafe и схожих граблей, заботливо разложенных языком программирования и средой исполнения.

• Не забывай об асимптотической сложности. Ответственные системы обычно являются системами реального времени. Адептов C++ призывают воздержаться от злоупотреблений RTTI и использования динамической памяти (хотя последнее к реальному времени относят ошибочно, потому что подобающим образом реализованные malloc() и free() выполняются за постоянное время и даже с предсказуемой фрагментацией кучи).

• Не игнорируй ошибки. Если что-то идёт не так, обрабатывай как следует, а не надейся на лучшее.

Это всё применимо в тех случаях, где непредвиденный сбой обходится бизнесу дороже, чем инвестиции в качественный софт и адекватную платформу. Про тестирование тут, кстати, говорится сравнительно мало, потому что это несколько обособленная дисциплина.

Видите пункт "игнорируй широко известные принципы проектирования сложных информационных систем"? Я тоже нет. Но подавленные воспоминания о том, как кросс-компилятор под дохлые однокристалки унижает разработчика в его собственном доме не дают человеку в полной мере осмыслить свои действия и их долгосрочные последствия. В итоге мы получаем спагетти без архитектуры, которое невозможно поддерживать и тестировать, но при этом оно носит гордую метку MISRA-совместимости как (сомнительное) свидетельство качества.

Я имел несчастье ознакомиться с некоторым количеством встраиваемого ПО реального времени, к надёжности которого предъявляются повышенные требования, и в пугающем числе случаев я ощущал, как у меня шевелятся на голове волосы. Меня, например, сегодня уже не удивляет старая байка об ошибках в системе управления Тойоты Приус, или байка чуть поновее про Boeing 737MAX (тот самый самолёт, который проектировали клоуны под руководством обезьян). В нашем новом дивном мире скоро каждая первая система станет программно-определяемой, что (безо всякой иронии) здорово, потому что это открывает путь к решению сложных проблем затратой меньших ресурсов. Но с повальной проблемой качества системоопределяющего ПО нужно что-то делать.

Если взять типичную встраиваемую систему достаточно высокой сложности, можно выделить примерно следующие сгустки логики:

• Класс-бог, отвечающий за всё сущее.

• Несколько драйверов периферии и коммуникационных протоколов, ко внутренним состояниям которых зачастую класс-бог обращается непосредственно, минуя хилые абстракции.

• Utils или helpers, без них никуда.

Что в итоге: модульное тестирование невозможно, потому что нет модулей; толковая поддержка невозможна, потому что всё сложно; о гарантиях функциональной корректности трудно рассуждать всерьёз, нам бы для начала научиться выполнять вменяемую декомпозицию задачи, а не решать все проблемы в одном цикле сразу. Это зачастую преподносится как неотвратимая данность, нельзя по-другому, потому что это же не десктоп система с неограниченными ресурсами, вы не понимаете, это другое.

Инфоцыгане

Косвенным образом масла в огонь подливают некоторые поставщики программных инструментов для разработчиков встраиваемого ПО: Mbed, Arduino, и т.п. Их маркетинговые материалы вполне могут заставить начинающего специалиста поверить, что суть этой работы заключается в низкоуровневом управлении железом, потому что именно на этом аспекте диспропорционально фокусируются упомянутые поставщики ПО. Вот у меня на соседнем рабочем столе открыт в CLion проект ПО для одной встраиваемой системы; проект собирается из чуть более чем ста тысяч строк кода. Из этой сотни примерно три тысячи приходятся на драйверы периферии, остальное приходится на бизнес-логику и всякий матан. Моя скромная практика показывает, что за исключением простых устройств сложность целевой бизнес-логики приложения несопоставима с той его частью, что непосредственно работает с железом.

В один прекрасный день я обсуждал детали своего опенсорсного проекта (тесно связанного с эмбедами) с разработчиком из сторонней компании; назовём его Ильёй (в целях деанонимизации имя не было изменено). Илья работал над фичей для моего проекта, которая требовалась его работодателю. Илья работал внимательно и неспешно в силу своей аккуратности. Илья регулярно созванивался со мной, и мы обсуждали, как лучше сделать то да сё. Илья однажды сообщил, что пришёл к нему его начальник, отверз уста и изрёк:

Смотри, что я нашёл! Есть крутая новая система, Mbed называется, значит, для эмбедеров. Гляди, как можно быстро прототипы лепить! Клац, клац, и мигалка готова! Вот же, на видео. А ты, Илья, свой алгоритм оптимизации CAN фильтров пилишь уже неделю, не дело это, давай переходить на Mbed.

Я, разумеется, не хочу сказать, что права на существование сии продукты не имеют. Конечно, имеют, и более того: они чрезвычайно полезны, когда бизнес-логика проста и сосредоточена вокруг интеграции нескольких компонентов. За примерами ходить не надо, просто откройте любой их рекламный проспект это то, для чего они созданы. Но у меня подгорает, когда я слышу о менеджере, продвигающем эмбеддед-фреймворк для проекта, где работа с периферией и её отладка едва ли займёт 1% внимания программиста.

Весь этот горький катаклизм знаком многим, кто вхож в отрасль. Но ещё хуже обстоят дела, когда разработчик низкоуровневого ПО без надлежащей подготовки берётся за проектирование распределённых систем.

Когда один бэкэндер лучше двух эмбедеров

Ранее я публиковал большую обзорную статью о нашем открытом проекте UAVCAN (Uncomplicated Application-level Vehicular Computing And Networking), который позволяет строить распределённые вычислительные системы (жёсткого) реального времени в бортовых сетях поверх Ethernet, CAN FD или RS-4xx. Это фреймворк издатель-подписчик примерно как DDS или ROS, но с упором на предсказуемость, реальное время, верификацию, и с поддержкой baremetal сред.

Для организации распределённого процесса UAVCAN предлагает предметно-ориентированный язык DSDL с помощью которого разработчик может указать типы данных в системе и базовые контракты, и вокруг этого затем соорудить бизнес-логику. Это работает примерно как REST эндпоинты в вебе, XMLRPC, вот это вот всё. Если взять одного обычного бэкендера человека, измученного сервис-ориентированным проектированием и поддержкой сложных распределённых комплексов и объяснить ему суть реального времени, то он в короткие сроки начнёт выдавать хорошие, годные интерфейсы на UAVCAN.

Хрестоматийный пример интеграция системы воздушных сигналов, или хотя бы одного лишь датчика воздушной скорости. Наученный тяжким опытом разработки и сопровождения продакшена, бэкендер тщательно осмыслит следующий вопрос: "какую бизнес-задачу мы решаем?"

Допустим, ответ подопытного является вариацией на тему "измерение воздушной скорости, барометрической высоты и статического давления". Тогда на свет появляются примерно следующие строки DSDL:

# Calibrated airspeeduavcan.time.SynchronizedTimestamp.1.0 timestampuavcan.si.unit.velocity.Scalar.1.0    calibrated_airspeedfloat16                               error_variance

# Pressure altitudeuavcan.time.SynchronizedTimestamp.1.0 timestampuavcan.si.unit.length.Scalar.1.0      pressure_altitudefloat16                               error_variance

# Static pressure & temperatureuavcan.time.SynchronizedTimestamp.1.0 timestampuavcan.si.unit.pressure.Scalar.1.0    static_pressureuavcan.si.unit.temperature.Scalar.1.0 outside_air_temperaturefloat16[3] covariance_urt# The upper-right triangle of the covariance matrix:#   0 -- pascal^2#   1 -- pascal*kelvin#   2 -- kelvin^2

Мы получаем законченный сетевой сервис, который предоставляет данные системы воздушных сигналов (конечно, этот пример не претендует на звание законченного сервиса, но суть вы поняли). Если потребитель хочет, например, знать барометрическую высоту, он просто берёт и подписывается на соответствующий топик.

Знакомый с физикой полёта читатель здесь уместно поинтересуется: откуда оконечному устройству (что поставляет сервис воздушных сигналов) знать калибровочные параметры датчика воздушной скорости? Ведь это предполагает осведомлённость датчика о собственном положении на летательном аппарате и об его аэродинамических свойствах. Принципы инкапсуляции и разделения ответственности предписывают, что соответствующие параметры настраиваются на самом поставщике сервиса воздушных сигналов (т.е. сетевом узле датчика) с целью сокрытия деталей реализации сервиса от его потребителей.

В БПЛА некоторых типов практикуется автокалибровка, где выборка измерений с приёмника воздушного давления за значительный промежуток времени сопоставляется с наземной скоростью, чтобы таким образом определить калибровочные параметры эмпирически. В рамках сервис-ориентированного подхода это решается превращением системы воздушных сигналов в потребителя данных о наземной скорости. Проще говоря, наш сетевой узел, что измеряет воздушную скорость, подписывается на топик, в котором есть данные о наземной скорости летательного аппарата, получая таким образом доступ к необходимому контексту для выполнения автокалибровки.

"Очевидные вещи говоришь" скажет матёрый архитектор информационных систем "Тут сервис, тут зависимость, соединили и полетели". Но в кругу встраиваемых систем эти очевидные вещи, судя по моему удручающему опыту, являются откровением, потому что опытный эмбедер подходит к решению той же проблемы совершенно иным образом: не от целей, стоящих перед системой, а от средств их достижения. Или, короче говоря: первым вопросом является не что мы делаем, а как мы это делаем. В итоге вместо сервиса мы получаем один-единственный топик следующего типа:

uint16 differential_pressure_readinguint16 static_pressure_readinguint16 outside_air_temperature_reading

Это, конечно, нельзя использовать непосредственно, поэтому наше конечное устройство превращается в пассивный сенсор, который сообщает измерения на центральный узел, и тот затем выполняет вычисления и публикует их результаты в сеть в узкоспециализированных форматах, по одному под конечного потребителя. Например, если гироподвес и привод предкрылков нуждаются в воздушной скорости, то к каждому будет приделан отдельный топик своего типа. Своими глазами видел.

В итоге мы получаем всё то же спагетти с классом-богом, только вместо класса у нас центральный узел, а вместо спагетти сотня топиков без архитектуры. Нетрудно заметить, что этот подход также может увеличить время доставки данных и загрузку сети, а заодно и, возможно, снизить отказоустойчивость ввиду централизации процессов.

Художника каждый может обидеть

Не следует думать, что я хочу определить всех эмбедеров в биореактор. Я, в конце концов, и сам один из них. Но я склонен к мысли, что легче из хорошего прикладного программиста сделать толкового эмбедера, чем дождаться вменяемого кода от последнего.

Коллеги, одумайтесь.

Я вижу, как нашим микроскопом заколачивают ржавые гвозди, и представляю, сколько ещё подобного происходит за пределами моего поля зрения. В прошлом году уровень отчаяния в нашей скромной команде был столь высок, что мы опубликовали наноучебник, где объясняется, как выглядит сетевой сервис здорового человека: UAVCAN Interface Design Guidelines. Это, конечно, капля в море, но в один прекрасный день я всё-таки переведу его на русский язык ради подъёма уровня профессиональной грамотности.

Непонимание основ организации распределённых вычислений затрудняет внедрение новых стандартов на замену устаревших подходов. Наши наработки в рамках стандарта DS-015 (созданного в коллаборации с небезызвестными NXP Semiconductors и Auterion AG) встречают определённое сопротивление ввиду своей непривычности для целевой аудитории, в то время как ключевые принципы, на которых они основаны, известны индустрии информационных технологий уже не одно десятилетие. Этот разрыв должен быть устранён.

Желающие принять участие в движении за архитектурную чистоту и здравый смысл могут причаститься в телеграм-канале uavcan_ru или на форуме forum.uavcan.org.

Золотым стандартом исследований в области машинного обучения служит последовательная модель эксперимента: у вас есть базовый уровень, ваш эксперимент и фиксированный, заранее определённый набор тестов. Вы оцениваете свой базовый уровень на наборе тестов, получаете базовое значение. Затем вы выполняете свой эксперимент на наборе тестов и получаете другое значение. Затем вы сравниваете эти два результата. Допустим, вы публикуете все эти артефакты и предположительно любой может воспроизвести данные результаты. Это пример хорошей науки. Но я люблю невоспроизводимые исследования. И вот почему.

Воспроизводимость всегда была краеугольным камнем научного прогресса и предметом многочисленных семинаров и призывов к действию, особенно в области машинного обучения. Хотя попытки улучшить воспроизводимость результатов исследований, как правило, полностью оправданы и явно полезны для общества, они сопряжены с риском закрепления этой очень узкой модели точной воспроизводимости в качестве единственно приемлемого стандарта.

В академических кругах машинного обучения мало ценят то, что не все исследования могут позволить себе роскошь идеальной воспроизводимости по очень фундаментальным причинам и что, тем не менее, существуют научно обоснованные способы достижения статистической воспроизводимости при правильной разработке своего экспериментального протокола. Я считаю, что нам нужно улучшить собственное образование в рамках сообщества в целом, особенно в тех областях, где предмет исследования реальная производительность, например, для таких исследований робототехники, которые проводятся в моей лаборатории.

Для многих экспериментов, выполненных в Google, нет идеальной воспроизводимости, потому что фундаментально они связаны с оценкой влияния моделей на реальный мир. А реальный мир постоянно меняется: взаимодействие пользователей с системой существенно зависит от суточного цикла, смены времён года, мировых событий или ещё более неуловимых долгосрочных социальных тенденций. Ещё важнее то, что в результате изменений в самих моделях меняются пользовательские шаблоны.

Если вы заботитесь о влиянии своей модели на реальный мир, то для такого случая нет набора тестов.

Вы не можете проводить свои эксперименты последовательно (оценить базовый уровень в один день, а эксперимент провести на следующий), потому что мир уже изменился за это время, и ваши значения не сопоставимы. Вы также не можете сохранить вчерашний набор тестов, потому что ваши данные эволюционируют вместе с вашей моделью: если ваша модель предлагает пользователям набор результатов поиска, а показатель качества служит оценкой выбора их пользователями, невозможно вернуться к вчерашним пользователям и спросить их о том, что бы они сделали, если бы получили другой набор результатов.

Лекарством от этого стало параллельное проектирование эксперимента, иначе известное как A/B-тестирование. Для каждого экземпляра теста вы случайным образом выбираете выполняемую ветвь эксперимента: оценку базового уровня или эксперимент. Эта простая обработка отменяет любую изменчивость из-за лежащих в основе изменений распределения и позволяет получить статистически эффективные результаты, даже если ваша схема оценки находится в состоянии постоянного изменения.

И это приводит нас к самому большому непониманию A/B-тестирования и его пользы в качестве научного инструмента: оно часто используется, например, в UX-дизайне, чтобы узнать, влияют ли небольшие изменения компоновки сайта на переходы пользователей или могут ли тонкие изменения затенения сделать рекламу более привлекательной. В результате оно приобрело репутацию инструмента улучшения доверительных интервалов для очень малых эффектов. И поскольку исследователи машинного обучения относятся к доверительным интервалам в лучшем случае как к вынужденному допустимому отклонению, фактическая значимость А/В-тестирования для исследований в области машинного обучения обычно упускается из виду.

Параллельное A/B-тестирование целиком относится к тестированию больших эффектов, особенно когда нет возможности жёсткого контроля схемы оценки.

Мои коллеги недавно наглядно продемонстрировали это в контексте исследований робототехники. Как известно, в робототехнике очень сложно создать воспроизводимую схему оценки: роботы меняют положение, оборудование, объекты изнашиваются, меняется освещение, операторы роботов тонким образом влияют на то, как данная схема сбрасывается после каждого эксперимента. Печально известная проблема сброса, в частности, очень сложна, потому что создание хорошего протокола сброса, который возвращает настройку вашего робота в известное фиксированное состояние, может быть столь же трудным, как и запуск эксперимента в первую очередь.

Они взяли одну из наших простейших установок, задачу захвата идентичных пенопластовых кубиков внутри бункера, и измерили воспроизводимость этой идеально контролируемой среды.

Они за несколько дней последовательно провели 11 экспериментов по захвату и измерили вероятность успеха и доверительные интервалы для каждого из них. Результаты, нормированные по отношению к производительности базового прогона, показаны ниже:

Изменчивость в идентичных экспериментах. Источник: Robotics at Google (Робототехника в Google)

Если бы каждому эксперименту соответствовала другая модель, мы бы сказали, что эксперимент 7 примерно на 2% лучше, а эксперимент 5 примерно на 5% хуже. И у нас бы даже были достаточно жёсткие доверительные интервалы, чтобы убедить вас в этом. Но здесь не было никаких различий между экспериментами, все они были идентичными. Обратите внимание, что это не случай отсутствия данных: большее количество данных будет только сокращать доверительные интервалы, а не перемещать их положение относительно базового уровня. Такая необъяснимая изменчивость целиком попадает в неизвестные неизвестные окружающей среды. И эта установка так же проста, как и для реального эксперимента с роботом: во многих статьях по робототехнике сообщается об экспериментах с последовательной обработкой и гораздо большим потенциалом необъяснимой изменчивости, чем этот. Что ещё важнее, если бы мы не измерили эту повседневную изменчивость, мы бы даже не догадались о её существовании. Очень немногие исследователи когда-либо задумывались об измерении внутренней изменчивости в их экспериментальной установке в первую очередь, потому что, давайте посмотрим правде в глаза: так это работает, и из этого направления исследований могут поступать только плохие новости.

Урок здесь заключается в том, что при использовании этого конкретного экспериментального протокола мы определённо не можем доверять любой разнице производительности ниже 10% я даже не знаю, доверял бы ли я разнице в 10% без большой повторной проверки. Неужели это безнадёжно? Конечно, нет. Введите параллельное тестирование.

Только избавившись от иллюзии идеальной воспроизводимости, вы сможете наслаждаться восхитительной свободой статистической воспроизводимости и по-прежнему заниматься наукой с гораздо более высокой эффективностью данных в качестве бонуса.

Вот три дня одного и того же эксперимента, но на этот раз базовый уровень оценивался параллельно с экспериментом, случайным образом выбранным в каждом эпизоде.

Теперь обратите внимание, насколько последовательны числа, говорящие вам, что на самом деле нет никакой разницы между базовым уровнем и экспериментом. Нейтральные А/А-эксперименты, подобные этому, самый жёсткий статистический тест, и любой эксперимент, который действительно влияет на производительность, смог бы выдать чёткий сигнал.

Это было выполнено без каких-либо изменений в экспериментальной установке, только с немного другим экспериментальным протоколом.

Итак, почему же все не делают так? Давайте рассмотрим некоторые из этих задач.

Одно из распространённых заблуждений заключается в том, что, поскольку необходимо снова и снова оценивать базовый уровень для каждого эксперимента, нужно в два раза больше оценочных данных. Это неверно, как только есть некоторая изменчивость в вашей установке: выигрыш в статистической эффективности, который получается от постоянной оценки базового уровня, может составлять порядка величины данных или бесконечное количество данных в худшем случае, как мы видели выше. Есть хитроумные способы получения ещё большей эффективности данных с помощью перекрывающихся экспериментов вероятно, это самая недооценённая исследовательская работа, вышедшая из стен Google, но создание правильных инструментов для этой работы требует гораздо больше усилий, чем большинство исследователей, вероятно, готовы приложить при изучении этой проблемы.

Один из недостатков заключается в том, что ваша базовая оценка всегда должна быть работоспособной, предпочтительно выраженной в том же двоичном файле, что и ваш эксперимент, и поддерживать переключение на лету. Это, несомненно, требует работы и тщательного проектирования программного обеспечения. Преимущество этого заключается в том, что вы также защищаете себя от случайной деградации данных, когда какой-то сотрудник случайно изменяет что-то в вашем проекте, что влияет на базовую производительность, и вы этого не замечаете. Такое происходит с предсказуемой регулярностью в любой общей кодовой базе. Многие изменения в системе незначительны, влияют на исходную производительность тонкими способами и в конечном счёте не имеют отношения к рассматриваемому научному вопросу. Отсутствие необходимости всё это контролировать это абсолютная свобода.

Одно из очевидных преимуществ этой установки заключается в возможности контролировать свои доверительные интервалы на лету. Вы можете решить прекратить эксперимент, убедив себя, что он даёт даже немного отрицательный результат. Часто требуется гораздо меньше данных, чтобы убедиться в этом. Если эксперимент даёт положительный результат отлично! Просто выполняйте его, пока не получите правильные величины ошибок. А если вы измеряете не величину эффекта, а просто значимость, вы также можете остановить эксперимент раньше.

Но что можно сказать о том, чтобы сделать исследование воспроизводимым другими? Вы по-прежнему можете публиковать базовые и экспериментальные модели, а также экспериментальный протокол, а каждый может генерировать собственные данные о своей воспроизводимой системе, чтобы убедиться в достоверности полученных результатов. Напомним, что допущение здесь заключается в том, что использованные данные не могут быть повторно использованы либо потому, что они по своей сути эфемерны, либо не переносятся на любой будущий экземпляр той же исследовательской установки.

Ещё одно ключевое преимущество параллельного тестирования защита от ряда предвзятостей, главная из которых предвзятость экспериментатора: так как вы не можете знать, какая выборка данных в какую ветвь эксперимента направляется, вы не можете обманывать себя, полагая, что один результат лучше другого. Оно также защищает вас от случайной настройки на тестовый набор, так как в оценке присутствует определённый уровень стохастичности.

Ещё одна предвзятость, более характерная для укрепляющего обучения и робототехники, это несовершенные сбросы: если одна ветвь эксперимента заставляет механизм сброса вести себя немного иначе, чем другая, возможны тонкие различия, которые останутся незамеченными. Мы видели, как RL-системы манипулируют своей средой, чтобы получить определённые состояния сброса и, следовательно, повысить свои шансы на успех в последующих эпизодах или даже передать информацию между эпизодами таким образом.

Фактически протоколы параллельных экспериментов часто способны значительно уменьшить или устранить необходимость в сбросах в первую очередь: если ваша система завершает каждый эпизод в допустимой части пространства состояний, так как нет способа узнать, какая ветвь эксперимента привела к этой конкретной конфигурации среды, вы часто можете проводить пожизненные эксперименты без сброса и без предвзятости в отношении ветвей эксперимента.

Одна из главных вещей, от которой вы отказываетесь, это комфорт иметь одну аккуратную пару результатов с базовой точностью и точностью испытаний, которые бы вы записали на бумаге и которые бы ожидал каждый академический рецензент. У каждого эксперимента имеется собственный базовый уровень, который, в свою очередь, имеет собственный доверительный интервал. Ваш абсолютный показатель точности испытаний зависит от дня выполнения измерения, но он всё ещё совершенно надёжен, поскольку каждый раз оценивается статистическая значимость измеренных различий между ветвями.

Тем не менее для рецензентов, принимающих эту реальность, барьер остаётся огромным. Переход от абсолютных, воспроизводимых истин к относительным, статистическим истинам вызывает дискомфорт. Это то, что во многих научных областях, таких как разработка лекарств, сделано по необходимости, но это всё ещё чуждо машинному обучению, где обычно нет необходимости отступать к комфорту автономных оценок. Проблема с этой институциональной аллергической реакцией на эксперименты с реальными системами, сбросившими видимость идеальной воспроизводимости, заключается в том, что в таких областях, как робототехника, реальная производительность на самом деле стала научным сферическим конём в вакууме и что академические практики, которые работают против этих в остальном твёрдых научных протоколов, активно сдерживают нас. Проводить эксперименты в реальном мире трудно, рискованно, а с академическими препонами для такого рода исследований следует бороться на каждом шагу.

Слишком много нашей коллективной энергии в этой области тратится на попытки придумать новые, цельные, совершенные эталонные тесты, которые чрезвычайно трудно построить, в несколько донкихотском стремлении сделать робототехнику более похожей на исследования в области машинного обучения. Конечный результат заключается в том, что, за очень редкими исключениями, большая часть усилий в этом направлении сводится к моделированию эталонных тестов и отказу от реалистичности ради воспроизводимости. У таких усилий всё ещё много достоинств, но они составляют только около половины уравнения, и часто сама цена их создания отвлекает исследователей от реальных научных поисков. Другие пытались определить метаэталонные тесты, обходя проблему воспроизводимости, не определяя задачу или экспериментальный протокол в точности в первую очередь. Как человек, который своевольно относится к протоколам и тщетности чрезмерной специализации проблемы, я думаю, что это позитивное общее направление, даже если оно откладывает обсуждение большей части сложных аспектов фактического исполнения.

Для нас в области машинного обучения и робототехники настало время использовать те простые инструменты, которые делают невоспроизводимые исследования воспроизводимыми и научно обоснованными. Ни один из протоколов, которые я описываю здесь, не является особенно трудным для реализации, но они обещают улучшить реальную науку, упростить её и ускорить. А если вы хотите ускорить свой прогресс в области machine learning или data science приходите учиться к нам, а наши опытные менторы пояснят все сложные моменты, на которые при самообразовании вы бы потратили ценное время.

Узнайте, как прокачаться и в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering

Одним из направлений робототехники стали интеллектуальные игрушки для обучения детей творчеству, основам наук и программированию. Порой такие детские роботы уже обладают элементами искусственного интеллекта (ИИ) и способны самообучаться в процессе общения. Воплотить в жизнь самые оригинальные идеи из детской игровой робототехники помогают небольшим стартапам платформы Кикстартер и Индигого. Из представленных на этих краудфандинговых платформах проектов мы сформировали подборку наиболее востребованных идей, получивших финансирование для дальнейшего развития проекта.

Clicbot обучающий робот-игрушка

Clicbot универсальный программируемый робот-игрушка. Благодаря модульной конструкции робот можно собрать в виде гуманоида, двух и четырех колесной тележки, манипулятора, напоминающего формой и движениями промышленные роботы-автоматы. Имеется 50 предварительно запрограммированных забавных конструкций и множество других вариантов для самостоятельного творчества.

Интерактивный Clicbot способен слушать собеседника и реагировать на его действия. Хотя, он и не предназначен для использования в качестве полностью автономного робота-компаньона, но его поведение может легко программироваться. У Clicbot более 1000 настроек и каждая имеет свои под варианты. Он может ходить, ползать, танцевать, ездить, участвовать в гонках или даже подавать утренний кофе, увлекая детей занятиями по робототехнике и программированию.

Головной блок управления включает акселерометр, гироскоп, датчик расстояния, микрофон, динамик, модуль Wi-Fi. Видеокамера позволяет распознавать лица и образы, команды управления, поддерживает технологию FPV (First-Person View) для телеприсутствия и удаленного наблюдения. Для программирования Clicbot можно использовать графический редактор Google Blockly или язык Python

На платформе Кикстартер ClicBot собрал $903 248 от 1678 спонсоров.
keyirobot.com

Bittle программируемый роботизированный кот

Bittle это игрушечный аналог роботов от Boston Dynamic. Он чем-то напоминает и другого робота-собаку Sony Aibo. Но при этом Bittle продается по цене роботизированной игрушки в виде конструктора для самостоятельной сборки.

Bittle умеет ловко преодолевать препятствия, двигаясь на четырех лапах как настоящие животные. Он может запоминать десятки шаблонных движений, выполнять причудливые трюки по командам с пульта управления. А в случае потери равновесия и опрокидывания робот способен вернуться в исходное положение и продолжить движение к цели.

Bittle создан на основе доработанной платы Arduino, для сложных движений использует различные датчики и внешние устройства. Плата управления включает процессор Atmega328P/16 МГц, 2 КБ памяти SRAM и 32 КБ флэш-памяти. Кроме того есть инерциальный измерительный модуль, блок ШИМ для 12 сервоприводов, инфракрасный приемник и зуммер. Есть 4 разъема для модулей расширения.

Bittle это открытая платформа, позволяющая объединить гаджеты разных производителей в единую систему. Добавить роботу возможности ИИ можно подключением микрокомпьютера Raspberry Pi. Написанная на Python программа может запускаться на Raspberry Pi и других поддерживаемых процессорах, управляя Bittle через проводное или беспроводное соединение.

Для упрощенного программирования есть фреймворк OpenCat. Он определяет минимальную структуру данных и алгоритмы движений для четвероногих роботов. Вы сможете научить Bittle новым навыкам и трюкам, чтобы выигрывать призы в соревнованиях международного сообщества OpenCat.

На развитие проекта Bittle на Индигого было собрано $709 391 от 2505 спонсоров.
petoi.com

MOSS универсальный инструмент для обучения программированию

Комплекты MOSS от компании Modular Robotics это оригинальный конструктор для создания роботов. Разнообразные по назначению, программируемые кубики (Cubelets) легко комбинируются и позволяют собирать сотни разнообразных роботов.

Подбор кубиков в процессе сборки робота имитирует процесс простейшего программирования. Программирование с помощью графического редактора Blockly и MOSS Scratch задает алгоритмы контроля датчиков и управления исполнительными механизмами для движения, поворотов, подачи световых и звуковых сигналов.

Программировать и управлять роботом можно через Bluetooth с помощью смартфона или планшета с клавиатуры или пульта дистанционного управления.

При первоначальной цели на Кикстартер в $100 000 для финансирования проекта удалось собрать $361 293.

modrobotics.com

Makeblock Neuron платформа электронных строительных блоков

Makeblock Neuron это удобная для сборки программируемая платформа с использованием электронных строительных блоков. Более 30 типов блоков в виде кнопок, джойстиков, сенсоров и датчиков звука, освещенности, температуры, влажности и других параметров позволяют создавать множество оригинальных гаджетов.

Для соединения блоков между собой предусмотрены подпружиненные разъемы с магнитами. Помогает при этом интуитивно понятная система программирования. Каждый блок уже имеет предварительно запрограммированную функцию. Программировать новые функции можно в приложении Neuron или в редакторе mBlock 5. Для беспроводной передачи сигналов управления используются технологии Bluetooth и Wi-Fi.

Проект Neuron от китайской компании Makeblock получил на Кикстартер одобрение 1464 спонсоров, вложивших в развитие этой идеи $367 129.

makeblock.com

Thimble: новая электронная игрушка каждый месяц

Электронные наборы компании Thimble предназначены для любознательных детей и взрослых. Они помогают в увлекательной форме изучать основы электроники, робототехники, мехатроники и программного обеспечения. Новые наборы деталей для создания высылаются по подписке ежемесячно.

Среди наборов Thimble представлены комплекты для сборки игровых контроллеров, музыкальных синтезаторов, устройств для Умного дома. Можно заняться сборкой более сложных программируемых роботов на микроконтроллере Arduino с управлением через Wi-Fi.

Для начинающих предназначены более простые наборы: различные световые и музыкальные игрушки, термометры, таймеры, дверные звонки. Приложение Thimble включает пошаговые руководства по сборке и позволяет обмениваться опытом и знаниями с другими сборщиками каждой игрушки.

Для развития проекта Thimble через Кикстартер собрано $295 760 от 1776 заинтересованных заказчиков.

thimble.io

MarsCat домашний робот-кот

Полностью автономный, интерактивный MarsCat идеальный робот-игрушка с программируемыми возможностями. Он может выражать эмоции мяуканьем, движениями тела и глаз. Сделать поведение MarsCat натуральным и выразительным помогают 16 серводвигателей.

Программируемый микроконтроллер ATMega2560 позволяет реализовать 6 программируемых шаблонов поведения, MarsCat может быть восторженным или задумчивым, энергичным или ленивым, общительным или застенчивым.

Моделировать поведение настоящего животного помогают алгоритмы ИИ, реализуемые миникомпьютером Raspberry PI. Приобретенные одним роботом навыки и шаблоны поведения хранятся в отдельном модуле памяти и могут быть легко воспроизведены в другом роботе простой заменой памяти. Программировать поведение робота MarsCat помогает специальный комплект разработчика.

Реализовать проект MarsCat в жизнь помогли 227 спонсоров, вложивших в эту идею через Кикстартер $213 198.

elephantrobotics.com

Робот-автомобиль Zumi

Роботизированный автомобиль Zumi помогает детям изучать основы сложных наук, писать программы с использованием блочного кодирования и языка Python. Более опытные программисты смогут создавать программы для уникальных экспериментов с беспилотными автомобилями, научатся проектировать собственные нейронные сети, чтобы обучить Zumi классифицировать объекты и распознавать лица и жесты людей.

В процессе передвижения по трассе Zumi использует Tensor Flow и Open CV это те же самые программные инструменты, что есть и у настоящих беспилотных автомобилей.

Прототип Zumi был удостоен награды Лучшая инновация в категории Роботы и дроны на выставке CES 2019

Реализовать проект Zumi в жизнь помогли 888 спонсоров, вложивших в эту идею через $150 091

shop.robolink.com

ROYBI портативный робот-компаньон с ИИ

Портативный компаньон на базе ИИ создан для обучения детей иностранным языкам и базовым навыкам точных наук. Интерактивный робот идентифицирует ребенка по лицу, распознает эмоции и демонстрирует дружелюбное поведение для вовлечения детей в процесс обучения. Система распознавания голоса позволяет оценивать точность ответов и произношения.

ROYBI взаимодействует с повсеместно доступной онлайн-платформой для обучения детей и взрослых. Контролировать и оценивать занятия помогают формируемые роботом отчеты с рекомендациями по улучшению процесса обучения.

ROYBI был включен в США по версии CNBC в список 100 наиболее перспективных стартапов в 2019 году.

Запущенный на платформе Индигого проект ROYBI привлек $120 538

roybirobot.com

Заботливый Kiki

Kiki это робот-компаньон для детей и взрослых. Он распознает эмоции и действия собеседника, способен реагировать на них. Робот развивает свои уникальные способности в зависимости от особенностей взаимодействия с окружающим миром, при этом меняется и его поведение.

Высокопроизводительный встроенный процессор позволяет Kiki запускать модели глубокого обучения, чтобы распознавать лицо и адекватно воспринимать реакции собеседника. Несколько сенсорных датчиков в разных частях корпуса помогают воспринимать поглаживания, а всенаправленные микрофоны позволяют искать человека даже вне поля обзора камеры.

Реалистичное поведение этого робота базируется на исследованиях ведущих психологов о личностных особенностях человека. Действия в соответствии с заложенными моделями поведения и обучения обеспечивают некую осмысленность и логичность поступков Kiki.

Самообучающийся робот Kiki собрал на платформе Кикстартер $105 611.

kiki.ai

Smartipresence простой робот телеприсутствия

Конструктор Smartipresence поможет создавать собственных недорогих роботов телеприсутствия на основе любого смартфона.

Запущенное на смартфоне приложение поддерживает режим ИИ и позволяет распознавать образы с помощью облачного сервиса. По команде пользователя Smartipresence в сеансе видеосвязи будет сопровождать человека или даже домашнее животное, чтобы его лучше видел удаленный собеседник. Режим действий Smartipresence задается через приложение на смартфоне. Smartipresence можно визуально программировать в среде Scratch, либо с помощью Espruino на основе языка JavaScript.

Этот проект английского инженера Росса Аткина уже поддержали на Кикстартер 186 спонсоров, собравших для запуска проекта $17329.

В этой подборке мы собрали наиболее интересные и перспективные модели детских роботов-игрушек, включающие технологии телеприсутствия, распознавания речи и голоса, автономность действий и поведения на основе ИИ и машинного обучения, которые еще недавно были доступны лишь взрослым роботам.

Напишите в комментарии, а какие на ваш взгляд наиболее перспективные роботы-игрушки есть на рынке или уже у вас дома?

Компания Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил бы возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира.

Это совпадает с целями международного конкурса $10M ANA Avatar XPRIZE, который был инициирован, чтобы поддержать развитие технологий в этой области. Конкурс стартовал в марте 2018 года и рассчитан на четыре года. В июне 2022 года будут объявлены победители соревнования, которые разделят приз в $10 млн.

Инициаторы конкурса считают, что такие системы позволят объединить мир за счёт создания ощущения присутствия в удалённом от пользователя месте с возможностью совершать физические действия в реальном времени. Это откроет новые возможности для работы, обучения, развлечений и общения, без оглядки на возраст, расстояние, мобильность и физические ограничения пользователей. Также, такие аватары могут пригодиться для помощи в условиях стихийных бедствий или когда необходимо ограничивать физический контакт между людьми, как во время пандемии.

Для выхода в полуфинал $10M ANA Avatar XPRIZE команда Dragon Tree Labs создала робота Джонни

Для выхода в полуфинал команда Dragon Tree Labs создала робота Джонни, который прошёл соответствие всем требованиям. На данный момент это единственная российская команда, которая продолжает бороться за победу и главный приз.

Оператор может управлять Джонни дистанционно, наблюдая за происходящим вокруг робота через VR-очки. Аватар оснащён колёсами и может свободно передвигаться по помещению, позволяет взаимодействовать с объектами посредством манипулятора. На данном этапе у робота одна активная рука, которой можно управлять, в будущем появится вторая. Аватар оснащён системой распознавания объектов для помощи оператору в захвате предметов.

Для выполнения конкурсного задания необходимо было продемонстрировать способность управлять движением аватара, роботизированной рукой для выполнения задачи из реального мира, а также требовалось наличие "тревожной кнопки" для экстренного отключения машины. Все эти способности команда Dragon Tree Labs показала на конкурсном видео.

Робот Джонни результат интеграции нескольких прорывных технологий, в том числе инновационного компьютерного вычислителя для одновременного запуска нескольких нейронных сетей, который был создан специально для мобильных роботов командой Fast Sense. Именно благодаря этому компоненту, Джонни может одновременно выполнять несколько задач с задействованием ML-алгоритмов параллельно. Также, исследователи из МФТИ участвовали в реализации тестового сценария управления манипулятором.

На данный момент робот обладает рядом ограничений, которые объединённая команда Dragon Tree Labs планирует устранить в будущем для повышения шансов на победу, в том числе за счёт привлечения новых участников в проект. В следующей модификации Аватар Джонни обзаведётся второй управляемой рукой, разными типами хватов, научится распознавать другие объекты, помимо бумажных стаканчиков. Также команде необходимо будет обеспечить быструю передачу сигналов для управления устройством из любого места земного шара через интернет. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Для работы над этой частью задачи команда стремится привлечь дополнительных участников и приглашает на оплачиваемую стажировку на лето 2021 года. Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

"Мы считаем, что такие аватары следующий эволюционный уровень развития телекоммуникаций и человеческого взаимодействия. Когда-то мы отправляли письма почтой, затем начали звонить по домашним телефонам, то есть в коммуникации включилась ещё одна система органов чувств. Интернет позволил обмениваться идеями и переживаниями моментально, а не ждать письма месяцами. Теперь у нас есть возможность видеть друг друга во время звонка и общаться в любое время в любом месте так, как если бы мы физически находились рядом. Технологии VR делают этот опыт ещё более реальным для восприятия. Следующий шаг возможность физического контакта на расстоянии. Именно для этого нужен мобильный робот-аватар, оснащённый манипуляторами, которыми можно управлять дистанционно. Даже простая возможность передвинуть предмет, скажем, шахматную фигуру на доске, за которой сидит соперник или ваш сын на другом континенте, создаёт ощущение физического присутствия на месте событий, создавая единый контекст. Возможность обнять бабушку, к которой нельзя приехать, ощущается через аватар практически реальной".

Цель

Для управления беспилотными объектами, типа коптер или самолётика, обычно используются узкополосные низкоскоростные модемы. Для передачи телеметрии и неспешных команд управления, вроде задания полётных точек по быстродействию этого вполне достаточно. В этих целях важнее, скорее, обеспечить бесперебойность канала управления, нежели гнаться за быстродействием, которое может измеряться секундами.

Типовым решением в данной области является использование всенаправленной антенны с интегрированного приёмопередатчика, типа sx1233, AX5043, на борту, и антенны с высоким коэффициентом усиления (КУ), типа волновой канал или клевер, на земле.

Пока есть прямая видимость все должно быть хорошо.

Но, как известно, не только земля не плоская, но и прямая видимость с достаточным бюджетом мощности ещё не гарантирует успешной связи. А виной тому, зачастую, бывают помехи.

Когда борт пролетает мимо мощного источника радиоизлучения с совпадающей частотой канала то на бортовую антенну оказывается воздействие, существенно превышающее сигнал от удалённого передатчика, и отфильтроваться полосовым фильтром оказывается невозможно.

В данной ситуации красивым решением выглядит изменение диаграммы направленности бортовой антенны таким образом, чтоб источник помехи оказался в её минимуме. Именно во столько раз и будет ослаблен паразитный сигнал, хотя и связь в канале управления тоже может ослабнуть.

ДН можно вращать механически типа поворотного основания, но это неудобно для борта конструктивно и много весит. Гораздо интереснее попробовать электронное вращение ДН: подключить несколько антенных элементов через управляемый фазовращатель и максимально ослабить помеху противофазным их включением.

Вот это и попробуем.

Средства

В качестве антенны возьмём четыре (потому что больше трех) четвертьволновых (т.к. самое простое) штыря и разместим их на металлической пластине, по углам квадрата со стороной четверть длины волны.

Фазовращение осуществим в лоб, на AD8340. Полученные из каналов сигналы суммируем в один и отправляем на вход уже имеющегося приёмника, развёртку ДН осуществим микроконтроллером по максимуму отношения сигнал/шум (с/ш, SNR).

Алгоритм простейший: поворачиваем максимум ДН до тех пор, пока лучше становиться, если перебор крутим в обратную сторону. Поскольку передача данных идут в пакетном режиме, то поворот делаем после каждого пакета, чтоб переходными процессами чего не испортить.

Расчёт фаз для суммирования каналов проведём на основании простейшей тригонометрии: по каждому из заданных направлений радиоволны должны распространяться синфазно. Т.е. фаза это проекция точки установки штыря на вектор направления луча.

Хинт: если из всех фаз вычесть одну их них то этот канал можно не управлять:)

Проверка

То, что четыре канала приёма заведомо лучше одного фактом является очевидным. Это даёт, как минимум, разнесение антенн в пространстве (antenna diversity) и дополнительное усиление сигнала. Гораздо интереснее, получится ли режектировать точечный источник помехи.

Для начала задаём в ДН одно направление и снимаем по всем углам КУ полученной фиксированной антенны тихой комнате.

Как видно, что-то кривенькое получилось.

Попробуем теперь полетать с помехопоставителем. В этом качестве возьмём какой-нибудь передатчик, чтоб можно было в нем задать частоту, полосу и мощность. Подадим все это на сильно направленную антенну и будем пересекать полученный луч на разных расстояниях.

Результаты

Если кратко то режекция одиночно источника помехи удалась.

Если более детально то немного не так, как ожидалось.

Предполагалось, что ДН будет иметь классический внешний вид с диаметральными минимум и максимумом. На само деле получилась достаточно кривая ДН, с паразитными минимумами. Благодаря простейшему алгоритму наведения они, рано или поздно, совпадали с помехой и существенно ослабляли её. В этот момент начиналось успешное прокидывание пакетов с данными, пока сама антенна на БЛА сравнительно медленно механически не отворачивалась (ветер, смена курса..). Если процессы наведения происходят достаточно быстро (несколько раз в секунду), то для оператора создаётся ощущение устойчивой связи с объектом.

Так же оказалось, что просто антенна это только часть большой системы из кабелей, разъёмов, элементов конструкции и погоды на марсе. Реальные ДН каждый раз получались разные, но обязательно с острыми минимумами. Но благодаря простоте алгоритма даже в таком виде это успешно работало.

Выводы

Для попробовать полученного дорогого, энергозатратного, тяжёлого и плохо воспроизводимого решения вполне достаточно. Но надо прикинуть, что в этом направлении можно сделать дальше.

Самым очевидным решением является реализация модема и фазовращателя с антеннами в виде отдельного изделия. Если в самом деле есть проблемы с помехами то идём на все эти жертвы. А если в глухой тайге полетать надо, то можно и со штырём управиться. К тому же весь этот агрегат, собранный на одной плате вместе с подложкой штырей, имеет шанс получить воспроизводимую ДН.

Так же на будущее можно подумать о замене прямого решения с микросхемами фазовращения, на изменение структуры приёмника, чтобы суммировать сигналы на промежуточной частоте. Формирование множества сдвинутых по фазе опор является стандартной задачей для современного high speed design, сами структуры гетеродинных и инфрадинных приёмников давно уже обкатаны, и более сложное по числу элементов решение может оказаться дешевле по элементной базе и энергопотреблению.

Ну и в качестве высшего пилотажа уже можно начать бороться с несколькими вредителями сразу. Для этого надо увеличивать число управляемых элементов и формировать ДН с несколькими контролируемыми вырезами, что даёт подавление нескольких источников шума по разным направлениям.

В полуфинал $10M ANA Avatar XPRIZE прошли 38 команд из 16 стран мира, в том числе одна команда из России. В сентябре 2021 команды продемонстрируют возможности своих систем на отборочных тестах в США. Лучшие команды пройдут в финал, намеченный на лето 2022 года. Призовой фонд конкурса $10M ANA Avatar XPRIZE составляет 10 млн. долларов.

$10M ANA Avatar XPRIZE - четырехлетнее международное соревнование, которое стартовало в 2018 году. Цель соревнования - разработка, совершенствование и ускоренное внедрение перспективных технологий в систему многофункциональных аватаров, которая позволит беспрепятственно переносить человеческие навыки и опыт в любую точку пространства будь то планета Земля или лунная станция. Робот-аватар позволит удаленному оператору видеть, слышать и действовать так, словно он находится на месте событий.

38 Teams from 16 countries expanding our potential

Большинство команд это компании, работающие в сфере робототехники, VR/AR. Команды объединяются, создают коллаборации для расширения экспертизы и привлекают партнеров.

Например, команда i-Botics (Нидерланды) имеет в составе 6 компаний с компетенциями для решения узких задач в создании робота-аватара: сенсоры, человекоподобные роботы, технологии передачи обратной связи оператору, социальные роботы и др.

Другой пример организации команды, японская команда GITAI, специализируется на разработке роботов для индустриального применения. Эта команда пришла на конкурс с глубокой экспертизой и прототипом высокого уровня готовности. Аватар GITAI управляется оператором из специально оборудованного кресла управления, способен передвигаться и выполнять непростые механические манипуляции. В своем демо GITAI говорит о применении создаваемого аватара для работы на Международной космической станции в 2022-23 гг.

В конкурсе также принимают участие академические команды, например: команда SantAnna (Италия) включает в себя профессорский состав, студентов-магистров, бакалавров и аспирантов. Команда Northeastern Северо-Восточный университет (Northeastern University, Бостон, США) сформировала рабочие группы по направлениям: VR, удаленное управление, сенсорика и др, которыми управляют студенты старшего звена. Помимо классической научной работы, они получают реальный опыт, где важна не только глубокая научная экспертиза, но и навыки управления и организации команд.

В списке полуфиналистов 38 квалифицированных команд из 16 стран мира. Наибольшее количество команд из США - 10, на втором месте Япония - 8 команд, Россию в полуфинале представляет 1 команда - Dragon Tree Labs.

Для желающих присоединится к команде Dragon Tree Labs и отправится на отборочные тесты для выхода в финал в Майами с нами открыт прием заявок на стажировку. Подробности на сайте по ссылке Dragon Tree Labs

В этом обзоре, мы собрали информацию, которая находится в открытом доступе на сайтах команд. Обзор получился довольно объемный и информация о части команд будет опубликована в следующей статье. Подписывайтесь на блог и не пропустите, следующий выпуск.

Итак, предлагаем подробнее ознакомится с участниками соревнования $10M ANA Avatar XPRIZE.

#1 Aham - Индия

Команда Aham коллаборация Индийского Научного Института в г. Бангалор, технопарка ARTPARK и компаний TCS Research и Hanson Robotics.

Hanson Robotics уже более двух десятилетий создают человекоподобных роботов, всем известны Sophia, Han, Little Sophia, Zeno, Professor Einstein. Объединенная команда Aham создает робота Ашу (Asha). Этот гуманоидный робот - двойник робота Софии, специально создан для НИОКР в рамках участия в $10M ANA Avatar XPRIZE. Телеуправляемый робот-медсестра Аша разговаривает женским голосом и выражает эмоции, ее лицо выглядит как у реального человека. Оно сделано из запатентованного материала Frubber - нанотехнологическая кожа, имитирующая мускулатуру лица и кожу человека. Во время разговора робот двигает губами, моргает и жестикулирует.

Представьте себе уход за пациентом, инфицированным COVID. Медсестра-человек рискует заразиться и боится быть инфицированной, в то время как робот без рисков может выполнять задачу, ранее выполняемую медицинским работником. Робот становится продолжением медсестры - Аша не заменит медсестру-человека, скорее будет ее помощником в заботе о пациентах. Аша способна выражать такие эмоции, как смех, улыбка, а также беспокойство, что позволяет пациентам чувствовать себя комфортно, разговаривая с роботом, и думая о нем не как о машине, а как о друге.

Каждый участник в команде Aham вносит существенный вклад в текущее программное и аппаратное обеспечение, создавая удобную для исследования имитационную модель управления роботом и улучшая возможности взаимодействия робота и человека. TCS фокусируется на интеграции туловища Аши со своей AGV платформой для придания мобильности роботу, а также создает интеграцию с различными симуляторами и инструментами визуализации. Исследователи Индийского Научного Института, специализирующиеся на машинном обучении, системах автономного полета дронов и автономных автомобилях, поддерживающих 5-G, фокусируются на телеуправлении и телевзаимодействии робота с людьми.

Совместно команда планирует достичь высокого уровня полуавтономсти, что сделает робота больше, чем просто аватаром и добавит встроенный интеллект. Для оператора робота полуавтономность снижает когнитивную нагрузку сложных интерфейсов, сократит время реакции и добавит еще один уровень безопасности в рабочей среде, поможет решить проблемы слепых зон.

#2 Avatar Quest, США

Команда Avatar Quest состоит из учеников старших классов школы Valley Christian Schools (VCS), г. Сан-Хосе, США. Мы разрабатываем робот телеприсутствия в эпоху, когда все существуют в телеприсутсивии. Это новая зарождающаяся культура поведения людей, где любые вещи можно делать не выходя из дома, потому что это намного безопаснее и эффективнее.

Такой образ жизни мы хотим создать с помощью разрабатываемых технологий - говорит ученик 12 класса Алекс Лопес. Команда Avatar Quest - это уже вторая команда из школы VCS, которая выходит в полуфинал соревнований XPRIZE. Ранее команда Ocean Quest стала самой молодой командой, когда-либо участвовавшей в полуфинале $7M Shell Ocean Discovery XPRIZE. В этом соревновании ребята взяли призовой раунд NOAA Bonus. Но на этом амбиции школы не заканчиваются - третья группа студентов также работает над улучшением экосистемы тропических лесов в рамках $10M XPRIZE Rainforest.

#3 AVATRINA - США

Команда AVATRINA разрабатывает аватар под названием TRINA. TRINA - это робот с продвинутым уровнем телеприсутствия, который умеет видеть, слышать, перемещаться и взаимодействовать с удаленной средой. Оператор управляет роботом, используя стандартную систему виртуальной реальности, а также с помощью встроенных контроллеров и тактильных перчаток.

На данный момент робот TRINA представляет собой подобную торсу человека установку на мобильной платформе и состоит из следующих компонентов:

• голова робота в виде экрана с изображением человеческого лица с динамиком и камерой (угол вращения 360 градусов);

• камеры глубины (RGBD-камеры), установленные на руках робота и камера глубины на груди робота

• сменные концевые устройства для взаимодействия с предметами в качестве кистей руки (swappable end effectors)

• UR5e рука с возможностью осевого движения (flexible collaborative robot arm)

Планируется добавить: тактильные ощущения руки робота в сочетании с VR, контроллеры в сочетании с VR, возможность управления через мобильное устройство. Компоненты разрабатываемого робота TRINA: 1) газодетектор и стереомикрофон на груди робота, 2) полностью анимированная голографическая голова, 3) сенсоры распределенные по поверхности торса и рук робота, 4) маневренные тактильные манипуляции рук и встроенные в руки камеры

В своем демо команда AVATRINA имитирует прием в клинике, во время которого аватар-доктор выполняет первичный осмотр пациента, сидящего в инвалидном кресле. На видео робот TRINA демонстрирует свои возможности: отслеживание положения головы, стереозрение, манипуляции, выполняемые руками робота, бимануальные манипуляции, безопасное управление механическим импедансом (safe impedance control), возможности навигации и сэйфти фичи.

#4 Cyberselves, Великобритания

"Let the robot be your surrogate self" - Команда Cyberselves разрабатывает софт телепресутвия Teleport, позволяющий управлять роботом из любой точки мира интуитивным и иммерсионным способом. Teleport App - приложение для робототехники, использующее универсальный язык Animus, end-to-end инструмент для программирования роботов, разработанный командой Cyberselves. Софт команды используется другой командой Roboy, также вышедшей в полуфинал $ 10M ANA Avatar XPRIZE.

Используя Teleport App и VR гарнитуру возможно перенестись в теле робота в любую точку мира - телепорт позволяет видеть то, что видит робот; слышать то, что слышит робот; чувствовать то, что чувствует робот, и перемещаться в его теле.

Команда получила грант 100k от UK's Sustainable Innovation Fund для использования своего опыта в сфере роботов телепресутвия для поддержки ключевых секторов экономики пострадавших от COVID-19: рынок недвижимости, выставочная индустрия и удаленное здравоохранение.

#5 Human Fusions - CША

Команда Human Fusions объединяет исследователей из 5 университетов США: Университет Кейс Вестерн Резер (Case Western Reserve University), Калифорнийский университет в Лос-Анджелесе (UCLA), Государственный университет в Кливленде (Cleveland State University), Университет Карнеги Меллон (Carnegie Mellon University), Вайомингский университет (University of Wyoming). Команда Human Fusions создает медицинский аватар Sensa. Первый прототип аватара сфокусирован на предоставлении оператору дополненного опыта удаленного управления роботом с тактильными ощущениями, визуальной и голосовой обратной связью. В аватаре используются следующие компоненты:

• Робо-платформа Stretch (Hello Robot)

• Манипулятор MIT GelSight с тактильными датчиками (UCLA)

• Сенсорная перчатка NeuroReality (CWRU)

• Oculus headset (Facebook)

Основной технологией, обеспечивающей связь с аватаром Human Fusions, является платформа NeuroRealityTM, а уникальной сильной стороной команды - это нейронный подход к получению сенсорной информации, чтобы обеспечить дополненный опыт через платформу NeuroReality. Интерфейс платформы создан для работы с различными другими роботизированными системами и команда открыта делиться экспертизой и сотрудничать с другими командами.

#6 ENZO AVATAR - Колумбия

Человекоподобный робот ENZO с 23 DOF и телеуправлением

#7 Dragon Tree Labs - Россия

Команда Dragon Tree Labs - единственная российская команда, которая продолжает бороться за победу и главный приз.

Нашего робота зовут Джони, он управляется дистанционно, а оператор наблюдает за происходящим через VR-очки. Робот-аватар оснащён колёсами и может свободно передвигаться по помещению. Для одновременного запуска нескольких нейронных сетей и параллельного выполнения задач с задействованием ML-алгоритмов на роботе установлен бортовой Edge AI компьютер, разработанный стартапом Fast Sense. На данном этапе у робота одна активная рука, которой можно управлять, а в будущем появится вторая. Аватар оснащен системой распознавания объектов для помощи оператору в захвате предметов. На данный момент робот обладает рядом ограничений, которые команда Dragon Tree Labs планирует устранить для повышения шансов на победу, в том числе за счет привлечения новых участников в проект.

До полуфинальных тестов в сентябре 2021, которые пройдут в США аватар обзаведется второй управляемой рукой, разными типами хватов, научится распознавать больше объектов. Также команда стремится обеспечить быструю передачу сигналов для управления роботом из любого точки мира. Важный аспект для дальнейшей проработки то, как аватар обеспечивает иммерсивность, передаёт ощущение присутствия и полноту обратной связи от объектов.

Если вам интересно присоединиться к нашей команде и помочь с апгрейдом аватара Джонни, пишите нам на почту hello@dtlabs.tech или заполните анкету на сайте

#8 I-BOTICS - Нидерланды

Команда I-BOTICS разработала антропоморфного робота, его высота робота 184 см и вес 89 кг. Движения робота соответствуют кинематике человека. Он может балансировать, наклоняясь или работая в сидячем положении, а также сохранит баланс при ударе или столкновении. Однако, передвигаться по неровной поверхности робот не может, так как установлен на колесной базе и есть проблема с динамической балансировкой.

Оператор управляет роботом, находясь в специальной кабине с экранами для управления роботом. Присутствуют элементы экзоскелета. Оператор видит глазами робота через встроенную камеру в голове робота. Используется VR-перчатка для того, чтобы получать обратную связь с кисти робота. Робот безопасен при прикосновении к человеку. При этом рука робота способна поднимать груз весом 8 кг на руку. Таким образом, в будущем робот сможет ухаживать за пациентами, помогая им встать с постели.

В своем демо видео команда демонстрирует как оператор с помощью робота-аватара помогает шеф-повару в Норвегии, находясь на расстоянии более 850 км в Нидерландах.

#9 INBIODROID - Мексика

Команда INBIODROID разрабатывает робот-аватар Prometheus для выполнения спасательных работ при ликвидации последствий в зоне чрезвычайных происшествий.

#10 Pollen Robotics - Франция

Pollen Robotics - команда стартапа, основанного в 2016 году двумя робототехниками из известного во Франции исследовательского центра Inria. Среди прошедших в полуфинал это одна из самых маленьких команд. Штат Pollen Robotics - это всего шесть человек, увлеченных претворением в жизнь своих идей и замыслов. С другой стороны это полностью открытая команда, призывающая к сотрудничеству единомышленников.

На сайте стартапа пока не отображен ход работы над проектом аватара для $10M ANA Avatar XPRIZE. Зато Pollen Robotics щедро делится своими знаниями и наработками по предыдущим реализованным проектам. Все они являются открытыми (open source), как и стартап.

В активе команды имеется открытая роботизированная платформа с интерактивным гуманоидным роботом Reachy, который очевидно и является прообразом аватара для $10M ANA Avatar XPRIZE. На сайте https://github.com/pollen-robotics выложена документация по отдельным компонентам Reachy.

Pollen Robotics стремится делиться своими знаниями и совместно решать возникающие на пути прогресса проблемы, вместо желания монополизировать полученные результаты исследований. В Pollen Robotics мы стремимся способствовать обмену знаниями в сообществе, чтобы помочь в реализации революции ИИ. Мы считаем, что вместо того, чтобы пытаться монополизировать какую-то проблему, мы должны совместно работать над ее решением, которое принесет всем пользу.

#11 proRobot - Чехия

Робота Fimbot создает команда proRobot из чешского университета в городе Градец-Кралове. Свое название робот получил по первым буквам факультета Информатики и управления (FIM - Faculty of Informatics and Management). Команда разработчиков состоит из студентов старших курсов и преподавателей этого университета.

Роботизированный аватар Fimbot должен отличаться простым и удобным управлением через костюм виртуальной реальности. Новейшие стандарты безопасности и шифрования призваны обеспечить надежность эксплуатации робота. Базовая модель Fimbot должна стать прототипом для специализированных аватаров, которые в будущем найдут применение в промышленности, здравоохранении, в аварийно-спасательных службах.

За основу 3D печатной конструкции Fimbot взят известный гуманоидный робот InMoov, созданный французом Гаэлем Ланжевеном. Отдельные конструктивные элементы робота создаются методом 3D печати из биоразлагаемого материала PLA (polylactic acid) это полимер молочной кислоты.

Пластиковая конструкция гуманоидного робота будет дополнена сенсорными датчиками, обеспечивающими в режиме реального времени обратную связь робота с человеком-оператором. Для успешной работы системы человек робот придется добавить скоростную систему телекоммуникации с использованием технологии Wi-Fi.

У проекта Fimbot пока один спонсор, но зато это компания Skoda Auto.

Видео комапнии можно посмотреть на странице в FB

#12 Rezilient - США

Компания Rezilient из США представляет в полуфинальном конкурсном отборе ANA Avatar XPRIZE проект Rezilient Health. Компания занимается оказанием медицинских услуг, отличающихся инновационным характером в организационном и технологическом плане. Роботизированная телемедицина одно из перспективных направлений в деятельности Rezilient.

Проводимые компанией из США инновационные разработки в области робототехники и удаленных коммуникаций позволят обеспечить клиентам полную доступность медицинских услуг в любое время и в любом месте. Создание аватара Rezilient Health позволит компании обеспечить внедрение новых, повсеместно доступных сервисов здравоохранения, включая телемедицину с использованием роботизированной техники, расширит возможности медперсонала по обслуживанию клиентов.

#13 Robot Guru

Проект Robot Guru реализуется на платформе уже готового продукта HoloSuit, куда входят куртка, брюки и перчатки, оснащенные набором датчиков и системой двусторонней беспроводной связи (Wi-Fi и Bluetooth LE) с программным обеспечением на базе Windows, iOS, Android. Встроенные датчики позволяют контролировать все движения человека.

Основанная в 2016 году компания сегодня предлагает свою разработку под названием Holosuit для применения в медицине, робототехнике, промышленности, образовании, спорте и играх.

В стандартный комплект HoloSuit четырех размеров для взрослого человека входят:

• 23 встроенных датчика и 9 устройств тактильной обратной связи, распределенных по обеим рукам и ногам, встроенные кнопки на двух пальцах.

• Holosuit может подключаться через Bluetooth, Wi-Fi и USB.

• 6 датчиков движения на куртке.

• 5 датчиков движения на брюках.

• 12 датчиков движения на перчатках (по 6 на каждой перчатке).

• 9 сенсоров с обратной связью (4 на куртке, 3 на брюках, по 1 на каждой перчатке).

• 8 кнопок управления (4 на куртке и по 2 на каждой перчатке).

По заказу комплекты HoloSuit комплектуются лицензионным программным обеспечением. Компания HoloSuit обладает большим опытом исследований и разработки аппаратного/программного обеспечения, имеет более 37 патентов, выданных в США, ЕС, Китае, Корее.

#14 Synapse - Япония

Команда Synapse объединяет четыре экспертные группы, сформированные на базе известных компаний NTT Communications, Tokyo Robotics, XELA Robotics и университета Васэда. NTT Communications известная во всем мире телекоммуникационная компания. Основанная в 2015 году Tokyo Robotics занимается роботизацией складских и офисных помещений, ферм и даже домов. В компании XELA Robotics занимаются исследованиями и проектированием надежных и безопасных захватов и манипуляторов для роботизированных систем. Группа из престижного университета Васэда в г. Токио занимается созданием эффективных тактильных датчиков.

Команда Synapse уже имеет в своем активе гуманоидного робота общего назначения под названием TOROBO. На очереди создание робота AVATAR, который будет обеспечивать функции телеприсутствия. Каждая группа команды объединяет квалифицированных специалистов в своих областях: телекоммуникации, робототехника, удаленное управление и тактильные датчики. Демо видео - можно посмотреть по ссылке

Видео Tokyo Robotics, которое поможет представить будущее сервисных услуг с использованием телеуправляемого человекоподобного робота.

#15 SNU - Южная Корея

Команда SNU представляет Сеульский национальный университет (SNU). Основа команды студенты из пяти лабораторий университета и преподаватели, занимающиеся проектированием гуманоидных роботов. Среди них есть специалисты в области управления с использованием тактильных ощущений, разработки мягких сенсорных материалов. Интеграцией всей системы руководит профессор Пак Джэ Хын.

Аватар SNU включает три составляющие: систему управления, интерфейса и удаленно управляемый гуманоидный робот. Система управления состоит из видеошлема и перчаток для оператора. В видеошлем интегрированы дисплей, микрофон и система распознавания движений головы и речи. На дисплее виртуальной реальности отображается изображение с двух камер, которые установлены на голове гуманоидного робота и перемещаются вверх-вниз, вправо-влево при движениях головы оператора. Система распознавания речи оператора позволяет имитировать его эмоции матрицей из светодиодов на лице робота.

Система интерфейса обеспечивает передачу команд роботу и ответный поток данных с сенсорных датчиков гуманоида. На руках у оператора перчатки с датчиками для передачи движений рук и пальцев. Перчатки робота оснащены мягкими сенсорами для передачи в перчатки оператора тактильных ощущений.

#16 UNIST - Южная Корея

Второй южнокорейской командой, прошедшей в полуфинал ANA Avatar XPRIZE стала команда Национального института науки и технологий (UNIST) из г. Ульсан. В команде представлены студенты и аспиранты из лаборатории BiRC (Биоробототехника и управление) под руководством профессора и научного сотрудника с докторской степенью.

Команда пока не раскрывает деталей создаваемого Аватара. Но на сайте лаборатории представлены результаты многочисленных исследований в области мягкой и био робототехники, виртуальной реальности и удаленного управления.

В группе Мягких компонентов исследуют материалы для датчиков, которые помогут в создании захватов для аватара и перчаток с тактильными сенсорами для оператора

В группе Био робототехники занимаются созданием шагающих и летающих роботов. В группе Телеуправления разрабатывают алгоритмы удаленного управления роботами и аватарами с помощью жестов и движений туловищем оператора. В группе Виртуальной реальности исследуют надеваемый на руку тактильный интерфейс для точного отслеживания положения и интерактивного контроля усилия отдельных пальцев.

#17 Telexistence - Япония

Основанная в 2017 году японская компания Telexistence, занимается проектированием, производством и эксплуатацией удаленно управляемых роботов. Концепция виртуального присутствия в любом удаленном месте была предложена еще в 1980 году доктором Сусуму Тати, почетным профессором Токийского университета и президентом компании Telexistence.

Ключевые особенности технологии Telexistence:

• Расширенные интерфейсные возможности подключения через стандартный проводной или беспроводной интернет.

• Незначительная задержка при передаче сигналов управления.

• Гибридная интеллектуальная система управления.

• Уникальная механическая конструкция робота.

• Оптимизированный дизайн виртуальной реальности.

В 2018 году Telexistence анонсировала серийный прототип удаленно управляемого робота MODEL H, в котором используются технологии дистанционного управления, виртуальной реальности и тактильных ощущений. Ориентированная в первую очередь на коммерческое применение MODEL H отличается простотой и долговечностью использования, сокращенным временем загрузки и запуска, имеет собственную облачную инфраструктуру с доступом через проводной и мобильный Интернет.

В июле 2020 года компания объявила о разработке модели T, в которой применяется для розничной торговли технология AWP (Augmented Workforce Platform), предполагающая использование гуманоидных роботов манипуляторов с управлением от удаленного оператора. Рука робота обеспечивает точную и быструю укладку товаров различной формы. Модель T обеспечивает повышенную точность удаленных манипуляций и минимизированную задержку управляющих сигналов при плотном трафике в телекоммуникационной среде.

#18 Touchlab - Великобритания

Команда сформирована на базе компании Touchlab из шотландского г. Эдинбург и занимается исследованиями в области роботехники. Одно из основных направлений деятельности компании разработка и производство электронной кожи eDermis с встраиваемыми в нее сенсорными датчиками.

Технология eDermis использует принцип туннельного эффекта для пьезорезистивного измерения прикосновения, усилия и положения. Гибкий пакет из металлических и полимерных пленок толщиной в 2 человеческих волоса легко настраивается по размеру, форме и количеству областей тактильного восприятия. Выходной сигнал eDermis снимается с 4 контактов. Прочный материал eDermis тоньше человеческой кожи и может использоваться для покрытия любых мягких и твердых поверхностей.

Последний вариант запатентованной технологии электронной кожи способен обнаруживать силу и направление воздействия в трех осях. Датчики eDermis будут дополнены программным обеспечением с использованием технологий глубокого обучения, что позволит роботам идентифицировать объекты и текстурированные поверхности на ощупь, обнаруживать и компенсировать проскальзывание при захвате предметов, измерять усилие нагрузки на опору. Такие датчики находятся в стадии интенсивной разработки, эксклюзивный доступ к ним предоставляется ограниченному числу клиентов.

Команда Touchlab заявляет. "Наш Аватар позволит оператору полноценно видеть и чувствовать на удалении, а также обеспечит другие способности, превосходящие человеческие возможности, такие как обнаружение дыма, вредных газов, излучения, инфракрасное зрение, ориентацию в пространстве. Улучшенное сенсорное восприятие позволит выполнять сложные задачи в опасных условиях гораздо эффективнее, чем это может сделать человек."

#19 Virtual Sapiens - Индия

Команда Virtual Sapiens объединила усилия и наработки трех коллективов в области систем виртуальной реальности, робототехники и передачи тактильных ощущений.

PropVR является удобной платформой для интерактивной 3D визуализации чертежей и изображений. Эта платформа, созданная на основе технологий искусственного интеллекта (AI), виртуальной и дополненной реальности (VR/AR), идеально подходит для создания систем удаленного телеприсутствия. Компания уже предлагает варианты использования своей платформы для виртуального присутствия в медицине, торговле и электронной коммерции, при продаже недвижимости, в туристическом бизнесе.

Компания Vicara занимается исследованиями в области технологий виртуальной реальности, которые позволяют управлять с помощью жестов оператора роботом, дронами, игровыми и другими виртуальными объектами. Компания имеет два продаваемых устройства удаленного управления, способных отслеживать малейшие движения кистей рук и пальцев (менее 1 мм). Задержка сигнала управления менее 10 мс. Устройства поддерживают Bluetooth Low Energy 5.0. По замыслу Virtual Sapiens контроллеры Vicara позволят успешно взаимодействовать с удаленным аватаром через каналы связи.

Компания Invent Robotics разрабатывает и продает роботов Mitra, которые способны автономно перемещаться в пространстве, распознавать людей по лицу и поддерживать с ними беседу. Компания позиционирует их в качестве роботов для приема гостей в различных учреждениях и для обслуживания посетителей в кафе и ресторанах. Заложенные в Mitra потенциальные возможности создания новых интерфейсов позволят Virtual Sapiens использовать этого робота в качестве аватара.

#20 GITAI - Япония

Команд GITAI разрабатывает робот-аватар для космической миссии на МКС при поддержке Японского космического агентства. В начале 2021 года в рамках Раунда В стартап GITAI получил инвестиции в размере 1.8 млрд йен (~16,5 млн. долл).

На конкурс $10M ANA Avatar XPRIZE представлен робот-аватар в виде верхней части тела человека (планируется добавить еще 2 руки) на мобильной колесной платформе. Робот способен производить манипуляции с мелкими предметы, открывать застежку-молнию, захватывать очень тонкие предметы.

На руках 2 датчика с опцией осевого вращения в кистях и руках (3 оси вращения на кончиках пальцев). Тактильные ощущения передаются оператору. Оператор управляет роботом при помощи специальной установки, а информацию об окружающей среде робота получает через глаза робота в свои VR очки и в наушники. Перемещением робота оператор управляет педалями.

В настоящий момент проходят процедуры тестов с NASA и эксперименты для работе робота на МКС. Эксперименты в космосе планируются на 2022-23 гг.

В этом обзоре мы разобрали только 20 полуфиналистов соревнования $10M ANA Avatar XPRIZE, и совсем скоро расскажем об оставшихся 28 командах. Подписывайтесь на наш блог, чтобы не пропустить выход статьи.

Представленные команды демонстрируют, что новое будущее, в котором роботы войдут в нашу повседневную жизнь, это не абстрактное будущее, а совсем уже близкая реальность. Команды объединяют усилия, собирают вокруг себя исследователей из топовых институтов, лабораторий, аккумулируют опыт коммерческих компаний, стартапов и индивидуальных робототехников для достижения общей цели - приблизить новое будущее.

Мы в Dragon Tree Labs также убеждены, что для совершения прорыва нужны коллаборации, совместные тесты и разработки. Это позволит быстрее дать миру принципиально новую платформу и отыскать значимые коммерческие применения систем, которые облегчат жизнь человека.

Наша команда Dragon Tree Labs объединяет индивидуальных разработчиков и команды робототехников для общей цели создать робота-аватара, который стал бы продолжением человека, который им управляет, расширил возможности телеприсутствия и дистанционного физического взаимодействия с объектами реального мира. Мы приглашаем к диалогу университеты и рисерч лабы, которым интересен этот проект. А для студентов открыта оплачиваемая стажировка на лето 2021 года.Подробности о стажировке на сайте Dragon Tree Labs

В разрабатываемом аватаре важно учесть социальный аспект общения робота и человека, это огромная новая область исследований психологии и социологии. Мы будем рады сотрудничеству с экспертами в этой области исследований.

Все, кто хотят присоединиться к проекту, могут писать на hello@dtlabs.tech

Участие в соревновании $10M ANA Avatar XPRIZE для нас это возможность открыть горизонты для всех участников нашей команды, которые по отдельности могут многое, но вместе могут совершить невозможное.

Будущее здесь безо всяких преувеличений. В нашей публикации Третий глаз для незрячих рассказывалось о том, как можно облегчить жизнь незрячим людям при помощи нескольких ультразвуковых сенсоров. Сегодня рассказываем о кибернетической руке на основе глубокого обучения, точность вычислений которой составляет более 95 %. Также в статье есть впечатления смельчака, решившегося опробовать технологию на себе. Именно его вы видите на КДПВ.

На этой неделе появилось 600 новых статей об архитектуре Transformer. Как мне быть? Случайным образом выбрать из них несколько, опубликовать у себя практически без изменений (не считая каких-то мелочей) и, возможно, чуть-чуть улучшить?

Надеюсь, вы не слишком обескуражены таким вступлением, но прошу понять меня правильно: архитектура Transformer сегодня настолько популярна, что сообщения о ней забивают все другие. Само собой, это потрясающая архитектура, она может оказаться чрезвычайно полезной во многих случаях, и недаром большинство исследователей сходят по ней с ума, но в области искусственного интеллекта (ИИ) есть и другие вещи, и, поверьте, не менее, а даже более увлекательные! Не стоит волноваться, я, естественно, буду рассказывать о впечатляющих проектах, созданных на базе архитектуры Transformer, применяемой в NLP, машинном распознавании образов и во множестве других областей. Я считаю эту архитектуру весьма перспективной, но просто пересказывать содержание новых работ, внося в них лишь косметические изменения, для меня не так интересно.

В качестве примера могу упомянуть пару опубликованных в марте работ, в которых говорится о применении архитектуры Transformer для классификации изображений. Эти работы довольно схожи друг с другом, и об одной из них я уже рассказывал (см. ниже). Я полагаю, что из них можно получить довольно полное представление о текущем состоянии архитектуры Transformer, используемой для машинного распознавания образов.

Связанная статья. Сможет ли архитектура Transformer заменить CNN в машинном распознавании образов?

Обратимся же теперь к настоящей теме этой статьи! Тема эта не имеет никакого отношения ни к архитектуре Transformer, ни даже к GAN, в ней нет никаких модных словечек (за исключением, пожалуй, слова "киберпанк"), но, тем не менее, это одно из самых крутых применений ИИ, с которыми я сталкивался в последнее время! Эта штука способна решать насущные проблемы многих людей и круто изменить их жизнь к лучшему. Конечно, она работает не так эффектно, как, например, превращение человеческого лица в персонажа аниме или мультфильма, зато ничто не сравнится с её полезностью.

Представляю вашему вниманию "Портативный автоматический ручной нейропротез с управлением пальцами на основе методов глубокого обучения", авторы: Nguyen, Drealan и др. Или, выражаясь словами одного из авторов, перед вами рука "киберпанка"!

Но сначала хочу напомнить о бесплатном мероприятии NVIDIA GTC, которое должно состояться на следующей неделе. Вы узнаете множество интересных новостей из мира искусственного интеллекта, а если подпишетесь на мою новостную рассылку, вас ждёт приз от Института глубокого обучения, которым я руковожу. Если вас заинтересует это предложение, можете ознакомиться с моим предыдущим видео, в нём я говорил об этом призе.

Теперь давайте более подробно ознакомимся с этой уникальной и поражающей воображение новой работой.

В этой работе на нейропротез накладываются технологии глубокого обучения, позволяющие контролировать в реальном времени движения отдельных пальцев протеза. Человек, потерявший руку 14 лет назад, теперь может двигать искусственными пальцами, как на обычной руке! Задержка прохождения команд составляет от 50 до 120 миллисекунд, точность движений от 95 до 99 %. Из этой работы следует, что встраивание технологий глубоких нейросетей непосредственно в носимые биомедицинские устройства не только возможно, но и чрезвычайно эффективно!

В данном случае был использован модуль NVIDIA Jetson Nano, специально разработанный для развёртывания систем ИИ в автономных приложениях. Это позволило использовать GPU и мощные библиотеки, такие как TensorFlow и PyTorch, внутри самого манипулятора. Авторы проекта говорят: "При реализации нашего нейронного декодера мы отыскали самый подходящий компромисс между размерами, мощностью и производительностью". Главная цель данной работы решить проблему эффективного развёртывания нейронных декодеров глубокого обучения на портативном устройстве, используемом в реальных приложениях, для долгосрочного применения в клинической практике.

Естественно, есть много технических тонкостей, о которых я здесь рассказывать не буду (какой из меня специалист!). Например, я не буду рассказывать о том, как соединяются друг с другом нервные волокна и биоэлектронные элементы, какие применяются микросхемы, позволяющие одновременно осуществлять нейронную запись и стимуляцию, или как реализованы программное и аппаратное обеспечения, обеспечивающие работу системы декодирования двигателя в реальном времени. Если вы захотите узнать больше об этом, можете обратиться к описаниям соответствующих работ, их можно легко найти по ссылкам. Давайте просто рассмотрим принципы глубокого обучения, реализованные в этом удивительном изобретении. Инновационная идея заключалась в оснащении системы декодирования двигателя технологиями глубокого обучения, что позволило снизить вычислительную нагрузку на платформу Jetson Nano.

На рисунке показан поток обработки данных платформой Jetson Nano. Сначала данные в виде сигналов периферических нервов от ампутированной руки отправляются на платформу. Эти данные предварительно обрабатываются. Этот шаг очень важен: берётся выборка входных необработанных нейронных данных, после чего система рассчитывает их основные характеристики во временной области, а затем загружает в модели. Такие предварительно обработанные данные соответствуют основным характеристикам нейронных данных односекундной давности, полученных от ампутированной руки и очищенных от источников шума. Затем эти прошедшие обработку данные передаются в модель глубокого обучения, и на выходе получается конечный результат возможность управления движением каждого пальца. Всего наборов выходных данных пять, по одному на каждый палец.

Как в реальности работает использованная авторами модель? В её основе лежит применение свёрточного слоя. Такой слой используется для идентификации различных представлений входных данных. В данном случае количество свёрток равняется 64. Эти свёртки были получены с использованием различных фильтров, то есть всего имеется 64 различных представления.

Фильтры представляют собой сетевые параметры, которым система обучилась во время тренинга для правильного управления протезом после его подсоединения. Мы знаем, что время в данном случае является крайне важным фактором, так пальцы должны двигаться плавно, поэтому для представления такого зависящего от времени аспекта при декодировании данных были выбраны управляемые рекуррентные блоки (GRU).

Блоки GRU сообщают модели, что делала рука в последнюю секунду (что было закодировано сначала) и что ей нужно делать дальше (что декодируется в настоящее время). Говоря простым языком, GRU это не что иное, как улучшенная версия рекуррентных нейронных сетей, или RNN.

RNN решают следующую вычислительную задачу: добавляют вентили, чтобы при выполнении рекуррентного процесса о прошлых входных данных сохранялась только релевантная информация (иначе придётся каждый раз пропускать входные данные через фильтры).

По сути, RNN принимают решение, какая именно информация должна передаваться на выход. Как и в рекуррентных нейронных сетях, в нашем случае односекундные данные в виде 512 свойств итерационно обрабатываются с помощью реккурентных блоков GRU. Каждый блок GRU получает входные данные текущего шага и прошлые выходные данные и на их основе формирует следующий набор выходных данных. Блок GRU, таким образом, можно рассматривать как оптимизацию "базовой" реккурентной нейросетевой архитектуры. На последнем этапе декодированная информация отправляется на линейные слои, где преобразуется в значения вероятности для каждого отдельного пальца.

Авторы, как следует из их статьи, изучили множество различных архитектур и смогли создать самую эффективную с вычислительной точки зрения модель, работающую с потрясающей точностью более 95 %.

Мы получили общее представление о работе и точности модели, но остался ещё ряд вопросов. Например, что ощущает человек, пользующийся нейропротезом? Насколько реальны его ощущения? Насколько качественно работает протез? В общем, всех интересует вопрос: может ли такой протез заменить настоящую руку?

Вот, что рассказывает сам пациент:

Я понимаю, что эта штука ещё требует доработки. В ней должно быть больше "жизненных" функций для выполнения повседневных задач, чтобы можно было не задумываться о том, в каком положении находится рука и в каком режиме она запрограммирована. Надо чтобы она работала так: увидел, дотянулся и взял. [...] В идеале я должен ощущать на теле не протез, а обычную руку. Я полагаю, мы до этого дойдём. Я верю в это!

Для меня данное изобретение самый невероятный пример применения технологий искусственного интеллекта.

Это изобретение способно повысить качество жизни человека, и нет ничего почётнее этой цели. Надеюсь, вам понравилась эта статья. Также можете посмотреть видеоверсию, где можно своими глазами посмотреть на движения настоящей руки киборга. Спасибо, что прочитали статью. В видеоролике об этом уже говорилось, но я повторю здесь: "Это безумно круто!"

Менять весь мир это очень большая цель и она практически недостижима. Но нам вполне по силам изменить некоторую его часть. Такие протезы и ПО для них могут сделать мир лучше для многих людей, которые по каким-то причинам лишились части тела. Если для реализации ваших задумок не хватает знаний можете обратить внимание на наш расширенный курс по Machine Learning и Deep Learning и возможно именно вы научите протезы откликаться на малейшие нервные импульсы.

Узнайте, как прокачаться и в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering

"РобоКросс". А если полностью - Ежегодные полевые испытания беспилотных робототехнических систем РобоКросс. На Хабре были уже статьи посвящённые РобоКроссу с описанием мероприятия с точки зрения команд, сторонних наблюдателей и прессы. Ниже общая информация с описанием и цифрами по командам, этого довольно необычного на момент старта, мероприятия или точнее испытаний.

Внимание! Это не разбор решений и технических описаний отдельных беспилотников, это попытка собрать в одном месте всю накопленную информацию о мероприятии в целом и сохранить данные для истории робототехники, с надеждой, что возможно это кому-то и когда-то пригодится. Далее много текста, фото и справочной информации.

РобоКросс был придуман и задуман вдохновителями программы Робототехника и стартовал в 2010 году на просторах молодёжного форума Селигер. По факту, все команды, с самого начала, были студенческие. На тот момент даже на старте соревнования РобоКросс выглядели следующим образом - команда берёт настоящую, действующую машину, монтирует на неё свои (ну или чужие) системы и получается БПТС. Как с технической точки зрения, управление КПП, двигателем, педалями, так и с программной. Вся эта получившаяся система отправляется на полигон, зачастую на месте доделывается и пытается выполнить задания и действия, которые среднестатистический водитель выполняет не задумываясь.

Справка. Согласно брендбуку правильно писать так - РобоКросс. Р и К большие, остальное маленькими.

Одним из самых интересных фактов РобоКросс-2010 было то, что он проходил на 6 (шести) ГАЗелях Бизнес, которые Группа ГАЗ подарила ВУЗовским командам с обязательством участия в РобоКроссе. Получив машины всего лишь за пару месяцев до старта, команды смогли всё-таки сделать так, чтобы машины поехали. Следующий 2011 год тоже проходил на Селигере и уже не только с ГАЗелями. Причём надо понимать что всё было внове, всё-таки 2010 год и технологий по беспилотникам в широком доступе не было.

Но в тот же год стало ясно, места мало и формат не Селигеровский. Как ни крути РобоКросс требовал больше времени, места и оборудования для команд и в определённый момент стало очевидно что такие испытания требуют обеспечения безопасности на гораздо более серьёзном уровне. Всё таки, когда работает и едет беспилотное транспортное средство, БПТС, это всегда непредсказуемо, а значит опасно. Потеря сигнала позиционирования, сбой программы. Всё что угодно может сделать беспилотник неконтролируемым. И пока при первичных испытаниях никто ничего лучше не придумали, чем территория с ограниченным доступом и барьером безопасности.

И в 2012 году (мой первый год) опробовали площадку под городом Волоколамском. Это была асфальтированная площадка 180 * 120 м, с рабочей частью отведённой под полигон, чуть больше чем 100 * 100 метров, огороженная забором. Территория подготовленная под какой-то рынок, но таки не занятая им. По факту на тот момент, единственное место, которое подошло под испытания и с которым срослось.

И это был первый опыт организаторов самостоятельного плавания, так сказать без базовой площадки, где вылезло много вопросов с организацией. Всё это было щедро приправлено неудачной погодой в виде дождя и сильного ветра. Впрочем это и позволило закрыть все дыры и в следующие годы провести испытания относительно спокойно.

Немного статистики и дат испытаний РобоКросс с 2010 по 2018 год

В разное время в зависимости от наличия возможностей в качестве приза за победу командам доставалась оплата поездки на международные соревнования - испытания ELROB(https://www.elrob.org/) или небольшие призы.

Смогли посмотреть на других, себя показать и поучаствовать в международных соревнованиях:

• 2013 - команда RedEyes из Коврова. Швейцария.

• 2014 - команда НАМТ из Нижнего Новгорода. Германия

• 2015 - команда Аврор из Рязани. Польша

• 2016 - команда Аврора из Рязани. Австрия.

Вот команды которые приезжали на РобоКросс с 2010 по 2018 год, некоторые соответственно по нескольку раз (просто в алфавитном порядке):

1. 4х4 / г. Нижний Новгород, НГТУ им Алексеева

2. Avrora Robotics / Рязань, ООО "КБ Аврора"

3. BaumanCar / г. Москва, ФГБОУ ВПО Московский государственный технический университет имени Н.Э. Баумана

4. CVL Robots / г. Москва, Московский государственный машиностроительный университет (МАМИ)

5. KSTA Team / Владимирская область, ФГБОУ ВПО КГТА им. В.А. Дегтярева

6. Le Talo / г. Владимир Le Talo Robotics

7. LOOK / г. Рязань Рязанский государственный радиотехнический университет, Студенческое конструкторское бюро (СКБ)

8. MobRob / г. Саратов, Саратовский государственный технический университет имени Гагарина Ю.А.

9. Red Eyes / г. Ковров, ФГБОУ ВПО КГТА им. В.А. Дегтярева

10. АВРОРА / г. Рязань

11. ВОЛГА / г. Нижний Новгород, Нижегородский государственный университет им. Н.И. Лобачевского

12. ЛК / г. Рязань, ФГБОУ ВПО ""Рязанский государственный радиотехнический университет" (ФГБОУ ВПО ""РГРТУ"")

13. ЛТИС / г. Москва, МАИ

14. МК Ультра-НН / Нижний Новгород, ГБОУ СПО НАМТ и ФГБОУ ВПО НГТУ им. Р.Е. Алексеева

15. НАМТ / г.Нижний Новгород, ГБОУ СПО НАМТ

16. Роботон / г. Рязань, ФГБОУ ВПО "РГРТУ"

17. СКБ ФАУСТ МАИ / Москва Московский Авиационный институт.

18. Технотон/ г. Рязань, ФГБОУ ВПО "РГРТУ"

19. УМиКо / г. Москва, Университет Машиностроения (МАМИ)

20. ФАУСТ / г. Москва, МАИ

21. ФГУП "НАМИ" / г. Москва, ГНЦ РФ ФГУП "НАМИ"

22. Фидесис / Москва Фидесис

23. Физтех / Москва, МФТИ

24. Шрёдингер кота / г. Уфа, Уфимский государственный колледж радиоэлектроники

Любопытные организационные тонкости.

Говоря про задания, точно можно утверждать, что с течением времени задания испытаний менялись совсем не кардинально и очень плавно. Связано это было с тем, что основные участники РобоКросса всё-таки студенческие команды. В течение учебного года у них куча других вопросов - учёба, активности ВУЗа, в конце концов работа которая параллельно с учёбой. И погружаться в смысл заданий они начинали в лучшем случае за пару месяцев до самих испытаний, а то и уже на самом мероприятии. Это конечно сильно сказывалось на результате. И именно в таком формате РобоКросс стал прекрасной площадкой для ребят и себя показать и на людей посмотреть.

О самих заданиях можно сказать что основное базовое задание всегда было движение из точки А в точку В в автоматическом, то есть автономном режиме. Дальше уже в зависимости от года и ситуации добавлялись всякие расширения: препятствия, фиксация камерой и передача изображений, разворот с помощью заднего хода, возврат в точку старта, следование за меткой.

Первоначально задания были совместным творчеством собственно организаторов. А вот 2013 года в формировании регламента и требованиям которые выдвигались к беспилотникам стал принимать участие Объединённый инженерный центр автозавода ГАЗ. Регламенты стали выглядеть грамотно технически и более если так можно сказать, обоснованно. Конечно регламенты и задания не раз вызывали споры на испытаниях и апелляции команд, но я и сейчас продолжаю считать что подключение таких специалистов было очень правильным и своевременным шагом. Главный судья РобоКросса с 2013 года ведущий специалист Объединенного инженерного центра.

Вот пример регламента испытаний 2017 года.

Разделение между организаторами и специалистами ГАЗа функций по техническому обеспечению и смысловому наполнению позволило сосредоточиться каждому на своём деле. Ведь таких мероприятий и испытаний в нашей стране до 2010 года не было. Понятно что можно сравнить с гонками и ралли разных классов и видов, но лишь только сравнить. На деле на площадке появлялась куча нюансов, которые приходилось решать уже на месте.

Так же на Хабре неоднократно появлялись статьи про организацию технических мероприятий, где подробно расписывались все аспекты. В организации соревнований БПТС, тем более полевых, есть куча мелочей, которые надо продумать и учесть. Но что точно на таких испытаниях приходилось делать, так это приспосабливать все знания и очевидные вещи, которые есть при подготовке всех мероприятий, но выглядят совсем по другому на испытаниях беспилотников, в том числе потому, что они происходят в поле.

В первую очередь, это где и как разместить команды. Как ни странно самый удачный вариант оказался в палатках рядом с полигоном, тем более если территория позволяет. Тот же Волоколамск показал. что возить людей на автобусах утром и вечером в гостиницу неудобно ни для команд, ни для организаторов. Участники, как настоящие фанаты своего дела, паяли и программировали почти круглосуточно. Увезти и привезти всех в один час, нереально и я бы сказал даже не правильно. Оказываясь на полигоне, нередко без стабильного интернета, они наконец то могли заняться только своим проектом и ничем другим.

Часто полевые условия напоминали о себе, солнце, жара и самое главное дождь. Который всегда невовремя. Ни для команд, ни для электричества. Так была выбрана оптимальная высота граунда укрытия для команд и их машин, где под одной крышей можно разместить от 6 до 10 машин. По высоте тента ГАЗели, самой высокой машины испытаний, чтобы она точно заходила под навес. А по периметру граунд завешивался баннерами сеткой, это имело свой смысл - потолок выше, дождь стекает по баннерам вниз, а ветровая нагрузка минимальная. С точки зрения возможных осадков территория малого кольца на автополигоне ГАЗа была идеальным местом - песчаная почва, на которой вода уходила быстро и безболезненно даже в сильный дождь. В то время, когда в 2017 году Нашествие под Тверью и Alfa Future People под Нижним Новгородом тонули в грязи и трактористы за сутки зарабатывали себе на новый трактор, на территории РобоКросса всё было тихо и мирно, только просто очень мокро.

Ещё один вариант граунда.

Отдельным и ответственным блоком всегда проходило обеспечение безопасности на площадке как днём так и ночью. Само собой полный комплект служб - скорая, охрана и пожарные. Огнетушители и пожарные щиты. Как бы не казалось утомительным и бюрократическим это действо, команды всегда подписывали целый ворох бумаги. В их числе техника безопасности, заявление об ответственности и отдельно техника пожарной безопасности. И ещё кое чего по мелочи. Это настраивало на серьёзный лад и организаторов и команды. Алкоголь на территории РобоКросса всегда был под запретом, под угрозой дисквалификации всей команды. И надо отметить что эксцессов связанных с пьянством не было ни разу. Если команды и участники и позволяли себе что то в ночи или в финальный день, то это не было видно при свете дня.

В поле очень важный момент, обеспечение ветрозащиты. Всегда старались делать с кратным запасом. Для тех кто не знает, это якорение каждой стойки шатра или укрытия к бетонному блоку 2,4 тонны, в крайнем случае его половинке. Старожилы Селигера помнят как летали укрытия весом в несколько сотен килограммов. Забивать якоря в землю и песок можно только для небольших шатров.

Бетонные же блоки в 2012 году в Волоколамске, в 2013 году полностью и частично в 2014 в Нижнем Новгороде были основой обеспечения периметра безопасности для заездов беспилотников. Потом оказалось и дешевле и проще установить с разрешения полигона основную отбортовку из стандартного однорядного дорожного отбойника. Тем более на него прекрасно крепился специально сделанный баннер. И красиво и безопасно.

В тот же 2012 год у организаторов прибавилось седых волос, когда незабываемая команда ФАУСТ (из института МАИ) наглядно показала что бетонные блоки надо укладывать на широкую сторону, руководствуясь принципом то что уже повалено можно только сдвинуть, а от команд требовать устанавливать на самих машинах кнопки безопасности отключающие беспилотник, причём на каждом борту.

Тогда же беспилотники привязали на верёвочку, провод с кнопкой на разрыв на конце которую должен был держать член команды. То есть если машина уезжала от хозяина и вырывала из руки провод, то двигатель сразу глушился. Конечно вид человека от команды, который держал кнопку с проводом и бежал или шёл за машиной, был не очень эффектный, но это было гораздо безопаснее. Впрочем об этом организаторы не пожалели ни разу.

Долго ломали голову, как сделать полосу разметки на дороге. Передумали многие варианты, в итоге её сделали из пожарного шланга и прибили в прямом смысле этого слова.

"РобоКросс" прошёл и в 2019 году. Пандемия 2019 года подкосила всех и РобоКросса не было. Насколько известно, планируется и в 2021 году. Но про него уже расскажут ребята, которые будут его проводить. Удачи им.

Далее официальная информация из пресс-релизов в спойлерах, чтобы не загромождать текст.

Введение

В прошлой статье мы рассмотрели несколько современных алгоритмов SLAM для ROS. Во данной статье будет рассмотрено применение SLAM на практике. В качестве робота используется опытный образец мобильного робота мерчандайзера компании R2 Robotics. Робот имеет базу с двумя ведущими колесами, расположенными на одной оси в центре, что позволяет совершать развороты на месте и способствует высокой манёвренности. Диаметр робота составляет ~60 см, а его высота 1.5 метра.

4. Тестирование

В качестве сенсоров на роботе используются: 2D лидар RPLidar A1, RGBD камера Intel RealSense D435i и трекинг Intel RealSense T265 камера для отслеживания одометрии. Лидар установлен в нижней части робота и сканирует только фронтальный сектор в 180 градусов, в то время как камера установлена на уровне 1.1 м и наклонена вниз на угол 40 град. Учитывая, что высота робота 150 см, камера позволяет распознать препятствия на высоте, недоступной лидару.

Помещение для тестов показано на рисунке 9. Площадь в 70 м² достаточна для простых тестов и перемещения робота по заданному оператором маршруту. Также, в помещении расположены несколько препятствий, сложные для распознавания при помощи лидара.

4.1 Rtabmap

В результате картографирования были получены две карты построенная по лидару и по камере глубины (рисунок 10).

Рисунок 10 Rtabmap карта построенная по а) лидару b) RGBD камере

Как можно наблюдать из рисунка 10 карта, построенная по лидару, содержит меньше шумов и более читабельна. Основные границы, такие как стены помещения и мебель имеют ярко выраженные очертания. На такой карте проще ориентироваться и, к примеру, составлять маршрут передвижения для робота, особенно если это помещение большой площади с множеством объектов.

В противном случае, карта, построенная по RGBD камере, выглядит менее презентабельно. Наблюдается большое количество шумов, из-за чего граница помещения и некоторых объектов размытая. Однако, карта, созданная с использованием камеры, отображает большее количество объектов.

На рисунке 11 выделены области, в которых расположены ключевые объекты, представляющие препятствия для робота. Синяя область обозначает два стола и кресла. Логично, что лидар распознал только ножки столов и нижние части кресел, в то время как камера глубины полностью показывает занимаемое объектами пространство, проецируя данные на 2D карту. Также, лидар полностью проигнорировал препятствия, обозначенные красными областями (высокий стул и стойка). Аналогично с зеленой областью в ней расположены 7 стульев.

Как результат, робот будет планировать маршрут сквозь объекты, которое он не распознаёт или распознаёт частично. Соответственно, необходимо использовать камеру глубины как вспомогательное устройство и отправлять данные в стек навигации (рисунок 12).

С другой стороны, объекты, расположенные на высоте лидара, отображаются корректно и с минимальным шумом. К примеру, желтые области на рисунке 11 обозначают два дивана и небольшой шкаф. На карте, построенный по камере, довольно сложно понять, где именно заканчиваются границы этих объектов, особенно если они расположены плотно друг к другу.

В качестве сравнительного теста робот ездил по одному и тому же участку помещения на обеих картах. Участок проезда был выбран таким образом, чтобы захватить препятствие, окруженное свободным пространством. Процесс движения и планируемая траектория, создаваемая планировщиком показаны на рисунках 13 и 14.

В результате можно наблюдать, что при картографировании с камеры глубины робот изначально строит маршрут, огибая препятствие, отмеченное на карте (чёрный объект на рисунке 13). В это же время, при картографировании с лидара, робот не наносит препятствие на карту. Однако, если использовать данные с камеры для формирования obstacle_layer в стеке навигации, робот также распознает препятствие и сможет его объехать (препятствие отображается розовым цветом и в меньшем объеме на рисунке 14). Более того, изначальная карта будет выглядеть намного менее зашумленной. Единственным существенным недостатком будет то, что препятствия на obstacle_layer не будут сохранены и робот будет каждый раз сканировать их заново. Кроме того, зачастую препятствие будет отображаться не в полном объеме. Таким образом, при построении продолжительного маршрута, робот будет изначально строить кратчайший путь, который будет проходить сквозь подобные объекты и, в процессе движения, будет перестраивать свой маршрут при обнаружении препятствий снова и снова. К тому же имеется вероятность, что координаты цели, заданные оператором, могут совпасть с местоположением препятствия, что приведет к ошибкам в процессе работы.

4.2 Google Cartographer

В процессе тестирования Google Cartographer было выбрано две конфигурации. В первой в качестве источника данных используется лидар RPLidar A1, в то время как во второй используется камера глубины Intel RealSense D435i.

Попытка построить карту при помощи камеры не была успешной. Робот сканировал небольшую часть карты при помощи локального SLAM, после чего переходил к сканированию другого участка. Однако, при склеивании данных частей, глобальный SLAM не смог справиться со своей задачей. Части карты накладывались друг на друга, кроме того, ориентация некоторых локальных карт также была не верной. Основной причиной такого результата можно назвать камеру глубины. В отличает от лидара, камера глубины способна хорошо сканировать пространство в пределах приблизительно 2-х метров. Собственно, картографирование в Rtabmap также проводилось с дальностью видимости камеры на 2 метра. Rtabmap визуальный метод SLAM, так как глобальная навигация в первую очередь ориентируется на визуальные образы и не привязывается к контуру карты настолько сильно, а Cartographer геометрический метод, использующий в первую очередь контур карты для ориентации. Однако, поскольку камера может дать информацию только на 2 метра, Cartographer сложнее составить крупные локальные карты. В то же время, если увеличить дальность видимости камеры, шумы будут настолько сильными, что данная информация будет полностью бесполезной для алгоритма. Возможно необходима более тщательная настройка Cartographer, к примеру, настроить коэффициенты данных одометрии, линейного и углового соответствия, что позволит оптимизировать глобальный SLAM.

В то же время, заменив камеру глубины лидаром, удалось получить хороший результат.

Как видно из рисунка 15, карта, построенная с использованием лидара и пакета Cartographer имеет такие же отличия, как и карты, построенные при помощи SLAM пакета Rtabmap.

На рисунке 16 отчетливо видны слегка размытые серым цветом границы помещения. Это особенность работы Cartographer. В процессе сканирования Cartographer наносит препятствия на карту несколько раз, убеждаясь, что это действительно существующий объект, а не помехи или шум, который необходимо избегать. Таким образом, все объекты на карте постепенно меняют свой окрас от бледно-серого до черного оттенка. Чем темнее оттенок объекта на карте, тем больше Cartographer уверен в существовании данного объекта. Данная особенность позволяет довольно быстро убирать помехи с карты в процессе её сканирования. Более того, Cartographer практически не обращает внимания на быстродвижущиеся динамические объекты например, людей. Он попросту не успевает нанести их на карту в виде препятствий, если человек постоянно перемещается. Участок карты, на котором обозначается человек (изначально бледно-серым оттенком), в следующий момент времени уже пуст и этот участок снова помечается как свободный от препятствий.

Однако, это не означает, что робот во время движения столкнется с человеком. Данные с датчиков по-прежнему поступают в navigation stack и наносятся на obstacle layer. Благодаря этому локальный и глобальный планировщики не дадут построить маршрут движения, который приведет к столкновению. В этом случае необходимо обратить внимание на скорость движения человека и скорость обработки данный в navigation stack, чтобы робот успевал обрабатывать поступающую информацию. В противном случае, если скорость движения человека будет слишком высока, столкновение может произойти.

Следующей особенностью Cartographer является разбиение процесса построение карты на глобальный SLAM и локальный SLAM. Благодаря этому, Cartographer способен сканировать карту даже при небольших отклонениях в одометрии, поскольку, при склеивании локальных частей карты, он ориентируется не только на одометрию, но и сами карты. Таким образом, Cartographer подгоняет кусочки карт друг под друга, чтобы сопоставить их как можно более точно. В особенности это заметно на примере стен. При резком развороте робота данные с лидара наносятся на карту с небольшой задержкой, но этого достаточно чтобы ровная стена отображалась в виде нескольких линий, которые пересекаются друг с другом под углом около 5-10 град. Однако, спустя определенное время (количество итераций до склеивания задается в параметрах Cartographer) происходит присоединение нового участка карты и, как правило, большая часть несоответствий уходит.

Благодаря этой же особенности, Cartographer позволяет строить карты, состоящие из множества помещений. В сравнении в Rtabmap, Cartographer показывает себя в данном ключе с более выгодной стороны. При использовании Rtabmap во время перемещения робота из одного помещения в другое, либо по серии коридоров, местоположение робота довольно быстро терялось, и, несмотря на то что сама карта имела схожие очертания с реальным зданием, полноценное использование Rtabmap выглядит достаточно сложным (в тестах использовалась трекинг камера в качестве источника одометрии, что плохо сказывается на точности данных в условиях длинных коридоров и возле стен с однотонной поверхностью).

На рисунке 17 представлена карта 2-х помещений, созданных при помощи Cartographer. В начале было исследовано помещение 1, затем робот исследовал помещение 2, после чего снова вернулся в первое помещение, где были сделаны небольшие правки карты. Как можно заметить, левая часть помещения 2 исследована плохо, однако общая карта обоих помещений соответствует реальному зданию. Во время картографирования, промежуточная стена, разделяющая оба помещения была исследована с двух сторон. В случае использования Rtabmap есть большая вероятность получить на карте две стены, которые могут не соответствовать друг другу, однако Cartographer справился с поставленной задачей.

Заключение

В результате сравнения режимов конфигурации и работы SLAM методов Rtabmap и Cartographer было выявлено, что выбор источника данных для построения карты помещения имеет значительное влияние. При картографировании по данным с 2D лидара, карта получается менее зашумленной и более читаемой для оператора. К тому же, при использовании данных с камеры в качестве дополнительного источника информации для стека навигации, не распознанные лидаром объекты попадут на obstacle_layer, и робот сможет их объехать при обнаружении.

С другой стороны, использование камеры глубины в качестве основного источника данных для картографирования также имеет преимущества. Во-первых, камера способна идентифицировать большее количество препятствий за счет того, что она сканирует 3D пространство. Таким образом, все препятствия (стулья, столы, стойки и пр.) будут нанесены на карту изначально в полном объеме занимаемого ими пространства и сохранены. Поскольку объекты будут нанесены на карту еще на этапе картографирования, это позволит роботу планировать оптимальную траекторию прямо с точки старта, а оператору будет проще планировать маршрут робота, так как он будет видеть все возможные препятствия на карте ещё в момент старта робота.

Стоит также обратить внимание на сенсоры, доступные для использования с каждым типом SLAM. Кроме того, различия есть и в формате выходных данных.

Gmapping предоставляет лишь базовые возможности подключения 2D лидар и одометрию, в то время как Cartographer и Rtabmap позволяют подключать широкий спектр различных датчиков для считывания окружающей информации. Кроме того, в отличие от Gmapping, данные методы позволяют создавать 3D карту местности.

Разные подходы в Rtabmap и Cartographer также привносят особенности в работу SLAM. Rtabmap лучше показывает себя на открытом пространстве, что предполагает использование визуальных образов. В качестве примера может быть огромный павильон, в котором лидар попросту не достанет до границ помещения, как и камера глубины. К тому же, шум у камеры довольно сильно возрастает с увеличением расстояния до объекта например стены.

Cartographer показывает себя лучше в закрытых и запутанных пространствах, так как использование непосредственно самой карты (а не визуальных изображений) для локализации робота позволяет производить картографирование множества помещений. Кроме того, система разделения на локальный и глобальный SLAM положительно влияет на процесс картографирования.

Список источников

1. Pedrosa, E., L. Reis, C. M. D. Silva and H. S. Ferreira. Autonomous Navigation with Simultaneous Localization and Mapping in/outdoor. 2020.

2. Gmapping [Электронный ресурс] URL: http://wiki.ros.org/gmapping, свободный ресурс Загл. с экрана. Язык англ. Дата обращения: 14.08.2020 г.

3. Google Cartographer ROS [Электронный ресурс] URL: https://google-cartographer-ros.readthedocs.io/en/latest/#, свободный ресурс Загл. с экрана. Язык англ. Дата обращения: 04.11.2020 г.

4. RTAB-Map, Real-Time Appearance-Based Mapping [Электронный ресурс] URL: http://introlab.github.io/rtabmap/, свободный ресурс Загл. с экрана. Язык англ. Дата обращения: 22.06.2020 г.

5. Adaptive Monte Carlo localization [Электронный ресурс] URL: http://wiki.ros.org/amcl, свободный ресурс Загл. с экрана. Язык англ. Дата обращения: 03.08.2020 г.

6. Building Maps Using Google Cartographer and the OS1 Lidar Sensor [Электронный ресурс] URL: https://ouster.com/blog/building-maps-using-google-cartographer-and-the-os1-lidar-sensor/, свободный ресурс Загл. с экрана. Язык англ. Дата обращения: 25.02.2021 г.

7. Labb, M, Michaud, F. RTABMap as an opensource lidar and visual simultaneous localization and mapping library for largescale and longterm online operation. J Field Robotics. 2019; 35: 416 446.

8. Silva, B.M.F.D.; Xavier, R.S.; Gonalves, L.M.G. Mapping and Navigation for Indoor Robots under ROS: An Experimental Analysis. Preprints 2019.

9. Mathieu Labb and Franois Michaud. Online Global Loop Closure Detection for LargeScale Multi-Session Graph-Based SLAM. 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 26612666, 2014.