Соревнования

В продолжение, а скорее - в завершение, истории об организации и ежегодном проведении Сахалинского чемпионата по робототехнике, пришло время немного поговорить во что начало вырастать локальное мероприятие, которое за 4 года выросло с 72 до 204 участников в возрасте от 4 до 18 лет. А также - порассуждать о том, во что этот чемпионат может превратиться в будущем. Первая и вторая часть истории доступны по соответствующим ссылкам.

О поддержке и партнерах, об имени мероприятия его бренде

Как уже говорилось, многие участники оставили для себя то, первое, не самое правильное (как мы теперь думаем) название чемпионата кубок губернатора. Однако получилось и так, что данное мероприятие теперь неотрывно связано с названием нашего учебного центра, достигнув своей обновленной миссии имиджевой рекламы.

Первые два года мероприятие проводилось за счет грантовых средств Правительства Сахалинской области и наших собственных вложений. Третий раз подавать один и тот же проект на точно такой же конкурс того же самого грантодателя мы не рискнули все же ежегодное финансирование одних и тех же мероприятий не только противоречит принципам социального проектирования, но и может привести к отказу просто по политическим мотивам. К тому же, гибкость правительства Сахалинской области (ограниченный бюджет на финансирование социальных проектов приводит к урезанию смет и уменьшению фактического финансирования в случае победы социального проекта на грантовом конкурсе) в политике поддержать как можно больше проектов на конкурсах в данном случае приводит к рискам недофинансирования проекта. А, на минуточку, по наблюдениям за 4 года мы выяснили, что в среднем на участника тратится ~3.000 рублей (банально все расходы, связанные с проведением мероприятия, делим на количество участников). И из года в год эта цифра остается стабильной с небольшими подвижками влево и вправо.

На что уходят деньги? Очень крупная статья это упаковка мероприятия: бейджи, папки, блокноты, ручки, медали, кубки, поля, информационные баннеры. Конечно, участник-победитель по итогу оказывается для организации чемпионата дороже, чем просто участник, не занявший призового места, но именно стабильность выведенного соотношения бюджет/участники убеждает нас в правильности подхода при калькуляции расходов на проведение мероприятия.

Соответственно, неполучение или недополучение грантовых средств может серьезно и очень резко снизить качество мероприятия, или, как минимум, должно учитываться при разнесении и прогнозировании расходов организации. Поэтому при подготовке к чемпионату 2019 года (когда едва-едва прошла пара месяцев после предыдущего мероприятия), мы подготовили заявку и обратились в Фонд президентских грантов. Проект получил финансовую поддержку, а заодно и оценку независимых экспертов. Что с одной стороны убедило нас в нужности проводимого мероприятия, а с другой помогло мероприятие провести. К тому же, Фонд не имеет инструментов урезания сметы социального проекта заявка либо поддержана в полном объеме, либо вообще пролетает мимо, на дальнейшую, по желанию заявителя, доработку и участие в следующем плановом конкурсе (конкурсы проходят для всей страны 2 раза в год).

Вследствие некоторой региональной специфики по отношению к грантовым заявкам в Фонд президентских грантов в 2019 году (практически плановая экономика, ни шагу назад, все кто может подаваться подавайтесь и прочая агитка фактически из каждого утюга по региональной инициативе, направленной на оживление деятельности некоммерческих организаций), победа в конкурсе и проведение третьего чемпионата нехило попало в СМИ области как положительный пример деятельности НКО. Ну что ж, мы рады, но больше тому, что чемпионат продолжает реализовывать свою цель и продвигать наш учебный центр, да еще и инструментами бесплатной, но достаточно массовой рекламы.

И вот приходит год 2020, а с ним вопрос о проведении очередного чемпионата. Региональный локдаун в системе образования, массовый переход обязательного образования в дистанционный формат, фактически заморозка деятельности всего дополнительного образования до особого распоряжения Министерства Сахалинской области закономерно приводят к вопросам а реально ли вообще провести массовое мероприятие в сложившихся условиях.

Однако, как говорится, лучше перебдеть, чем недобдеть. И в рамках патриотического слета ОстроVа, который проходит на территории Сахалинской области в августе 2020 года, на проводимый во время слета грантовый конкурс физических лиц отправилась заявка на финансирование IV Сахалинского чемпионата по робототехнике. И внезапно оказалась поддержана на сумму 700.000 рублей, с прогнозируемым количеством участников в 200 человек (вновь практически попадает в предполагаемые 3.000 на участника, за исключением новых затрат приобретение коробов для укладки полей, благо это разовая закупка и оборудование будет использоваться на последующих чемпионатах).

И все же, несмотря на наличие поддержки и традиционное проведение чемпионата в декабре, фактически сразу становится понятно, под вопросом не только соблюдение нами самими же установленных сроков, но и вообще проведение мероприятия в очном формате. Все сомнения превратились в уверенность во время второй волны ковида, которая началась в октябре и возвращению всех ограничительных мер, в том числе на проведение культурно-массовых мероприятий численностью участников более 50 человек.

Фактически сразу было принято решение о переносе чемпионата на конец января 2021 года, а в самом январе и на конец февраля. Как могли, мы старались отогнать от себя мысль о проведении чемпионата в дистанционном или дистанционно-очном формате, хотя возможности для этого были образовательные организации, которые занимались подготовкой участников, в теории обладали всей необходимой инфраструктурой для проведения соревнований в рамках своего муниципалитета и последующей передачей результатов нам, как организаторам, для поведения региональных итогов.

В пользу такого решения говорила только эпидемиологическая обстановка и риск невозможности проведения мероприятия из-за действующих ограничений. Против такого решения говорило практически все: усталость людей от запретов, желание муниципальных команд выехать для участия в региональный центр, невозможность обеспечить прозрачность судейства, сложности в технической организации трансляции с каждой из площадок чемпионата и прочие организационные вещи, учиться которым времени фактически не оставалось. К тому же, в ноябре 2020 года проходил национальный финал конкурса профессионального мастерства для людей с инвалидностью и ОВЗ Абилимпикс - в очно-дистанционном формате. Очная часть заключалась в присутствии главных национальных экспертов по компетенциям и их заместителей на единой площадке в Москве, а дистанционная в том, что все команды проходят конкурсные испытания у себя в регионе, с обязательным обеспечением видеосвязи на все время работы участников. Полученный опыт роли главного эксперта в части подготовки дистанционных площадок, контроля их соответствия правилам застройки, а затем и само дистанционное оценивание работы участников также показало, что наш чемпионат не должен проходить дистанционно слишком много условий необходимо для его чистого и честного проведения. Итак, мы пришли к мнению, что чемпионат должен состояться очно, даже если придется его переносить до момента снятия ограничительных мер.

Однако за это время случилось интересное информационный шум, который периодически порождался чемпионатом в предыдущие годы, публикации о переносе сроков чемпионата привели к тому, что у нас появился партнер. Первый. Компания Tezona, занимающаяся поставкой интерактивного оборудования для образовательных организаций, предложила свою помощь в организации призового фонда для победителей (на чемпионате было 6 направлений, в каждом направлении 3 призовых места, а каждое призовое место команда из 2 человек, итого 36 подарков). Партнеры сами выбрали (и согласовали с нами) подарки для каждой возрастной категории, а также организовали мастер-классы для детей в актовом зале школы для организации досуга в перерывах между завершением работы площадок и объявлением победителей в этот раз у нас действительно все площадки заканчивали работать последовательно, а череда награждений, казалось, была бесконечной.

А еще четвертый чемпионат показал, что название мероприятия становится узнаваемым, начинает привлекать партнеров и, возможно, в следующем году сможет привлечь еще больше интереса со стороны внешних организаций, партнеров и спонсоров. Оказалось, что трех лет истории достаточно, чтобы мероприятие начало раскручивать себя само. И тем сильнее убеждение, что пятому, юбилейному, чемпионату быть.

Что будет дальше и к чему мы хотим прийди

Раз уж чемпионат обретал-обретал, и наконец обрел свою традиционность, спустя пару недель после его проведения мы уже задумываемся, как проводить следующий номерной чемпионат, тем более что он будет уже юбилейным какой-никакой, а все же очередной психологический барьер.

Количественный рост никто не отменял, раз уж получилось не только сохранить во время ковидной эпохи результаты предыдущего года, но еще и превзойти их. Вопрос в росте качественном. И для того, чтобы собрать как можно обратной связи (ведь как бы то ни было, именно негативные отзывы показывают нам точки в организации чемпионата, на которые необходимо обратить больше внимания), в этом году по завершении чемпионата мы разослали всем тренерам и руководителям команд анкету, позволяющую ответить на несколько вопросов касательно чемпионата, в ключе Что можно сделать лучше.

Итак, теперь мы понимаем (и, естественно, догадывались ранее ведь вопросы-то мы составляли), что в юбилейном чемпионате пора делить возрастную категорию 5-8 классов на 2 независимых категории с разной сложностью заданий. Прошедший чемпионат показал, что это действительно необходимо в данной возрастной категории была наибольшая конкуренция. Так, например, в направлении для дошкольников Островная логистика было 8 команд, а в направлении Сельское хозяйство для 5-8 классов 40 команд. Банально понятнее, что занять призовое место даже с достаточным уровнем знаний достаточно сложно. Причем не обязательно сравнивать с дошкольниками в соседней категории для 9-11 классов было 10 команд. А разделение по возрастам дало бы больше шансов участникам, которые только начали осваивать олимпиадную робототехнику, да и позволило бы большему количеству ребят уйти с позитивом и завоеванной наградой.

И, пожалуй, стоит начать проводить чемпионат не в один, а два дня, при этом не разделять соревновательные направления в разные дни, что может вызвать неудобство сопровождающих и тренеров, которые приезжают в составе большой делегации, а именно выделить первый день как технический дать участникам возможность спокойно завести оборудование, протестировать полигоны и игровой реквизит, провести несколько тренировок. Наверняка это позволит участникам на второй день чувствовать себя уверенней, а приезжим делегациям даст возможность провести ночь перед соревнованиями не в поезде, а в гостинице и выйти на чемпионат более бодрыми.

Еще одно интересное и привлекательное направление развития Чемпионата это включение мероприятия в перечень олимпиад Министерства просвещения Российской Федерации. Это должно повысить заинтересованность участников, а еще, скорее всего, привлечет команды из соседних субъектов пока что, по результатам мониторинга, мы видим, что на Дальнем Востоке отсутствуют мероприятия, входящие в данный перечень. А победа на подобном, входящем в перечень, мероприятии повысит шансы умных ребят на поступление в образовательные организации высшего и среде-специального образования.

Положительный опыт работы с победителями наших чемпионатов мы уже получили все же работа с ребятами, которые выигрывают чемпионат дает свое преимущество. Так, например, в 2019 году именно из победителей и призеров старшей возрастной категории мы сформировали группу, которая занялась подготовкой к региональному этапу чемпионата WorldSkills по компетенции Мобильная робототехника. Слаженность команды, а также имеющиеся базовые навыки позволили упростить процесс подготовки детей к дальнейшим испытаниям. Собственно, региональный WorldSkills выиграла та же команда, которая чуть ранее заняла первое место в нашем чемпионате. Получился первый опыт, когда наш чемпионат выступает для детей трамплином в будущее, пускай пока что только в рамках того, что мы можем контролировать. Схожий опыт мы начали наблюдать в конкурсе проектов в рамках нашего чемпионата новые проекты, созданные в рамках подготовки к этому чемпионату, выходят на другие региональные конкурсы, имеющие выход на уровень федерации. Так может быть пускай чемпионат продолжит выполнять и эту миссию готовить детей к более серьезным испытаниям?

А в завершении в любом случае, мы когда-то начали готовить преподавателей и детей из других образовательных учреждений для создания конкуренции нашим собственным слушателям. Пришло время повысить ставки и приглашать команды из других субъектов для участия в нашем чемпионате возможно, это сможет повторить ход, который привел к росту уровня наших (в этом случае просто наших, сахалинских) детей?

И хочется верить, что наш чемпионат будет все также интересен и все также востребован среди детей и молодежи, среди наставников и тренеров, среди различных образовательных организаций острова.

И кто знает, возможно когда-то начинание, идея, родившаяся в 2017 году во время судейства на национальном этапе всероссийской робототехнической олимпиады в Иннополисе, приведет нас к полноценному уже не региональному, а окружному, дальневосточному, чемпионату, способному собрать множество команд из различных субъектов ДВФО.

Вместо послесловия

Статья, изначально запланированная просто как способ поделиться опытом, превратилась скорее в лонг-лонг-лонг рид, который раскрыл скорее не техническую, а эмоциональную часть проводимого нами мероприятия.

Наверное, это способ выложить и проанализировать все сделанные шаги не то чтобы со стороны, а скорее в комплексе, изложив перед собой свои собственные шаги.

Пока, кстати, писались эти строки, нам пришла хорошая новость. Областное агентство по делам молодежи одобрило нашу заявку на проходившем конкурсе субсидий на реализацию мероприятий в сфере молодежной политике. Заявка на V Сахалинский чемпионат по робототехнике получила софинансирование в объеме 300.000 рублей. А следовательно, за 5 лет чемпионата общее софинансирование (а значит - внешнее, экспертное, признание в необходимости данного мероприятия) составляет 1.960.000 в рублях, что покрывает примерно 70% всех расходов.

Забавно, за 5 лет существования нашего мероприятия его дважды поддержало правительство области, еще раз фонд президентских грантов и федеральное агентство по делам молодежи, а теперь региональное агентство по делам молодежи. Печально только, что министерство образования ни разу не поддержало проект, который напрямую относится к образовательной деятельности в рамках региона.

В любом случае, продолжаем не опускать руки и работать дальше, ведь ежегодный рост количества участников Сахалинского чемпионата по робототехнике лучший мотиватор.

И спасибо всем, кто дочитал этот лонгрид до конца.

Всем добрейшего дня! Совсем недавно закончилось ежегодное международное соревнование AI Contest, организатором которого является Сбер вместе с российскими и зарубежными партнёрами в рамках конференции Artificial Intelligence Journey. Задачи этого года: Digital Петр: распознавание рукописей Петра I, NoFloodWithAI: паводки на реке Амур и AI 4 Humanities: ruGPT-3. В этот раз в соревновании участвовало около 1000 человек из 43 государств.

Наша команда приняла участие в решении задачи "Digital Петр: распознавание рукописей Петра I" и заняла первое место. Я бы хотел рассказать о том, что мы наворотили в процессе решения соревнования, кто тут батя, какие трюки и фишки использовали. Информации много, будет много спецэфичных слов, для тех кто не в теме. Это не туториал, очень подробно я описывать не буду, но с удовольствием отвечу на вопросы в комментариях.

План

• Описание задачи

• Этапы решения

  1. Предобработка данных

  2. Описание нейронной сети

  3. Аугментации

  4. CharMasks

  5. Spell correction using XLMRoberta

  6. Ensemble + Spell Correction Thresholds

• Что не сработало

• Команда

• Заключение

Описание задачи

Если без воды, то: Необходимо перевести строку, написанную от руки Петром I, в печатный формат (см. пример ниже). Организаторы совместно с историками подготовили данные, разбив документы построчно, где каждая строка - картинка и ей соответствует текстовый файл с расшифровкой.

Конечно данные были неидеальны, где-то были опечатки, где-то текст совсем не соответствовал картинке, поэтому дружное коммьюнити все участники сообщали организаторам об опечатках, которые были благополучно исправлены.

Этапы решения

За время проведения соревнования мы протестировали более 500 гипотез, которые включали подбор архитектуры нейронной сети, подбор готовых аугментаций, тестирование своих аугментаций, различные варианты ансамблирования моделей и постобработки.

1. Предобработка данных

Выбросили картинки, на которых очевидно не верна разметка (нашли с помощью OOF), удалили редкие символы. Так как Пётр писал не только горизонтально (как на картинках выше), но и на полях (как на картинке ниже), то в данных присутствовали картинки с вертикальными надписями, которые нужно было перевернуть либо на +90, либо на -90 градусов. Для поворота картинок мы обучили сеть (Resnet34 с изменённой головой) которая предсказывала есть ли необходимость поворачивать картинку и в какую сторону. Это необходимо для того, чтобы поворачивать картинки на скрытых данных.

Также реализовали кастомное разбиение данных со стратификацией по буквам, т.е. с равномерным распределением букв по фолдам. Получилась достаточно хорошая и стабильная корреляция с лидербордом.

2. Описание нейронной сети

Мы рассматривали два варианта архитектур нейронных сетей, одну под CTCLoss и другую на классическом Attention. Отдельно про CTCLoss можно посмотреть тут, а про Attention почитать тут. Начали с CTCLoss, но на нём и остались, так как на подход с Attention не хватило времени. Сразу покажу картинку.

Где Bs - размер батча, (w, h, c) - параметры изображения (ширина, высота, каналы). Штрихи указывают на производные параметры от исходных. Hidden size - размер скрытого слоя в LSTM слое. Dict Size - количество буковок, которые будет знать наша нейронка. Dense - слой полносвязной сети в Keras, аналог Linear в PyTorch.

3. Аугментации

Что такое аугментации, как их применять можно посмотреть тут и тут. Мы использовали стандартные аугментации: ToGray, CLAHE, Rotate, CutOut.

Однако CutOut мы в середине соревнования заменили на другую аугментацию. Мы написали её сами, назвали HandWrittenBlots, суть в том, что это имитация человеческой почеркушки с различным размером, наклоном и прозрачностью. Сделано это для того, чтобы улучшить (кто бы мог подумать) распознавание перечёркнутых букв. CutOut накидывал, HandWrittenBlots накинул еще больше. Аугментацию можно найти в репозиторииAugmixations. Пример использования тут.

P.S. Форма вырезанных прямоугольников в CutOut тут такая потому, что параметры были подобраны эмпирически и вертикальные тонкие прямоугольники докидывали больше всего.

4. CharMasks

Это крутая штука, которая возможна, когда используешь CTC Loss. Дело в том, после предсказания моделью последовательности символов, есть возможность разбить входную картинку по этим символам, пропорционально размеру выходной последовательности (руками разбивать картинки конечно тоже можно, но это совсем прохладная история). Для этого нужно использовать координаты стыков различных букв (Именно так делали ребята для Action Labeling тут).

Таким образом мы получаем координаты начала и конца каждого символа. А затем, имея координаты всех символов во всех строках датасета, мы можем сами генерировать любую фразу почерком Петра. Вопрос остаётся в том, что нам пока негде брать древнерусские фразочки. Поэтому мы идём в гугл и нагугливаем книжки с текстами XVII-XVIII веков (Да, их тоже надо почистить и обработать). И уже теперь, с чистой совестью, достаём любую фразу из нашего корпуса текстов и составляем по ней картинку.

Да, она будет не идеальна, и если генерировать изображения, используя однобуквенные символы, то скор это не улучшит. Но тут в дело вступают токенизаторы. Обучаем мы их на предложениях из имеющегося датасета, в котором у нас есть соответствующие картинки. Таким образом для каждого токена мы теперь можем получить картинку. Далее с помощью токенизаторов (Multi Word Expression) мы можем составлять фразы из токенов (состоящих из нескольких символов и пробелов) различной длины и генерировать соответствующую картинку.

Далее еще поработали с цветом бумаги, для того чтобы сделать его более однородным и естественным, т.к. сами понимаете, что цвет бумаги в датасете от картинки к картинке совершенно разный. В результате получилось как-то так:

5. Spell correction using XLMRoberta

Сразу скажу, что в этом пункте много текста.

Естественно, нашасупермегапаверфьюженстелскрутаямодель не предсказывает идеальные предложения и всё же делает некоторые ошибки(особенно пробелы, ненавижу пробелы). И совершенно случайно в наши ряды затисались эксперты NLP. Ну они и обучили буквенную языковую модель XLMRoberta на корпусе XVII-XVIII в.в., а затем реализовали модель исправления опечаток в стиле Петра I. Делали следующее:

1. из сырого выхода OCR модели (перед тем как схлопнуть повторяющиеся символы и паддинги) склеивали повторяющиеся символы (включая паддинг) и пересчитывали их вероятности (среднее + softmax), брали 3 наиболее вероятные символа (буквы/цифры/blank в т.ч.) для каждой позиции в тексте;

2. каждую локальную позицию проверяли и исправляли так: давали 3-4 варианта модели, а она выбирала наиболее правильный - т.к. символы были буквы/цифры/blank, то таким образом мы боролись как с расстановкой пробелов, так и с другими видами опечаток с учетом контекста. Также с помощью данного подхода легко реализовать zero-shot learning, где предсказываются символы, которых не было в исходном датасете. Так мы накинули варианты похожих с точки зрения OCR латинских и кириллических букв ('р': 'p', 'о': 'o', 'е': 'e', 'с': 'c', 'а': 'a', 'х': 'x', 'и': 'u', 'к': k);

3. сортировали все локальные позиции по уверенности OCR модели и исправляли по одной step by step (!), что позволило улучшить и главное не испортить следующие предикты на более уверенных позициях;

4. обучали модель так: маскировали буквы (рандомно от 0 до 12), 50% масок превращали в padding (борьба с наличием лишних символов), 10% оставшихся букв заменяли на рандомный символ в тч и. паддинг (для стабилизации предикта). пытались предсказать маскированные буквы на фичах XLMRoberta из outputhiddenstates - почти как NER, но классификация на все заданные символы;

5. на GPU данная модель учится довольно долго, поэтому мы юзали TPU на Colab

P.S.
После завершения соревнования мы узнали (один из участников опубликовал своё решение), что в этой задаче можно было применить BeamSearch. Реализация которого есть тут.

6. Ensemble + Spell Correction Thresholds

Думаю, что многие в соревновании столкнулись с тем, что модели, обученные с помощью CTCLoss, нельзя так просто заблендить. А ансамбль это крутая штука и хотелось бы его использовать. Поэтому немногопокурив бамбукподумав, мы пришли к своеобразному ансамблю.Представим что у нас есть N моделей и у всех мы сделали предикт и нам остаётся только "схлопнуть" повторяющиеся буквы для того чтобы получилось чистое предложение. Мы проделываем данную операцию, но не только с символами но и с их вероятностями, усредняя их. Таким образом получаем среднюю вероятность каждого символа. И теперь, итерируясь по всем моделям, бёрем только те предикты, средняя вероятность которых наиболее высокая.Надеюсь, что +- понятно описал.

Что не сработало

Other Backbones. Мы ставили эксперименты с кучей других бекбонов и доп блоками (EfficientNet, [SE, ECA]ResNet[xt], Mobilenet и др), но на удивление лучше всего заходит классический Resnet34.

Augmentations.Перепробовали практически весь набор аугментаций из всеми нами любимогоAlbumentations (Brightness, Gamma, Blur и др), остались только те, что я указал выше.

TTA (Test-Time Augmentations).Интересно то, что на нашей holdout выборке ТТА давал прирост, а на public test - нет. Мы решили верить паблик тесту, так как там выборка заметно больше нашей на holdout.

Classic Blending.Как было сказано выше, по причине того, что каждая модель может выдавать текста, длины которых будут отличаться, и на самом деле еще по ряду причин, связанных с рекуррентностью выходного текста.

Команда

Все четверо из команды работаем в компании ОЦРВ в лаборатории искусственного интеллекта и нейронных сетей в городе Сириус (Сочи). Спасибо ребятам, что продержались до конца и показали отличный результат! :)

Заключение

Подытоживая, хотелось бы поблагодарить организаторов за столь интересное мероприятие, в ходе которого было приобретено большое количество знаний и опыта в области распознавания текста по картинке и не только. Мы работали в выходные и все свободные вечера, потому что задача нам показалась действительно интересной.

P.S.Наше самое быстрое решение (одна модель, public):
| CER: 2.531 | WER: 13.5 | ACC: 62.107 | TIME: 32s |
Код submission и веса опубликованы здесь.

P.P.S. Бонус

Особо пытливым предлагаю разгадать ребус, что же здесь написано? :)

Немного соревнований автономных дронов, рассчитанных на взрослых разработчиков и организации, проводятся в России. В статье расскажу о нашем участии в Аэробот-2020. Мы и без соревнований работаем с актуальными технологиями локализации дрона в помещении, планирования движения и картографии (exploration), детекции объектов (perception) и оптимального управления движением. В условиях соревнования были задачи как раз из этой области.

Наша команда состояла из сотрудников Центра компетенций НТИ по направлению Технологии компонентов робототехники и мехатроники на базе Университета Иннополис и студентов университета.

Под катом много увлекательных полетов и падений дронов.

С одной стороны, мы хотим забыть об этом как о страшном сне, а с другой, это интересный опыт. Так что, чтобы оставить эти воспоминания в 2020 году, эта статья достается из черновиков.

Соревновательная робототехника

Если спортивное программирование и индустриальная разработка уже во многих случаях весьма далеки друг от друга, то в робототехнике зачастую крупные соревнования становятся драйверами развития целых направлений. Пожалуй, самый яркий пример DARPA Grand Challenge, которые предопределили бурное развитие автономных автомобилей. Основатель DJI начинал свою работу по БПЛА с соревнований ABU Robocon в составе команды гонконгского университета HKUST.

Среди современных крупных конкурсов в области воздушной робототехники я выделю:

• The DARPA Subterranean (SubT) Challenge (хотя там и наземные роботы), где роботы должны строить карту, двигаясь автономно в шахте;

• AlphaPilot Lockheed Martin AI Drone Racing Innovation Challenge. Участники создают искусственный интеллект, способный опередить человека-пилота в гонках FPV дронов;

• Mohamed Bin Zayed International Robotics Challenge (MBZIRC). Здесь тоже воздушные и наземные роботы и их взаимодействие; кстати, объявлено начало приема заявок на 2023-й год;

• Соревнования проводятся также в рамках конференций IROS, ICRA, NeurIPS (Game of Drones) и других.

А что в России?

В России робототехника вообще становится популярна, есть кружки, курсы и много STEM-education-движухи. Соревнования дронов в основном проводятся среди школьников и студентов. Мы их и сами проводим. Конкурсов, ориентированных на организации и более сложные задачи, немного (хотя порой и современные школьники делают удивительные вещи). Когда-то компания КРОК проводила интересный конкурс, с тех пор мало подобного было. Пример недавнего конкурса для производителей БПЛА конкурс от ПАО Газпром нефть и AeroNet по перевозке груза, имитирующего пробы нефти. Однако, там задачи больше по аппаратной составляющей БПЛА, чем по планированию движения и обработке сенсорных данных. Можно упомянуть еще Copter Hack, но это конкурс проектов, а не соревнования в которых команды соревнуются в выполнении одних и тех же заданий.

Аэробот-2020

Соревнования Aerobot проводятся в России второй год и как раз ориентированы на развитие решений в области разработки, создания и эксплуатации перспективных робототехнических комплексов (систем) гражданского, военного, специального и двойного назначения воздушного базирования (sic!). Как видите, даже название пропитано духом двойного назначения, что не случайно: соревнования проходят при поддержке ФПИ, призванного быть российским аналогом DARPA. При этом задания вполне интересные, даже если вы пацифист или опасаетесь военной бюрократии, как я.

Заданий в этом году было 3:

1. Инспекция помещения и поиск объектов в нем с указанием их координат (жизненный аналог поисковые операции в разрушенном здании, например);

2. Движение по QR-код (получается этакий дрон для складской инвентаризации, вот похожий проект от коллег из Сколково);

3. Гонки дронов максимально быстро пролететь между воротами и обойти препятствия между ними.

Эти соревнования проводились во второй раз. В этот раз организатором выступила наша с @GigaFlopsis (и еще нескольких теперешних иннополисян) alma mater НИИ робототехники и процессов управления Южного федерального университета (НИИ РиПУ), г. Таганрог.

Команды-участники

Соревнования проводились в два этапа. Для первого, отборочного, был сделан симулятор на базе Gazebo с клёвыми обоями (я просил добавить ковры на стены, но это, видимо, оставили для следующих версий). Второй этап проходил на специальном полигоне.

Из-за коронавируса в этом году команд было меньше, чем в прошлом, но уровень был выше: у всех дроны летали и все делали попытки выполнения заданий. Еще порадовало, что команды были гибридные представители академических институтов и индустрии. Список и краткая инфа о командах:

• RaccoonLab, Университет Иннополис это мы;

• ФИЦ ИУ РАН (Москва), в составе разработчики из Fast Sense Studio. Они делают бортовые компьютеры для мобильных роботов и дроны для складской инспекции;

• ИПУ РАН (Москва) использовали дрон стартапа Airspector по промышленной инспекции при помощи БПЛА;

• С305, ДВФУ (Владивосток), Центр проектной деятельности студентов;

• QuadroZ, НИИ РиПУ (Таганрог), команда организатора соревнований;

• Альтаир, студенты ЮФУ (Таганрог);

• Команда ВИТ Эра (Анапа).

Состав нашей команды

• Дмитрий Девитт главный заводила, знает вкус победы предыдущих соревнований Аэробот-2019. Видели Noize MC, обвешанного гитарой и укулеле с сэмплером и клавишами? Вот примерно так работает Дима при тестах: в одной руке ноутбук, в другой пульт ручного управления для подстраховки;

• Дмитрий Пономарев программист, реализовал фьюзинг нескольких реалсенсов для локализации, генерировал миры в Gazebo;

• Илья Севостьянов студент Университета Иннополис, работал над детекцией полосы и посадочной площадки;

• Юрий Сухоруков студент, много занимался сборкой кошерного дрона, 3D-печатью, сделал ворота и параллельно порадовал сайд-проектом по детекции масок с дрона;

• Роман Федоренко я, каким-то волшебным образом собрал эту мега-команду и наблюдаю за успехом (спокойствие все же только видимое).

Следующие сотрудники большой команды нашей лаборатории не были в официальном составе соревнований (по регламенту не больше 5 человек с российским гражданством), однако их наработки были очень полезны:

• Виктор Массагуе алгоритм инспекции;

• Гисара Пратхап сегментация на облаке точек, создание миров в Gazebo;

• Никита Ермоленко алгоритмы CV для детекции ворот.

Отборочный этап

Хотя, как я уже говорил, отборочный этап проходил в режиме симуляции, он был очный. Организаторы предоставили каждой команде мощный компьютер, на котором мы запускали как симулятор, так и код выполнения заданий. Зачетные попытки демонстрировались на большом экране. Перед зачетными попытками организаторы загружали новые сцены, слегка отличающиеся от предоставленных для тренировки.

Все три задания от третьего к первому на симуляторе (этап 1) в таймлапсе:

На отборочном этапе наша команда заняла первое место с заметным отрывом, но расслабляться было рано.

Разбор решений

Approach

Общий подход у нас и у других команд состоял в классической структуре системы управления с разделением на функциональные блоки локализации и картографии, управления, планирования движения, восприятия окружающей среды, планирования миссии. End-2-end и подобное никто не делал, хотя элементы такого подхода в третьем задании напрашиваются.

Железо

Все летали на опенсорс автопилоте PX4 (слава ему).

По бортовым компьютерам: Nvidia Jetson (Nano/NX/Xavier) или Raspberry Pi или свой компьютер у FastSense.

Из сенсоров для восприятия мира, как правило, есть камеры глубины Realsense D435, многие летают также с использованием RPLIDAR плюс обычные камеры (вебки) для детекции объектов.

Локализация

Здесь две доминирующие идеи: 2D SLAM на Google Cartographer (мы использовали только на этапе симуляциий) c RPLIDAR и tracking камеры Realsense T265.

Последние при хорошей удаче закрывают вопрос локализации полностью причем на аппаратном уровне. Однако, как и вся визуальная одометрия, могут плыть (особенно в условиях вибраций на дроне). Мы пробовали делать комплексирование двух камер одновременно одна вниз, другая вперед или вверх, например, но это тоже не всегда работает, так как сами камеры могут давать неверную ковариацию.

Картография

Первые две задачи соревнований включают в себя по сути задачу инспекции, то есть автоматическое обследование дроном заданной территории для быстрого поиска объекта. В первом задании нужно находить кубы с логотипом и возвращать их координаты, во втором QR-коды и выбирать дальнейшие действия по данным в них.

Мы использовали свою наработку в этой области, основанную на модифицированном алгоритме NBV (next-best-view), а также библиотеке voxblox для представления карты.

Алгоритм строит 3d карту (цветной mesh) в реальном времени на борту дрона, зная только предполагаемые размеры области инспекции. При планировании также выполняется обход препятствий, пролет в окно для инспекции следующего помещения также планирует этот алгоритм.

Как это выглядит в реальных тестах:

Почитать подробнее можно, например, здесь.

Траекторное управление и обход препятствий

Пожалуй это одна из самых интересных и важных частей проекта. Нам нужно было обеспечивать максимально безопасную, но в тоже время быструю траекторию движения дрона, избегая заранее неизвестные препятствия. К тому же необходимость планирования в трехмерном пространстве добавляет вычислительную сложность.

Изначально планировщик знает положение дрона, целевую точку (или несколько), а также карту в виде облака точек. Помимо этого мы настраиваем максимальные скорости и ускорения дрона.

На основе облака точек формируется новая карта с дополнительными границами вокруг препятствий (т.н. inflation). По этой карте находится оптимальный маршрут, используя несколько алгоритмов (для быстрого поиска сильно модифицированный elastic band planner, в сложных случаях дополнительно используется A*).

На выходе мы получаем набор координат, через которые нужно построить траекторию дрона. Для генерации физичной траектории используются сплайны. Существует много хороших открытых решений от крутых лабораторий, например mav_trajectory_generation от Autonomous Systems Lab (ETH, Цюрих), B-traj от HKUST Aerial Robotics Group (Гонконг) и множество реализаций minimum snap и jerk генераторов траекторий (btw, jerk и snap это названия соответственно третьей и четвертой производных перемещения по времени, по-русски толчок и рывок). Мы интегрировали решение от HKUST Aerial Robotics Group. Результатом работы данного модуля является гладкое движение дрона с отклонением от препятствий.

Один из примеров полёта у нас в подвале:

Еще один пример работы планировщика уже в симуляторе Gazebo:

Восприятие

В задачи восприятия, которых мы касаемся здесь, входят детекция (и локализация)

• кубиков с логотипом (задача 1);

• посадочной площадки (все задания);

• QR-кодов (задание 2);

• препятствий и ворот (задание 3).

Для детекцией кубиков хватило базовых методов OpenCV: SIFT + Homography + PnP. Т.к. мы знали паттерн на сторонах куба, достаточно было определить точное положение этого паттерна относительно камеры, а дальше можно получить позицию относительно любой системы координат. Для этого был написан простой пакет под ROS на python.

Для QR кодов помимо координат необходимо было произвести расшифровку кода. На python с этим отлично справляется библиотека zbar.

Забавно было с детекцией ворот и препятствий. На этапе симулятора мы заюзали кластеризацию облаков точек на базе https://github.com/PRBonn/depth_clustering. Ворота сегментировались как один кластер и мы задавали траекторию полета через его центр. Если вместо ворот были препятствия, их облетал алгоритм траекторного управления с обходом препятствий (см. выше).

На этапе полигона мы, конечно, от этого ушли :)

Ad hoc vs унифицированные подходы

Общефилософское отступление в целом о соревнованиях. С одной стороны, соревнования направлены на стимулирование развитие технологий для практического применения. С другой, искусственность соревнований обуславливает то, что более простые решения, работающие для конкретных условий, выигрывают в сравнении с более общими подходами, которые к тому же требуют более длительной разработки. Вообще, это называется костыли, но, говорят, есть более научный термин: Ad hoc.

В нашем случае, у нас были в заготовке еще до соревнований некоторые универсальные средства: планировщики, сегментация облаков, конструкция дрона, программная инфраструктура. С другой стороны, воля к победе требует в процессе отладке во время соревнований применять и некоторые оптимизации и упрощения.

Хорошим примером здесь будет наш планировщик для первого задания. Можно делать универсальный алгоритм с NBV, оптимизацией движения с целью максимального захвата камерой неисследованного объема, а можно, зная размеры комнат и что они имеют простую форму, задать несколько рандомных точек в каждой. Также можно задавать направление движения, зная что карта устроена для движения по или против часовой стрелки. Еще забавный момент если предположить, что организаторы расставили объекты поиска в точки с целыми координатами (или с координатами кратными 0.5), что свойственно человеку, можно довести точность их определения дроном до абсолютной простым округлением :)

Отступление 2

Читайте регламент заранее и рассчитывайте на худший сценарий. Если заметили неточность, предлагайте уточнение.

Отступление 3

Все кто делают дронов, рассчитывайте на тройное резервирование, бюджеты умножьте на 3 и не соглашайтесь на меньшее :) Дроны падают.

Обещанное видео падений:

И еще. Делайте бэкапы. У нас, например, накрылась флешка со всей системой на бортовом компьютере и это стоило нам дня соревнований и ночи восстановления.

Полигон и летающая звезда Давида

Технополис Эра

Эра это военный Технополис. Круто, что он у моря. Расположение Технополиса на морском побережье создает комфортные условия для работы и жизни. сказано на сайте Технополиса :)

И да, у них свой пирс с вертолётной площадкой.

Особенностью работы в военном Технополисе является отсутствие Интернета, в том числе мобильного из-за экранирования. Поступали так:

Полигон

Полигон в его вариантах для разных заданий выглядел так:

Железо

Дроны других участников

Технология тряпочки

Надеюсь, ребята из Fast Sense Studio не поругают меня за разглашение ноу-хао с тряпочкой, т.к. это яркий пример того, с чем приходится сталкиваться при работе с реальным железом, особенно если сравнивать с симулятором.

Итак, уважаемые знатоки, внимание, вопрос: для чего нужна тряпочка на взлетно-посадочной площадке?

Наш дрон

Про звезду Давида мы не специально (кажется). Просто такая форма получилась достаточно жесткой.

Вообще, конструкция сделана модульная, с расчетом на ремонтопригодность, изготовление на базе стандартных карбоновых трубой и 3D-печатных деталей.

Последних мы взяли с собой мешочек про запас. Питстоп по замене сломанного крепления двигателя не более 60 секунд:

Полёты

Репортаж о соревнованиях и дронах, у которых есть имена (источник):

Победила дружба

По результатам соревнований судейской коллегией было принято решение не выявлять победителей, т.к. ни одной командой не были пройдены задания второго тура целиком. По итогу: 1) потрачено много запчастей и нервов, 2) было весело, собрались интересные ребята, 3) победила дружба. Следующие соревнование организаторы планируют проводить с теми же заданиями. А мы занимаемся прикладной разработкой и поглядываем на MBZIRC. Привет участникам и организаторам!