Экстрасенсорные шпионы из Китая пытаются украсть восторг вашего разума дроны в кино

История о нашем первом проекте с кинодронами. В серии статей расскажу о том, как связаны кино и робототехника, и об особенностях управления коптером для автоматической видеосъемки. Также будет о нашем опыте в теме и голливудской мечте.

It's understood that Hollywood

sells Californication

Как мне кажется, у меня необычный творческий путь. Знакомство с Unix-системами я начал с QNX, микроядерной системы реального времени с красивой правильной архитектурой, работу с БПЛА с дирижаблей, которые используют аэростатическую подъемную силу и больше похожи на подводную лодку, чем на обычный дрон-коптер. Работу же с мультикоптерами я начал уже позже с первого самостоятельного проекта нашей команды RaccoonLab, состоящего в создании системы автоматизированной художественной кино-съемки с дрона. Необычность этого проекта состояла еще и в том, что он делался удаленно, во взаимодействии с командой в долине, что для робототехники даже в текущие времена общепризнанной дистанционки остается необычным.

Этот проект стал важным в нашей судьбе, мы о нем часто вспоминаем и возвращаемся к нему (либо его составляющим). Например, к нам заезжал Фёдор Бондарчук, который сказал, что такие штуки ох как нужны. Или когда презентовали первый художественный фильм снятый в Иннополисе (Он, она и робот), была сессия общения с командой FILM24.PRO. Там вживую можно было посмотреть на RED камеру, о которой было так много разговоров в нашем проекте (похоже, она действительно классная).

А недавно в нашем пространстве Арт Спейс состоялась встреча о взаимном сотрудничестве по вопросам технологического развития IT-отрасли и киноиндустрии.

Многие технологии, которые мы используем для других задач, отсюда тоже гладкие кривые, параллельное управление дроном и камерой на подвесе, MPC, фотограмметрия, DJI SDK, аппаратные средства (дроны DJI, компьютеры Nvidia, RTK, радиолинки и т.п.).

Еще нельзя не вспомнить про волшебное знакомство с работой бизнес-ангелов и с невероятным человеком Botao (Amber) Hu. Он разработчик и предприниматель китайского происхождения из Калифорнии, делал первую версию DJI ROS SDK, стажировался и работал в HKUST, Google, Microsoft, Pinterest, Twitter, DJI, оттачивал мастерство программирования на русских онлайн-олимпиадах, запустил несколько проектов, занимался профессиональной фотографией (здесь его спич с TEDx о том как это связано с дронами) и оплатил наш заказ на коптеры для работы два раза, не сразу заметив это :)

Простите, похоже опять получается лонгрид, поэтому разобью на пару частей.

Про роботов в кино

Кинематограф будущего стоит на IT-технологиях, цифровых хранилищах, компьютерной графике, виртуальной, дополненной и смешанной реальности, искусственном интеллекте, нейросетях.

Не будем рассматривать всё IT, пощупаем хотябы области пересечения кино и роботов (и прежде всего рассмотрим роботов, использующихся в процессе съемки за кадром, а не в качестве героев фильмов).

Л: Именно. Технологии всегда просто облегчали жизнь. Быстрее доехать, дешевле купить, жить в лучшем доме и прочее. То же самое и с информационными технологиями. Вот предположим, все соединены со всеми. Что дальше? Что тут еще можно сделать? Конечно, можно улучшить качество связи, но это не принципиальная разница. Значит, куда нас ведут технологии? На мой взгляд, следующий серьезный шаг это развлечения.

Д: Развлечения как венец развития

Линус Торвальдс, Дэвид Даймонд Just for Fun. Рассказ нечаянного революционера

Роботы для кино это целая индустрия со своими звездами и серьезными бюджетами. В целом, роботы используются в кино как:

• интерактивные объекты в кадре (зачастую под проект);

• инструменты 3d моделирования;

• инструменты съемки (летающие камеры).

Motion capture

Одна из технологий, которые очень роднят робототехнику и кино, motion capture, система захвата движений на основе высокочастотных камер, определяющих положение специальных маркеров. Позволяет оцифровать движения актёра и использовать их для управления трёхмерной моделью персонажа.

Здесь пересечение в том, что технология, широко применяемая в кино, известна и робототехникам. В робототехнике используется как локальная навигационная система для определения положения и ориентации робота для управления и ground truth. Прежде всего используется в ресерче. Так, мы используем решение от Optitrack, чтобы анализировать движение нашего Тенсодрона.

Фотограмметрия

Вместо хромакея

(немного оффтоп но к месту)

Недавно я узнал про новую тенденцию в кинопроизводстве: круговые дисплеи, LED-панели, которые с использованием технологий видеоигр создают реалистичный мир вокруг актеров. Эта штука выводит на первый план VFX (создание визуальных эффектов), которое делается не на этапе постпроизводства, а до съемки с актерами (virtual production workflow).

Собственно фотограмметрия

Для создания этого фонового мира в virtual production workflows вместо ручной прорисовки 3d-художниками все чаще используется технология фотограмметрии. Фотограмметрия это процесс создания 3D-моделей из нескольких фотографий одного объекта, сделанных с разных углов.

Это технология уже связывает не только кино и роботов, но и кино и дроны, т.к. фотограмметрия очень часто делается с дронов.

Мы использовали DroneDeploy, есть Pix4D и ряд опенсорс решений (Colmap и др.). Есть также Metashape от российской Геоскан, которая, кстати, используется в Голливуде.

Летающие камеры

Мы постепенно подбираемся все ближе к дронам. Но пока сфокусируемся на одной особенности камер (точнее даже не их самих), которые используются как на дронах, так и в целом для киносъемки: наличие стабилизаторов (или подвесов gimbal).

Недавно благодаря DJI Osmo стабилизированные камеры получили уже совсем широкое распространение. Немногим ранее подвесы в основном использовались профессиональными операторами для получения гладкого видео без скачков при движении оператора.

Среди производителей профессиональных решений в этой области можно назвать Freefly Systems, DJI. В России, похоже, тоже есть интересная история на эту тему (см. Forbes).

Еще одна компания, специализирующаяся на робототехнике для съемки видео (больше для ТВ) Мовиком. Когда-то давно они участвовали в проведении соревнований Мобильные роботы на мехмате МГУ. Сейчас их летающие камеры имеют тросовые системы для перемещения (по сути кабельный робот). Их решения широко используют во всем мире в ситуациях, когда нельзя летать на дроне (например, на стадионах над людьми).

Наконец, перейдём к дронам самому удобному и свободному способу съемки. Конечно, дроны имеют и некоторые недостатки, например угроза безопасности и запреты полетов над людьми, упомянутые выше, а также относительно малое время работы. Однако, перед вертолетами, с которых выполнялась съемка раньше, дроны имеют явные преимущества в дешевизне, компактности, возможности съемки с нескольких ракурсов несколькими аппаратами. Ну и роботизация и все прелести автономности.

Что заменяет дрон в кино:

• вертолёты;

• операторский кран.

Не нужно рассказывать, что любительская фото-видеосъемка основное применение дронов, и что лидером в области дронов является компания DJI (про одну новую компанию-единорога, которая круче, в следующей части). У DJI есть как любительские так и профессиональные решения для киносъемки (см. Ronin и M600). Другая компания, Freefly, специализируется именно на направлении кинодронов целиком. Совсем недавно компания Sony тоже представила высокотехнологичный кинематографический дрон.

Выход Sony на рынок произошел после того, как DJI, ведущий производитель дронов в мире, был добавлен в черный список в США вместе с другими китайскими технологическими компаниями, такими как Semiconductor Manufacturing International Corp.

Нехорошие ребята, выгнали DJI с рынка :) Тема дронов становится еще горячее.

Президент и генеральный директор Sony Кеничиро Йошида отметил, что Airpeak позволит создателям видео исследовать новые горизонты, давая возможность удаленно снимать изображения сверху. Он может превратить небо в бесконечную игровую площадку, - сказал он, добавив, что дрон откроет новые формы развлечений.

Это он, наверное, про витающую в умах мысль, что кино будущего превратится в компьютерную игру.

Еще про роботов в кино (и в том числе про российские компании) здесь:

Запись эфира youtube-канала PRO Роботов

Гладкость, плавность и повторяемость

Зачем нужно автоматизировать киносъемку с дронов?

Обычно профессиональная съемка с БПЛА выполняется двумя операторами. Это связано с тем, что нужно одновременно управлять движением дрона в пространстве и камерой её ориентацией, зумом, фокусом (или, в общем, тем, какой получается кадр). Соответственно, степеней свободы 6 + 3 минимум, одному справиться сложновато.

Особенности (и боли) этой работы следующие:

• Сложность управления: управлять дроном в целом нужно учиться, а управлять дроном с камерой так, чтобы движения (и финальное видео) были секси (гладкие и без рывков), ещё сложнее. И плюс к этому совместная работа 2 операторов.

• Невозможность предпросмотра: нужно множество репетиций.

• Сложность повторения: если удалось один раз сделать классный кадр, то повторить (это же кино, нужны дубли) его уже сложнее или невозможно с нужной точностью в ручном режиме.

• Проблема масштабирования: длительное время обучения (и сработки) операторов.

Итого, основные требования к системе/процессу съемки с БПЛА, которые я прочувствовал, погружаясь в тематику:

• плавность кадра;

• повторяемость;

• предпросмотр.

Повторяемость, кстати, нужна не только для множества дублей, но и для создания художественных эффектов на основе съемки одной и той же сцены в разных условиях (день/ночь, зима/лето и тому подобное).

Клип Radiohead Man Of War (явная игра с переключением времени суток):

В целом, процесс, конечно, творческий, и под определенную идею может понадобиться кастомизация.

Выводы в конце статьи

Дроны это классно, автономные дроны это еще круче, автономные дроны для кино мечта и апофеоз развития технологий (смайлик).

И немного подробнее: роботы в кино могут использоваться как в кадре (интерактивные элементы или даже герои), так и за кадром для обеспечения самого процесса съемки. Летающие камеры (кинодроны) дают кучу преимуществ по сравнению с другими средствами (вертолетами, краном). А их автоматизация в свою очередь позволяет создавать различные художественные эффекты за счет плавности, повторяемости и точности движений.

В следующей части: сплайны девятого порядка и прочая матчасть, наш Голливуд (головокружение, предпросмотр и другие кейсы), истина где-то рядом (обзор рынка).

Наша команда: instagram.com/raccoon.lab

Саундтрек к статье (и объяснение странного заголовка):

And tidal waves couldn't save the world

From Californication