Cascadeur

Спустя 10 лет разработки и 2 года бета-тестирования Cascadeur, программа для создания физически корректной персонажной анимации, вышел в ранний доступ! Пользователям доступны 4 варианта подписки, один из которых совершенно бесплатный.

Cascadeur позволяет создавать реалистичные экшн сцены минимальными средствами и без использования mocap, учитывая параметры физической модели персонажа. Программа обладает низким порогом входа, что делает ее доступной и понятной для новичков. Она также включает в себя инструменты на основе искусственного интеллекта, AutoPosing и AutoPhysics, которые значительно упрощают постановку позы и дальнейшую работу над анимацией.


Данный релиз является итогом двухлетнего бета-тестирования, в котором приняли участие более 70.000 человек из индустрии по созданию компьютерной графики и визуальных эффектов. Однако на этом разработка Cascadeur не заканчивается.

В будущем в программу планируется добавить ряд новых функций, включая поддержку циклов в анимации, возможность создавать кастомные пользовательские риги, а также Python-скриптинг, который призван облегчить создание рига и автоматизировать анимационные задачи. С планами на развитие Cascadeur можно познакомиться по ссылке.



Скачать программу можно на официальном сайте проекта cascadeur.com/ru. Здесь же вы найдете все необходимые материалы для того, чтобы начать анимировать прямо сейчас.

Узнать о Cascadeur больше:

Вложенность нейросетей инструмента автопозинга в Cascadeur
Почему 12 принципов Диснея недостаточно
Cascadeur: будущее игровой анимации

На этой неделе: команда Unity выпустила экспериментальные инструменты для тестирования UI и новую версию Burst 1.5, в раннем доступе вышел Cascadeur 2021.1, вышел Unigine 2.14 с поддержкой C# 9 и новым генератором террейна, MetaHuman Creator запущен в раннем доступе, вышли LuxCoreRender 2.5 и BlendLuxCore 2.5, Unity 2021.2 до конца года получит нативную поддержку DLSS, вышла альфа версия Blender 3.0.

Из интересностей: туториал про запекание освещения с помощью GPU Lightmass в UE4, статья про моделирование меха в Unity с помощью UModeler, воссоздание KITT из Knight Rider с помощью GANverse3D.

Небольшое отступление

Уже какое-то время веду дайджет с ностями из мира разработки игр. Решил и на Хабре публиковатьт, т. к. тут много разработчиков игр.

Обновления/релизы/новости

Экспериментальные инструменты для тестирования UI в Unity

Новый пакет позволяет пользователям записывать взаимодействия с пользовательским интерфейсом Unity проектов и, при необходимости, использовать записи для проведения тестов, как в редакторе, так и на iOS/Android устройствах.

В будущем планируется дать возможность тестировать на реальных устройствах в облаке. Записаться на ранний доступ можно на этой странице.

Документация доступна тут.

Unity 2021 и Burst 1.5

В сотрудничестве с Arm добавили в этой версии интринсики. Это позволяет использовать конкретные аппаратные инструкции, доступные на Arm платформе, включая векторную технологию Neon. Ключевое:

• Hint.Likely, Hint.Unlikely и Hint.Assume для подсказки компилятору.
• Direct Call.
• IsConstantExpression для проверки на константность.
• Атрибут [SkipLocalsInit]. По функциональности как [SkipLocalsInitAttribute] из C# 5.
• Множество мелких улучшений.

Прокачиваем графику и производительность с помощью RTX, DLSS и Reflex

На GTC много чего интересного показали. Nvidia по итогу написала отдельный пост про все новшества, касающиеся софтверной части.

В раннем доступе вышел Cascadeur 2021.1, новая версия инструмента для создания анимации без использования захвата движений

Обновление добавляет новый инструмент AutoPhysics, который автоматически создаёт физически точную версию существующей анимации и позволяет использовать инструмент AutoPosing на основе ИИ для любого персонажа-гуманоида.

С обновлением Cascadeur переходит в ранний доступ. Вместе с этим представлено 2 новых плана подписки. При этом софт остаётся бесплатным для всех, кто зарабатывает менее 100 000 долларов в год.

Так же можно ознакомиться с роадмапом разработки Cascadeur.

Вышел Unigine 2.14 с поддержкой C# 9 и новым генератором террейна

Помимо этого добавились новые типы облаков, обновлена система по работе с водой, добавлен новый инструмент для дебага освещения.

Вышли LuxCoreRender 2.5 и BlendLuxCore 2.5

Команда LuxCoreRender выпустила новую версию физического рендерера с открытым исходным кодом, добавив поддержку аппаратно-ускоренной трассировки лучей на графических процессорах Nvidia RTX.

MetaHuman Creator запущен в раннем доступе

Теперь вы можете создавать уникальных мета-людишек и загружать их для непосредственного использования в Unreal Engine.

Команда также решила предоставить пользователям более 50 готовых MetaHumans для загрузки и использования в Unreal Engine проектах прямо из Quixel Bridge.

Unity 2021.2 до конца года получит нативную поддержку DLSS

В Unity 2019 LTS уже появился RTX, а теперь Nvidia сообщила, что Unity планирует до конца 2021 встроить NVIDIA DLSS (Deep Learning Super Sampling) в конвейер HDRP движка Unity 2021.2.

Об этом объявили на конференции GTC 2021, где разработчики LEGO Builder's Journey показали, что с включенным DLSS у игры возрастает FPS в несколько раз.

Вышел Atoms VFX 4.0 с новой системой Behaviour Tree

Новая версия системы анимации толпы для Maya и Houdini позволяет настраивать более сложное условное поведение для персонажей. А также в этой версии появился новый импортер для анимаций из библиотеки Adobe Mixamo.

Появилась новая версия лицензии Personal Learning Edition (PLE) с ограниченными возможностями, позволяющая использовать её бесплатно в некоммерческих проектах.

Начался открытый бета-тест 3DCoat 2021

Pilgway выпустили бесплатную открытую бета-версию 3DCoat 2021, инструмента для воксельного моделирования, ретопологии и 3D-рисования, радикально изменив пользовательский интерфейс приложения, движок кистей и рендеринг вьюпорта.

Новая версия Redshift для Mac

Maxon выпустила новую версию своего рендера для macOS с полноценной поддержкой M1.

Обновление позволяют пользователям хост-приложений, работающих на macOS, включая Blender, Cinema 4D, Houdini и Maya, использовать средство визуализации на текущих ноутбуках и рабочих станциях Mac.

Вышла альфа версия Blender 3.0

Это версия станет первым выпуском в рамках новой системы нумерации Blender. Все новые версии будут вида 3.x: 3.1, 3.2, 3.2 и т. д. Из новых фич в этой версии только новый браузер ассетов.

Из других новостей, была выпущена бета-версия Blender 2.93. Примечания к выпуску Blender 2.93 доступны здесь.

Вышел Phoenix 4.40 для 3ds Max и Maya

Chaos выпустили обновление своего инструмента для моделирования флюидов для 3ds Max и Maya, добавив поддержку столкновений между плавающими объектами с использованием физики Bullet, новую Massive Wave Force для поверхностей океана и поглощения цвета в дыму.

Виртуальная клавиатура под вебом в Godot

А также обновлённый HTTPClient с Fetch API под капотом.

Интересные статьи/видео

Запекание освещения с помощью GPU Lightmass в UE4

Уильям Фаучер рассказывает о том, как выполнять запекание освещения для внутренних сцен с помощью GPU lightmass в Unreal Engine 4.26.

Туториал основан на 2-часовой прямой трансляции по той же теме и включает в себя основные моменты.

Моделирование меха в Unity с помощью UModeler

В этот раз KKamjang поделился новым проектом The Combat Robot. Всё сделано с помощью плагинов UModeler и Surforge. Не думал, что с помощью плагинов можно полноценно моделировать что-то сложное в Юньке.

Разное

Воссоздание KITT из Knight Rider с помощью GANverse3D

Nvidia опубликовала демонстрацию, показывающую, как GANverse3D, её новый движок глубокого обучения, использовался для преобразование 2D изображения в 3D.

Эта технология, которая будет добавлена к Nvidia Omniverse, может создавать текстурированную 3D-модель любого типа реального объекта, на котором она была обучена, из одного 2D-изображения.

---

Буду рад любому фидбеку.

Мы уже рассказывали о нашем инструменте автопозинга в программе Cascadeur, но есть еще несколько интересных деталей, которыми мы хотели бы поделиться. В частности мы не говорили о том, как именно комбинируем работу нескольких нейросетей в одном инструменте.

В этой статье будет рассмотрен подход, позволивший нам реализовать достаточно продвинутый функционал, используя лишь стандартные deep learning методы.

Постановка задачи

Мы хотим дать пользователю возможность ставить позы быстро. Он может управлять позициями интересующих его точек, а инструмент будет выставлять по ним позиции остальных точек, сохраняя позу реалистичной.



Использование полносвязных нейросетей предполагает фиксированные вход и выход, поэтому мы сделали несколько нейросетей с разным количеством входных точек: 6, 15, 20, 28 точек из всех 43 точек персонажа. На картинках ниже в зеленый окрашены те точки, которые подаются на вход нейросети соответствующего уровня детализации.


В чем же проблема использования уровней детализации? Если мы хотим подвинуть точку из 4-го уровня, то нам нужно подать на вход все 28 точек. Но мы не хотим заставлять пользователя ставить их все. Наша цель дать ему возможность подвинуть только несколько из них. Как в таком случае добиться хорошего результата? Наше решение предполагает вложенность входных данных, комбинирование результатов и использование физической модели.

Вложенность входных данных

Мы выбрали такие уровни детализации, которые имеют особое свойство иерархической вложенности.


Множество входных точек нейросети каждого уровня содержит в себе все точки с предыдущего уровня и добавляет к ним несколько новых. Это позволяет нам использовать выходные данные с одной сети как входные для следующей.

Комбинирование результатов

Давайте рассмотрим работу инструмента на примере: пользователь расставил все 6 основных точек и решил отредактировать ориентацию левой кисти за счет дополнительных точек кисти со второго уровня детализации.


Как только вы меняете еще одну точку, кроме основных 6, инструмент запоминает ее и начинает использовать в вычислении позиции других точек. Работа инструмента происходит в несколько этапов в зависимости от отредактированных точек. В данном случае весь процесс схематично изображен на картинке ниже.


Сперва используется сеть первого уровня она выставляет все 43 точки персонажа по 6 основным. Затем по очереди вызываются сети более детальных уровней. Каждая последующая принимает на вход все более детальные входные данные либо уточненные пользователем, либо из результата работы предыдущего уровня. Таким образом мы получаем возможность использовать нескольких нейросетей с разной детализацией одновременно.

Физическая корректность

Поскольку модели машинного обучения несовершенны, а наша нейросеть предсказывает глобальные позиции точек, итоговая поза будет иметь ошибку в длине ребер. Это исправляется с помощью итеративного физического процесса, который и восстанавливает длину ребер. Если снизить количество итераций в настройках программы, то можно сразу увидеть, как это влияет на финальный результат.


Этот процесс вызывается после работы каждого из уровней, чтобы не допустить ситуации, когда на вход нейросети подаются точки из некорректной позы.

Заключение и планы

Итак, созданный нами инструмент доказал свою пользу на практике. Он помогает нам при создании анимации уже на самом первом этапе, когда необходимо видеть приблизительные позы. В будущем мы планируем добавить поддержку пользовательских гуманоидных скелетов, а также сделать инструмент более точным и устойчивым.

Также мы исследуем возможности, которые дарят нам более универсальные deep learning подходы. Например, уже сегодня можно восстанавливать части фотографий с заданными характеристиками, а также переносить стиль и другие характеристики между изображениями. В будущем мы могли бы использовать этот метод и при создании анимации, например, чтобы добавить в нее или же в позу желаемые характеристики.

Мы продолжаем развивать наш инструмент автопозинга. Уже в ближайшее время Cascadeur войдет в стадию открытого бета-теста. Обязательно следите за новостями на cascadeur.com и в социальных сетях проекта.

Узнать больше о Cascadeur и других проектах студии Banzai Games:

Почему 12 принципов Диснея недостаточно
Cascadeur: задача о падающей кошке
Физика в Unity-проекте на примере мобильного файтинга
Cascadeur: будущее игровой анимации
Искусственный интеллект в файтинге Shadow Fight 3

В команду Banzai Games требуется Qt GUI программист. Подробнее о вакансии можно прочитать здесь.

Со времени первого анонса Cascadeur в начале 2019 года уже более 18 000 пользователей приняли участие в закрытом бета-тестировании программы. У аниматоров, занимающихся разработкой игр и созданием фильмов, было более 12 месяцев, чтобы испытать в работе наш инструментарий.

Сегодня мы рады сообщить о запуске открытого бета-теста (ОБТ) своей анимационной программы для физически корректной анимации персонажей. Благодаря ОБТ протестировать и оценить ее возможности сможет более широкий круг пользователей.

Подход Cascadeur к анимации значительно облегчает достижение точной механики тела. Теперь я уверен, что инструменты для физически корректной анимации станут ожидаемым стандартом в индустрии, поделился мнением один из первых пользователей Cascadeur, анимационный директор Polyarc Ричард Лико, ранее работавший над Destiny 2.

Опрос, проведенный издателем Nekki в апреле 2020 года, показал, что 85% бета-пользователей Cascadeur считают его инструментом, который будет играть важную роль в их будущих проектах. В январе 2020 года Nekki и Cascadeur были номинированы на премию Pocket Gamer Mobile Games в номинациях Best Innovation и Best Tool Provider, что является редким достижением для еще неизданного продукта.





Над открытой бета-версией Cascadeur мы работали в течение года. Большинство изменений могут быть невидимыми на первый взгляд, но внутри программы был сделан глобальный редизайн всей архитектуры. Основные особенности новой версии включают:

• Новую архитектуру, которая делает Cascadeur намного быстрее и эффективнее

• Улучшения рига, такие как способность перетаскивать или вращать центр масс без его фиксации и улучшенная интерполяция

• Доработку инструментов создания рига

Новая архитектура Cascadeur значительно ускорит процесс разработки и оптимизации программы. Следующие шаги будут включать в себя:

• Дальнейшее улучшение риггинга, с возможностью создания кастомных ригов

• Поддержка Python для автоматизации процессов

• Бета-версия инструмента Graph Editor

Чтобы сделать использование Cascadeur привлекательным для профессиональных аниматоров, Nekki разрешает бесплатное коммерческое использование бета-версии. Любая анимация, созданная в ОБТ-версии Cascadeur, может быть бесплатно использована в играх и фильмах без предварительного разрешения Nekki.

Мы хотим наглядно продемонстрировать вам основные особенности и инструменты Cascadeur в новом 5-минутном видео:



Получить более подробную информацию и скачать ОБТ-версию Cascadeur вы можете на cascadeur.com

Узнать о Cascadeur больше:

Вложенность нейросетей инструмента автопозинга в Cascadeur
Почему 12 принципов Диснея недостаточно
Cascadeur: задача о падающей кошке
Cascadeur: будущее игровой анимации