Анимация и 3d графика

Спустя 10 лет разработки и 2 года бета-тестирования Cascadeur, программа для создания физически корректной персонажной анимации, вышел в ранний доступ! Пользователям доступны 4 варианта подписки, один из которых совершенно бесплатный.

Cascadeur позволяет создавать реалистичные экшн сцены минимальными средствами и без использования mocap, учитывая параметры физической модели персонажа. Программа обладает низким порогом входа, что делает ее доступной и понятной для новичков. Она также включает в себя инструменты на основе искусственного интеллекта, AutoPosing и AutoPhysics, которые значительно упрощают постановку позы и дальнейшую работу над анимацией.


Данный релиз является итогом двухлетнего бета-тестирования, в котором приняли участие более 70.000 человек из индустрии по созданию компьютерной графики и визуальных эффектов. Однако на этом разработка Cascadeur не заканчивается.

В будущем в программу планируется добавить ряд новых функций, включая поддержку циклов в анимации, возможность создавать кастомные пользовательские риги, а также Python-скриптинг, который призван облегчить создание рига и автоматизировать анимационные задачи. С планами на развитие Cascadeur можно познакомиться по ссылке.



Скачать программу можно на официальном сайте проекта cascadeur.com/ru. Здесь же вы найдете все необходимые материалы для того, чтобы начать анимировать прямо сейчас.

Узнать о Cascadeur больше:

Вложенность нейросетей инструмента автопозинга в Cascadeur
Почему 12 принципов Диснея недостаточно
Cascadeur: будущее игровой анимации

Мы живём в удивительное время. То, что раньше было невероятным, сегодня у нас буквально валяется под ногами. В наши дни любой человек может сделать свой собственный мультфильм. Анимационные программы упрощают и ускоряют этот процесс настолько, что даже один человек ну будучи аниматором, может сделать настоящий анимационный фильм.
С удовольствием поделюсь полученным мною опытом. Речь будет идти о 2D-анимации, но многие моменты равно применимы и к 3D. Кому будет интересно ссылка на сам мультфильм в конце поста.

Вся работа от сценария до финального сведения всех сцен заняла 9 месяцев. Когда ты работаешь над мультфильмом один, стоимость производства это твоё время (твой основной ресурс). Именно, поэтому, авторская анимация это большое количество компромиссов. Для снижения стоимости проекта потребуется отказ от многих аспектов большого фреймрейта, от избыточной детализации, от крутых текстур, от сложных движений, от покадровости, от мультиперсонажности, от диалогов (озвучки), от саунд-дизайна (окружающие звуки), от спецэффектов, и ещё много чего. Но давайте разбираться с полученными уроками по порядку.

Анимация это сила. В анимации можно решить любую задачу. При написании сценария есть соблазн что-то не делать, потому, что на тот момент ты не представляешь как это нарисовать и, тем более, санимировать. Но когда начинаешь решать конкретную задачу находишь удивительные и простые решения. При написания сценария, не бойтесь! Ни за что не ограничивайте полёт своих мыслей.

Анимация это не самое важное. Анимация на втором месте. История важнее анимации. Она должна быть интересной, стоящей, поучительной. Анимация лишь раскрывает вашу историю.

Время растягивается. Как регулярно происходит в настоящем анимационном продакшене, в процессе производства стоимость проекта повышается. Если вы делаете свой первый мультфильм, то времени потребуется гораздо больше, чем вы предполагали. Нет, ещё больше. Одна из причин мы слишком оптимистично представляем себе сам процесс, переоцениваем свои способности, знания и навыки, а они требуются сразу из многих областей (рисование, композиция, цвет, принципы анимации, опыт тайминга, спэйсинга, ритм, строение кадра, монтаж, эффекты, свет и тень, текстуры и др.). Будьте готовы, что всплывёт отсутствие знаний, навыков сразу в ряде областей. И это тоже растянет время.

Выгорание. Следствие предыдущего урока за такой длительный период вы несколько раз загораетесь и перегораете. Требуется большая усидчивость, чтобы довести дело до конца. Самый действенный приём заставлять себя делать небольшие задания. Например, вы садите себя за компьютер и решаете сделать несколько простых и коротких элементов, кадров. Начиная работать над ними, вы, действительно, можете ими ограничиться и выключить комп. Но часто (на самом деле очень часто), начиная работать ты втягиваешься, рождается вдохновение, как следствие твоего труда и ты делаешь гораздо больше, чем планировал изначально.

Ускорение развития навыков. Чередуйте, банально переключайтесь между теорией (20%) и практикой (80%). Не впадайте ни в одну, ни в другую крайность. Понятно, если вы ограничитесь теорией, то вы ничего, никогда и не сделаете. Но часто многие ограничиваются практикой, силовым методом и это тоже снижает скорость развития. Из 5 часов 1 час изучайте, 4 делайте. По-моему опыту это заметно ускоряет.

Замыливание. Не мыльте глаза. Старайтесь пересматривать свои сцены не слишком часто глаз замыливается очень быстро. Пополишуйте одну сцену и отложите в сторону на день. На следующий день увидите ей другими глазами.

Всегда понимаешь, что сценарий плох. В процессе работы над своим мультом, у вас будут появляться более лучшие идеи, решения. Стоит ли следовать изначально утверждённому плану или на ходу перелепливать пельмени? Мой совет перелепливать, в итоге получится лучше!

Название мультфильма. Лучшее название для вашего фильма появится в самом конце. Вы сразу его узнаете. Мультфильм вы начинаете делать просто с рабочим названием.

Зритель видит по-другому. Рассказывать истории очень сложно. Имеет значение всё. Зритель не увидит так как хочешь ты, он увидит так как он видит. И отсюда сразу два урока:
Чётко управлять вниманием, фокусировать на важном (прежде всего движением, в т.ч. камеры, контраст, световой/цветовой, выбивание/отличие из ряда и т.д.).
Обязательно устраивать предпоказы узнаешь как видят твою историю другие люди (зритель не смотрит туда, куда нужно посмотреть, упускает нить повествования, внимание рассеивается, расфокусируется, и т.д.).

Развитие сцены. Сцена должна развиваться. Не выкладывайте зрителю все карты сразу. Сначала покажите лампу, потом, что она может светиться, потом, что можно регулировать яркость свечения, потом, что может мигать одинаковым тактом, потом неравномерным тактом (под музыку), потом, что может светиться разными цветами и т.д. Развивайте сцены.

Недержание стиля. Сложно держать стиль. Почему так сложно выдержать его? Всё просто за полгода-год работы вы не можете не измениться, развиваются ваши навыки, представления, видение сейчас вы бы сделали по-другому, лучше. Но нужно сохранить начатый год назад стиль, чтобы произведение было цельным и не разрывалось.

Чёрного цвета не существует. Чёрного не существует, это выдумка америкосов. Никакого абсолютно чёрного цвета. Для контуровки и деталей используйте очень тёмные оттенки. Результат будет лучше.

Повышение производственной эффективности:
Банальное разбиение на сцены ускоряет работу, через вырезание/перемещение ключей, открытие проекта, пререндеринг).
Чистота структуры (легко и быстро читаемые прежде всего вам названия слоёв, объектов, кистей, темплейтов). Если вы задумались над элементом значит, название для него подобрано неудачное.
Простая система наименования сцен.
Качественное планирование (сценарий, сториборд, аниматик, Списки требуемых фонов, персонажей, пропсов, эффектов и т.д.). По умолчанию получается Анимация в воде слишком гладкая, нет динамики. Планирование в итоге просто сэкономит время, а поднимет анимацию на уровень выше.
Специализация. Делать работу по этапам (только фоны подряд или только риги или только пропсы). Без разницы в какой очерёдности.
Оптимизация количества локаций, фонов, количество персонажей не рисовать ненужное, несущественное, не значимое, не несущее ценной информации.
Стилизация картинки (упрощение) условные блики на стёклах, ограниченная цветовая схема на весь проект и т.д.
Скелетный подход. Накидать сцены в грубую, а потом дополишовывать (в итоге эффективнее, чем вылизывать каждую сцену до идеала).

Рисование фонов. Фоны нужно рисовать с учётом предполагаемого композитинга:
Каждый элемент фона на отдельном слое, чтобы можно было на этапе композитинга передвинуть объекты и использовать эффект параллакса.
Рисовать фоны важно в перспективе (Прямые анфас и профиль не интересные, всегда интересны перекрестки, углы, склоны, подъёмы).
Одинаковости в мире не существует (даже одинаковые элементы должны различаться деталями).
Аккуратно с детализацией (изляшняя проработка фона может отвлечь внимание зрителя с важных событий).

Риггинг. Риги нужно конструировать, учитывая:
Характер, особенности персонажа (какой он, какие движения ему потребуются, в каких ракурсах он нужен в сценах, планируются ли диалоги). Если не спланируете риг заранее, это может значительно затянуть время производства мультфильма.
Персонажа рисовать прежде всего стоит в ракурсе 3/4, спереди. Самый важный ракурс персонажа. Он чаще всего будет использоваться. Если вы планируете делать диалоги, то хорошо разнообразят картину 3/4 сзади собеседников персонажа.
Максимально упрощайте своего персонажа (без лишних деталей, текстур) гораздо ценнее вложить время в качественную анимацию, что в красивые риги с плохими движениями.
Наименование слоёв для быстрого ориентирования (и здесь тоже).
Важность установки осей вращения (Pivot Point) в темплейте.
Требуемый стиль (реалистичность, резиновость), возможности и ограничения техники перекладки.

Анимация покоя. Персонажи шевелятся всегда моргание, дыхание, покачивание (не существует статики в реальной жизни). Второстепенные персонажи в сцене должны двигаться номинально. Основные ярко. Правильные акценты:
Моргание не равномерно (оно отражает состояние, быстрота моргания, частота).
Микродвижения видны (дыхания, качание, волосы, зрачки и т.д.)

Спецэффекты. Все спецэффекты рисуйте в отдельных проектах. И только когда вас полностью устроит результат, переносите его на свою сцену. Это ускорит процесс создания, увеличит качество результата, вы не навредите уже готовым элементам в ваших сценах.

Полиш создаёт новые ошибки. Полишовать сцены можно бесконечно. Кроме того, исправление
одних ошибок часто приводит к появлению новых.

Ну вот, кажется, все основные выводы, к которым приходишь, получая реальный опыт. Наверное, самым ценным уроком для меня стало понимание насколько огромен мир анимации и сколько возможностей в нём таится.
Как и обещал ссылка на сам мульт. Там же можно посмотреть расширенный разбор моего опыта.

Мы уже рассказывали о нашем инструменте автопозинга в программе Cascadeur, но есть еще несколько интересных деталей, которыми мы хотели бы поделиться. В частности мы не говорили о том, как именно комбинируем работу нескольких нейросетей в одном инструменте.

В этой статье будет рассмотрен подход, позволивший нам реализовать достаточно продвинутый функционал, используя лишь стандартные deep learning методы.

Постановка задачи

Мы хотим дать пользователю возможность ставить позы быстро. Он может управлять позициями интересующих его точек, а инструмент будет выставлять по ним позиции остальных точек, сохраняя позу реалистичной.



Использование полносвязных нейросетей предполагает фиксированные вход и выход, поэтому мы сделали несколько нейросетей с разным количеством входных точек: 6, 15, 20, 28 точек из всех 43 точек персонажа. На картинках ниже в зеленый окрашены те точки, которые подаются на вход нейросети соответствующего уровня детализации.


В чем же проблема использования уровней детализации? Если мы хотим подвинуть точку из 4-го уровня, то нам нужно подать на вход все 28 точек. Но мы не хотим заставлять пользователя ставить их все. Наша цель дать ему возможность подвинуть только несколько из них. Как в таком случае добиться хорошего результата? Наше решение предполагает вложенность входных данных, комбинирование результатов и использование физической модели.

Вложенность входных данных

Мы выбрали такие уровни детализации, которые имеют особое свойство иерархической вложенности.


Множество входных точек нейросети каждого уровня содержит в себе все точки с предыдущего уровня и добавляет к ним несколько новых. Это позволяет нам использовать выходные данные с одной сети как входные для следующей.

Комбинирование результатов

Давайте рассмотрим работу инструмента на примере: пользователь расставил все 6 основных точек и решил отредактировать ориентацию левой кисти за счет дополнительных точек кисти со второго уровня детализации.


Как только вы меняете еще одну точку, кроме основных 6, инструмент запоминает ее и начинает использовать в вычислении позиции других точек. Работа инструмента происходит в несколько этапов в зависимости от отредактированных точек. В данном случае весь процесс схематично изображен на картинке ниже.


Сперва используется сеть первого уровня она выставляет все 43 точки персонажа по 6 основным. Затем по очереди вызываются сети более детальных уровней. Каждая последующая принимает на вход все более детальные входные данные либо уточненные пользователем, либо из результата работы предыдущего уровня. Таким образом мы получаем возможность использовать нескольких нейросетей с разной детализацией одновременно.

Физическая корректность

Поскольку модели машинного обучения несовершенны, а наша нейросеть предсказывает глобальные позиции точек, итоговая поза будет иметь ошибку в длине ребер. Это исправляется с помощью итеративного физического процесса, который и восстанавливает длину ребер. Если снизить количество итераций в настройках программы, то можно сразу увидеть, как это влияет на финальный результат.


Этот процесс вызывается после работы каждого из уровней, чтобы не допустить ситуации, когда на вход нейросети подаются точки из некорректной позы.

Заключение и планы

Итак, созданный нами инструмент доказал свою пользу на практике. Он помогает нам при создании анимации уже на самом первом этапе, когда необходимо видеть приблизительные позы. В будущем мы планируем добавить поддержку пользовательских гуманоидных скелетов, а также сделать инструмент более точным и устойчивым.

Также мы исследуем возможности, которые дарят нам более универсальные deep learning подходы. Например, уже сегодня можно восстанавливать части фотографий с заданными характеристиками, а также переносить стиль и другие характеристики между изображениями. В будущем мы могли бы использовать этот метод и при создании анимации, например, чтобы добавить в нее или же в позу желаемые характеристики.

Мы продолжаем развивать наш инструмент автопозинга. Уже в ближайшее время Cascadeur войдет в стадию открытого бета-теста. Обязательно следите за новостями на cascadeur.com и в социальных сетях проекта.

Узнать больше о Cascadeur и других проектах студии Banzai Games:

Почему 12 принципов Диснея недостаточно
Cascadeur: задача о падающей кошке
Физика в Unity-проекте на примере мобильного файтинга
Cascadeur: будущее игровой анимации
Искусственный интеллект в файтинге Shadow Fight 3

В команду Banzai Games требуется Qt GUI программист. Подробнее о вакансии можно прочитать здесь.

Со времени первого анонса Cascadeur в начале 2019 года уже более 18 000 пользователей приняли участие в закрытом бета-тестировании программы. У аниматоров, занимающихся разработкой игр и созданием фильмов, было более 12 месяцев, чтобы испытать в работе наш инструментарий.

Сегодня мы рады сообщить о запуске открытого бета-теста (ОБТ) своей анимационной программы для физически корректной анимации персонажей. Благодаря ОБТ протестировать и оценить ее возможности сможет более широкий круг пользователей.

Подход Cascadeur к анимации значительно облегчает достижение точной механики тела. Теперь я уверен, что инструменты для физически корректной анимации станут ожидаемым стандартом в индустрии, поделился мнением один из первых пользователей Cascadeur, анимационный директор Polyarc Ричард Лико, ранее работавший над Destiny 2.

Опрос, проведенный издателем Nekki в апреле 2020 года, показал, что 85% бета-пользователей Cascadeur считают его инструментом, который будет играть важную роль в их будущих проектах. В январе 2020 года Nekki и Cascadeur были номинированы на премию Pocket Gamer Mobile Games в номинациях Best Innovation и Best Tool Provider, что является редким достижением для еще неизданного продукта.





Над открытой бета-версией Cascadeur мы работали в течение года. Большинство изменений могут быть невидимыми на первый взгляд, но внутри программы был сделан глобальный редизайн всей архитектуры. Основные особенности новой версии включают:

• Новую архитектуру, которая делает Cascadeur намного быстрее и эффективнее

• Улучшения рига, такие как способность перетаскивать или вращать центр масс без его фиксации и улучшенная интерполяция

• Доработку инструментов создания рига

Новая архитектура Cascadeur значительно ускорит процесс разработки и оптимизации программы. Следующие шаги будут включать в себя:

• Дальнейшее улучшение риггинга, с возможностью создания кастомных ригов

• Поддержка Python для автоматизации процессов

• Бета-версия инструмента Graph Editor

Чтобы сделать использование Cascadeur привлекательным для профессиональных аниматоров, Nekki разрешает бесплатное коммерческое использование бета-версии. Любая анимация, созданная в ОБТ-версии Cascadeur, может быть бесплатно использована в играх и фильмах без предварительного разрешения Nekki.

Мы хотим наглядно продемонстрировать вам основные особенности и инструменты Cascadeur в новом 5-минутном видео:



Получить более подробную информацию и скачать ОБТ-версию Cascadeur вы можете на cascadeur.com

Узнать о Cascadeur больше:

Вложенность нейросетей инструмента автопозинга в Cascadeur
Почему 12 принципов Диснея недостаточно
Cascadeur: задача о падающей кошке
Cascadeur: будущее игровой анимации

Анимация в KAPIA

Добрый день! Меня зовут Павел. Я являюсь программистом и аниматором маленькой семейной команды по разработке игр. Я и моя жена делаем 3Д адвенчуру в постапокалиптическом мире. За время разработки мы изобрели свои технические велосипеды с которыми я хотел бы с вами поделится. Хочу начать с анимации и рассказать как мы ее делаем.

Уже много лет мы работаем в 3D пакете Softimage XSI. Хоть проект уже давно не поддерживается и закрыт, но мы до сих пор им пользуемся. Я думаю, что примерно такой же пайплайн возможно воспроизвести и в других пакетах. Поехали!

Риггинг

Для риггинга я использую Gear. Очень удобный и простой инструмент для автоматического риггинга персонажей.



Иногда для не человекоподобных персонажей приходится собирать риггинг вручную или модифицировать собранный с помощью Gear.

Анимация

Анимацию мы снимаем с помощью мокап костюма Perception Neuron. Все пропорции персонажей перенесены в программу от Axis Neuron (родная программа от Perception Neuron). Сначала мы пробовали использовать Motion Builder для чистки анимации. Но это отнимало слишком много времени, так как нужно использовать 3 программы(Axis Neuron -> MotionBuilder ->Softimage). Но затем стали использовать Softimage. Для этого был написан драйвер для Perception Neuron чтобы можно было его напрямую использовать в Softimage в реально времени. Чистить мокапы в Softimage оказалось очень удобно. Единственный минус это конечно проскальзывания ног. Но и этим мы быстро справились написав соответствующий плагин.

Затем чистим анимацию.

И немного пайплайна, как делаем это мы.

Процесс анимации выглядит так.

1. Сначала идет озвучка текста.



Как видите. Весь текст разбит по цветам(персонажы), а также у каждой фразы есть свое имя-номер(G11,R12,I13 и т.д.).

2. После озвучивания персонажей мы получаем аудиофайл, который затем помечаем маркерами.
И каждому маркеру даем то самое имя-номер.



3. После этого этапа идет запись мокапа и его чистка.



Для того чтобы анимация точно совпадала с маркерами из Adobe Audition маркеры выгружаются в csv файл такого вида:

Name Start Duration Time Format Type Description
Eye29 00:00:00:00 00:00:02:14 30 fps Cue
Ren30 00:00:02:26 00:00:04:29 30 fps Cue

4. Затем этот файл загружается скриптом в Softimage.



После небольшой регулировки по таймингу автоматически строится таблица всех анимаций для экспорта в Unity.

5.И далее все улетает в Unity. Вместе с файлом fbx формируется файл *.agrd

_Ren67;5832.0;5950.0
_Ren65;5601.0;5656.0
в котором лежит разметка анимации. С помощью класса наследуемого от AssetPostprocessor Unity автоматически нарезает всю анимацию, которая идеально совпадает с озвученным голосом.

Вообщем весь процесс не сложный и не отнимает много времени. На 10 минут анимации сейчас уходит примерно 5-6 часов (съемка, чистка, экспорт).

Далее идет автоматизация загрузки аудио и анимации в Unity.

Articy

Все диалоги построены в Articy:





Если посмотреть внимательнее на поля, то видно все те же названия маркеров.

Был написан импорт из Articy в Unity. Он автоматически считывает весь текст и вилки диалога и сопоставляет им аудиофайлы и анимацию так как названия аудио файлов, липсинка, анимации совпадают с названиями маркеров, которые считываются из articy.

Lipsync

Для липсинка мы используем Softimage Face Robot. Здесь есть очень удобный инструмент риггинга лица.



После того как риггинг построен подгружаются фонемы. Этот этап автоматизирован.

Всего их 25: 9 на звуки речи, 6 на движение и моргание глаз и 10 на мимику.



После риггинга голова с костями приклеивается обратно к модели. И снова делаем небольшой риггинг глаз. Чтобы можно было записывать их движение отдельно вместе с веками.

По сути анимация глаз это притреканный null объект к видео движения реального глаза.

Далее персонаж грузится в unity. И там уже все это подгружается в lypsinc.

Таким образом анимация глаз и век пишется вместе с анимацией персонажа, а анимация рта анимируется автоматически в unity. Дополнительно к этому вручную добавляются движение бровей во время разговора если это необходимо.

Вот так вкратце устроен наш пайплайн анимации мимики и персонажей в игре. С помощью
небольших утилит и скриптов получилось идеально скрестить Unity, Articy, Axis Neuron и Softimage.

И конечный результат: