Как мы меняли лица, делали голограммы и фантастические переходы: CG-приемы от Trehmer в ролике GLO

ДИПФЕЙК

DeepFake – это популярная сейчас технология замены одного лица на другое.  Это машинное обучение с использованием нейросетей. На входе компьютеру для обучения передаются два лица: исходное лицо с нужной мимикой и лицо, которым его нужно будет заменить, сохранив при этом исходную мимику первого актера. По сути, машине ставится задача: “Я хочу, чтобы ты научился лицом Саши делать то, что делает лицо Маши, сохранив при этом максимально микро-мимику Маши”. Именно «научился». Через видеокарту и видео-процессоры начинается обучение. Нейросеть сканирует лица двух актеров и, в конечном итоге, начинает их совмещать.  

Мы в Trehmer CG начали осваивать DeepFake немного раньше, чем пришел проект.

В качестве демонстрации своих скиллов при подготовке к первому PPM мы сделали видео тест: сняли нашего юриста Наташу и наложили на нее лицо и мимику актера Александра Петрова. А лицо Саши Савицкого (прим. редакции – Александр Савицкий – CEO Компании Trehmer) превратили в лицо Тарковского. На встрече с представителями бренда glo™ мы презентовали эти видео-перевоплощения.

Нам удалось произвести впечатление на клиента. Дальше мы снимали на видео сначала актрис, потом Александра Петрова. Просили девчонок делать определенные движения, разные выражения лиц, произносить слова, а Александра – стараться максимально точно повторить все это. Чем больше похожих итераций с липсинком, мимикой, движениями корпуса, тем лучше происходит машинное обучение. На выходе получается уже готовое лицо Александра Петрова полностью со всеми движениями актрисы. При этом сохраняется вся мимика исходной актрисы.

Движения точь-в-точь сопоставляются практически в «кишках» компьютера. Непосредственное участие человека заключается только в том, чтобы правильно и максимально детально задать все исходные данные для машинного обучения. Дальше просто ожидание, потому что чем больше времени дать программе, тем больше аналитических итераций она проведет, тем лучше и проработанней будет результат. Например, через 18 часов будет готово движение с актером, через 3 суток появятся морщинки, какие-то мимические действия, а еще через сутки четко прорисуются зубы при открывании рта. Это такой безостановочный процесс. «Учиться, учиться, и еще раз учиться» ©. Нет конечной точки «все, лицо обучено, забирайте». Все упирается только в тайминг, отведенный на проект.

Сам ролик Satisfaction мы снимали 2 смены, а весь пул с Александром Петровым под дипфейк сняли в первый же день для того, чтобы как можно скорее запустить машинное обучение. Сразу со съемочной площадки мы повезли жесткие диски с отснятым материалом в офис Trehmer, где ребята нас уже ждали для оперативной загрузки файлов под машинное обучение. Но перед этим нужно было произвести много мелких технических действий: подкропать кадры, найти ключевые точки, показать машине их взаимосвязь.

Первый черновой монтаж клиенту мы показывали в формате превью – ещё с не полноценными головами в продакшн-качестве.

Масла в огонь этому и без того увлекательному процессу добавил обрушившийся на всех нас карантин и работа на удаленке. Ребята из дома следили за обучающимися станциями, которые были выделены под deepfake, загружали туда новые эмоции под каждый шот.  Как только один шот был более-менее готов, ставили на обучение лицо другой актрисы в связке с лицом нашего главного героя. На это ушло 2 недели. Весь композ мы собирали к моменту презентации ролика клиенту, предупредив, что лица еще без финального тюнинга. Клиент согласился продолжить обучение, чтобы в эфир уже все пошло в идеальном качестве.

ГОЛОГРАММЫ

В ролике используется много голограмм. Задачи с ними были более привычными и понятными в силу их техничности. Нам просто нужно было повторить Голливудского «Бегущего по лезвию 2049»😊

Мы можем, если надо.  В рамках задач по голограммам было проведено небольшое R&D и специально под этот пул задач мы выделили арт-директора – Эрика Баймукашева. Он придумывал, как это реализовать вместе с креативным директором Trehmer Димой Вениковым, а мы тречили 3D основу под девочек, которые потом становились объемными. Далее мы составляли трехмерную сетку из голографических линий и точек. В результате, все это совмещалось на композе, и получалась 3D-голограмма. Голограммы можно создать кучей разных способов так, что визуально они все будут выглядеть по-разному. Об этом подробнее расскажет Эрик.

Здесь требовался особенно качественный уровень проработки, поэтому мы начали процесс придумывания еще до съемок. Где-то спустя неделю после съемок у нас были уже готовые персонажи девчонок, которых мы показали. Плюс 4-5 дней композа, и клиент принял работу.

Голограммы можно создать несколькими разными способами так, что визуально они все будут выглядеть по-разному. Самый простой – это втрэчивание в сцену заранее подготовленной 2D анимации, без каких-либо дистортов и глитчей, так мы сделали, например, окошки нотификейшенов, которые всплывают рядом с прохожими.

С голографическими девушками уже сложнее. Для начала нужно выбрать подходящую фазу и позу из отснятого материала, которая лучше всего будет смотреться в кадре. Отцветокорректить материал, разогнать контраст и добавить цветовые аберрации. Далее, этот подготовленный материал используется как текстура, которая прожектится на двумерное облако точек, чтобы появилась характерная для голограмм «диджитальность» и текстура, напоминающая летающие в воздухе пиксели, которые время от времени «глитчуют».

Самое сложное – это трехмерные голограммы. Например, голографический девайс glo™. Тут мы уже работаем не с 2D-сиквенцией, а с полноценной 3D-моделью, которую сначала создаем, далее по-честному шейдим, освещаем, и эту информацию по свету и цвету передаем на точки, сгенерированные уже в 3D-сцене, через сетап сделанный в Houdini.

Эрик Баймукашев, арт-директор Trehmer

ПЕРЕХОДЫ

В основе ролика лежит современный клиповый монтаж, поэтому здесь много переходов. Эти связки были сложные и трудоемкие. Материал нужно было «сшить» в единую канву, с правильными перетеканиями из одного пространства в другое четко по таймингу. Здесь одна голограмма переходит в другую, а здесь мы видим интерфейс смартфона, нажимаем и переходим в следующую сцену, где, например, танцуют актеры.

Перед нами стояла непростая задача сделать все переходы таким образом, чтобы каждый план плавно переходил в следующий, это нужно было сделать интересно и без потери динамики. Большинство переходов мы с режиссерами придумали на этапе препродакшена, но были и такие, что придумывались непосредственно в процессе съемки. Поиск идей не прекращался до самой сдачи финальной версии.

ОРГ МОМЕНТЫ

Разумеется, до официального PPM мы несколько раз встречались с двумя режиссерами проекта: Романом Кимом и Михаилом Семичевым.  Мы садились и подробно проговаривали, что и как они будут снимать, где планировать переходы, где нужно строить реальные декорации, а где нет. Я рисовал сториборды для наглядности. Нам ведь потом с этим материалом нужно было плотно работать по графике.

Эффектов glitch в ролике просто не сосчитать

Мы решали, можем ли мы в эти сроки реализовать то, что хочет клиент. Если мы не укладываемся, то ищем компромисс со своей стороны, чтобы это выглядело так же круто, но потребовало меньше времени на реализацию. И уже на двух официальных PPM’ах режиссеры рассказывали клиенту итоги, к которым мы совместно пришли в ходе наших рабочих встреч.

Когда мы сдали проект Satisfaction, то поняли, что сможем сделать все.

И напоследок несколько кадров со съемочной площадки.