虚拟制作公司将真人项目改编为实时动画

2023-02-16 14:20:40 来源: 超视界-快速动画网 编辑者: 超视界

0 219

内容来自于“https://magazine.reallusion.com/”

Piero varda–虚拟场景

Piero Varda——电影制作人、创意总监、联合创始人

我叫Piero Varda,是一名在秘鲁利马工作的电影制作人,在广告和电影行业有超过15年的经验。我最初是做编辑的,但后来转到了电影摄影。我现在是La Escena Virtual的联合创始人兼创意总监,这是一家提供虚拟制作服务的虚拟制作公司。我们主要用LED wall技术和虚幻引擎。我们创建逼真的三维环境,并跟踪真实的相机到虚拟的效果。

作为我们工作的一部分,我们最近开始升级并专注于实时和动作捕捉工作流。我们的主要目标是迁移到一个完整的实时制作公司。La Escena Virtual最近也开始使用Reallusion,主要是与iClone和Character Creator一起使用。此外,我们使用不同的Reallusion插件和动画包作为角色创建和mocap动画的中心。

在我们创办公司之前,我创作并拍摄了一部名为“The Within”的科幻真人电影,这部电影深受安第斯神话和神圣习俗的启发。今天,La Escena Virtual使用该项目来测试技术和管道,因为它是一个幻想系列,包括FX场景和数字替身的机会。

几年前,常规的后期制作意味着这是一个非常雄心勃勃的项目,需要联合制作人加入进来才能实现。今天,由于虚拟生产和它为合作打开的大门,我们相信我们将能够在内部完成。像我们这样充满激情的电影制作人一直在等待这种程序工具,能够与其他行业标准软件配合使用,以帮助缩短时间并重新获得对电影过程的创造性控制。

“我们了解到iClone和Character Creator是与虚幻引擎无缝协作的工具。此外,我们最终发现了iClone的LIVE LINK,以及它如何让我们现在使用的所有动画工具与虚幻引擎协同工作——从那以后,我们完全被迷住了。”

问:你好,Piero,欢迎来到我们的专题报道。你的公司La Escena Virtual提供电影和广告服务。你能和我们分享一些你以前做过的项目吗?

你好,谢谢你给我机会展示我们的工作。La Escena Virtual是一家虚拟制作公司,提供各种不同的服务。我们的客户来自广告和电影行业。我们最初开始提供LED wall服务,包括创建虚拟背景,生成电影工作室中放置在演员身后的场景。

这是我们公司的卷轴,包括我们现在提供的所有虚拟生产服务。今天,我们的重点已经转移到mocap和人物塑造上。我们将这些领域视为客户的新兴市场。

今天,我们的重点已经转移到mocap和角色创造。我们将这些地区视为客户的新兴市场。这些是我们过去做过的商业广告和幕后广告。


问:你的电影《The Within》最初是一部真人电影,后来演变成了虚拟制作。在这个过程中,重新独占工具有什么帮助?在考虑生产成本时,它们有什么优势?

在一开始,我们的项目《The Within》似乎完全是真人表演。在意识到我们需要创建动画以理解如何预算我们的电影后,我们发现了虚拟制作,这就是我们如何来到Reallusion及其角色创建和动画软件工具。

当我们开始为动画目的创建替身时,我们发现通过正确的阴影和变形,我们可以为我们的主要角色获得一个非常真实的数字替身。我们还意识到,这些角色可以用许多不同的工具来制作动画,并且不需要专业动画师作为团队的一部分。

我们了解到iClone和Character Creator是与虚幻引擎无缝协作的工具。此外,我们最终发现了iClone的LIVE LINK,以及它如何让我们现在使用的所有动画工具与虚幻引擎协同工作——从那以后,我们完全被迷住了。

在对我们的项目进行了多次实验和测试后,我们决定更上一层楼,买一套mocap套装。有了这套衣服、预先制作的mocap动画和iClone提供的木偶工具,我们开始将Reallusion作为我们管道中的一个关键工具。今天,我们的电影项目基于我们可以通过动画预见的东西。

我们的制作成本已经大大降低,因为这一过程使我们能够事先尝试我们的场景,并了解他们的制作成本。它还为我们提供了电影的详细粗略剪辑,让我们知道并决定哪些作品,哪些最终将被拍摄为真实的现场直播,led墙,或制作为高渲染的电影。如果我们是在一个正常的真人电影制作中,我们就不能事先得到这些东西,而且成本可能也不一样。

问:你最近在瓜达拉哈拉国际电影节上赢得了一个虚幻引擎实时短片挑战赛。请告诉我们这一经历,以及角色创建者4和iClone 8如何帮助您迎接这一挑战?

这种经历对我们来说确实是新鲜的。我们的团队从未参加过这种短期比赛,所以我们不知道会发生什么。我们的第一个障碍是时间。这个短片必须在两周内完成。我们已经准备好了很多资产,比如基本的位置和基本的角色,但是我们必须尽可能快地屏蔽这些场景。iClone是最好的工具。我们从导出虚拟位置的低多边形版本开始,以便与虚幻引擎中呈现的内容完美匹配。

基本上,我们在Character Creator中制作角色,iClone作为动画工具来赋予他们生命。我们从基本的位置和拍摄角度开始,对故事在视觉叙事方面的发展有一个基本的概念。我们知道,因为这是一个电影节,最重要的因素将是叙事,所以我们必须能够正确地讲述一个故事。我们还必须用iClone创建一个虚拟故事板。这演变成几个镜头,必须导出到达芬奇Rresolve,以便通过编辑的动画获得时间的概念。我们的第二个最大障碍是短片不能长于一分钟。这要求编辑非常精确,而且我们与动画和阻塞过程并行工作。

如果有些东西不工作,我们必须重新导出并解决它。我们从iClone中导出了每一个镜头,以查看我们是否有正确的动画计时。当动画开始符合编辑时间框架时,我们决定开始用Xsens套装做mocap。正是在这里,iClone Motion LIVE插件让我们能够完美地使用LIVE LINK。由于这一点,我们能够实时地将我们的mocap与决定镜头持续时间的动画进行匹配。如果没有这个因素,很难将新的mocap与照片匹配。

我们还使用了iPhone的LIVE LINK和iClone的LIVE FACE插件来获得面部mocap。在我们得到所有我们需要的表演之后,我们开始清理阶段。这是我们的第三个也是最后一个障碍。iClone的曲线编辑器和所有的木偶工具对于纠正角色的身体部位位置、身体网格突破和角色自然流畅的身体运动非常方便。

在这一切之后,我们在虚幻引擎中点燃并渲染了最后的镜头,并替换了《达芬奇密码》中最后的动画镜头。

问:之前你还在我们的2021年iClone对口型动画比赛中获得了荣誉奖,当时你和iClone一起制作了一个超能力者角色的动画。现在你正在使用Character Creator 4(CC4),在你看来,与超能力者创造者相比,它如何使你创造高度定制的数字人类?你觉得CC4有什么优点?

的,我有机会参加2021年iClone对口型动画大赛。那时,我正和一个通过LIVE LINK和iClone操纵的超能力者头部一起工作。这是一个非常有趣的学习曲线。那次比赛可能是该公司进入Mocap的起点,它将我引入了一个我并不知道的数字人类创造者社区。在我看来,像JSFILMZ,Style Marshal,Matt Workman,Salomon Jagwe,Jonathan Winbush和弗朗西斯科·佩雷斯这样的人是最大的参考。如果有人想走这条路,这些是你必须知道的名字。基本上,了不起的,慷慨的,有才华的专业人士在他们的游戏顶端。如果没有他们的指导以及他们在YouTube和Reallusion论坛等地方的持续合作,学习掌握制作数字角色动画所需的所有不同工具将是一项非常艰巨的任务。

在比赛期间,MetaHumans刚刚问世,我和其他许多人一样,对了解他们可以实现什么非常感兴趣。MetaHumans当时非常受欢迎,因为它们的混合形状给了它们非常逼真的表现。今天,我们仍然在我们的公司使用它们,但《角色创造者4》无疑已经加强了他们的游戏。新CC4升级带来的新混合形状令人难以置信。除此之外,MetaHumans与Character Creator提供的基础并不相同。真实性集中于绝对的创造性控制。他们通过将直接输入和输出系统添加到交易中的其他软件来做到这一点。

ZBrush和Substance Painter是我们在La Escena Virtual中经常使用的工具。当特定的纹理或形状需要添加到我们自己的角色时,它们是关键的工具。Character Creator中的角色变形和皮肤工具旨在让普通用户或艺术家在创作过程中拥有绝对的控制权。这个软件的名字说明了一切;你可以创造任何类型的角色——从人形外星人,到基于真人的非常精确的数字替身。这在过去是只有高端摄影测量工作室才能实现的。今天,像《Character Creator 4》这样的程序工具给了我们独立制片厂一个机会,让我们得以进入我们力所不及的市场。我们对此非常感激。

问:La Escena虚拟工作室还整合了iClone 8实时动画工具和ActorCore运动集合的使用。你能告诉我们你典型的动画制作过程吗,以及你是如何将所有东西连接到虚幻引擎的?

是的,我们一直在使用Reallusion的不同动画选项。我们首先从舞蹈动画包开始,并将其用于我们的测试和动作捕捉视频剪辑。我们已经在网上发布了很多这样的视频。ActorCore是后来出现的,但这绝对是一个更好的方式来找到正确的动画,并通过决定哪些动画真正适合你正在寻找的东西来创建我们自己的包。ActorCore的interphase非常棒,因为它可以让你尝试动画,甚至从不同的角度看它们,这对于创建和理解如何规划一个复杂的动画是一个非常有用的选择。动画也很好的捕捉和组织。

之前,为了掌握如何一起清理和编辑mocap动画,曾经有一个学习曲线。脚滑动和角色位置很难融合和固定,这对每个人来说都是一个很常见的问题。今天,iClone 8在这个问题上有了很大的改进。现在有几种技术和工具,可以很容易地用来创建流畅的复杂动画,或简单的动画模块,供以后改进。这完全取决于你的需求。

在我们的例子中,我们已经做了几个舞蹈视频,后来为了测试我们的虚拟摄像机,对这些视频进行了编辑。我们开发了一个基于跟踪系统的虚拟摄像机,用于我们的LED墙服务。我们在片场用它来记录3D角色跳舞。这一过程类似于用真实相机进行的常规拍摄,只是这一次是在真实世界中进行的,但它在虚拟世界中进行记录。使用它最大的好处是动画可以循环播放,这样我们就可以在不同的镜头和拍摄角度拍摄尽可能多的镜头。这种方式很容易预测角色的动作,因为人们习惯于知道角色将要做什么。我们在iClone中编辑了一个舞蹈序列后,在虚幻引擎中做这个。

我们在这些视频上投入了大量的精力,因为它们是我们未来计划如何拍摄电影的试验场。今天,该系统正在慢慢地为讲故事服务,但我们开始开发它,同时我们试图重现我们如何在表演舞蹈序列中拍摄视频剪辑。