大热节目《美国之声》（TheVoice）季终集的一大亮点是，BTS防弹少年团通过全息投影的方式，跨越太平洋与Coldplay“合体”表演热单《MyUniverse》。

合体舞台的策划早在节目数月前就已展开，由ColdplayCreative、DimensionStudio和虚拟制作机构AllOfItNow(AOIN)共同完成。其中DimensionStudio拍摄了BTS乐队成员的原始镜头，AOIN团队则负责让想象成真。

可视化预览

舞台上的Coldplay成员和TheVoice现场观众都看不到BTS防弹少年团，只有通过屏幕观看节目才能看到。为此，AOIN通过与(LD)SoonerRouthier合作，在舞台上使用特定的落地灯来帮助Coldplay主唱ChrisMartin确定BTS出现在舞台上的时间和位置。

“我们大量使用可视化预览（previsualization），让Coldplay了解每一时刻背后的创意顺序，并向TheVoice导演展示哪些类型的镜头效果良好，以及应该规避哪些镜头。”AOIN团队介绍。

AOIN团队收到来自TheVoice团队的3D舞台配置，能够将表演者置于TheVoice舞台的3D成像中。这一过程启用了关键的可视化预览，ColdplayCreative团队甚至可以在进入工作室之前测试AR表演者的配置、跟踪区域、过渡时间和摄像机遮挡。

AOIN能够将3D舞台和摄像机动线提取到虚拟引擎Unreal中，用7台AR摄像机创造真实世界比例的精确图像，以便Coldplay可以预先知道每个时刻中哪些BTS成员是可视的，哪些摄像机可以 捕捉这些时刻。因此可视化预览成为将这些时刻传达给所有相关人员的 方法。这种可视化预览对于充分利用有限的现场时间至关重要，还有助于将所有技术和创造性工作变得可以共同理解并且可以共享。

技术挑战

DimensionStudio提供了可全息处理的BTS原始捕捉视频，有两种格式，一种是Alembic序列，另一种是使用Microsoft针对UnrealEngine4.27.1的SVF插件的特殊mp4导出。由于同时播放7个Alembic序列的数据速率很高，因此选择mp4方法作为 方法，AOIN和Dimension团队都在创意效果和序列方面取得了进展。

使用mp4方法需要克服一些技术挑战。UE4的当前SVF插件无法将mp4录音正确地跟踪为时间码。这需要AOIN和Microsoft合作重写SVF插件代码的元素，以便BTS表演者与舞台上的Coldplay保持同步。

体三维捕捉(volumetriccapture)的原始录制视频在使用时的另一个挑战是BTS表演以24FPS录制以匹配音乐视频帧速率，但TheVoice是以29.97FPS的速率制作和播放。将24FPS混合到29.97输出中会造成一些口型同步上的问题，不过AOIN能够在后期制作中解决这些问题。

现场部署

除了制作这场表演外，TheVoice团队还在积极制作该赛季的剩余节目。这意味需要围绕TheVoice的现有演出和制作时间表安排和协调现场的各个方面，制作周期非常紧凑。该AR系统的安装依赖于几个不同的安装阶段：在演播室中为摄像机跟踪系统安装跟踪贴纸、绘制跟踪区域、为AR应用校准7个摄像机镜头、与TheVoice团队一起排练和摄像机遮挡表演，然后 在舞台上与Coldplay一起排练AR表演，这一切都要在7天内完成。在快节奏的电视制作计划中部署和校准7个AR摄像头并非易事，但在TheVoice制作团队的帮助和支持下，AOIN团队能够顺利完成校准和安装。

“EICJerryKaman在整个过程中的支持和监督对于这个项目的成功至关重要”，AOIN首席执行官DannyFirpo说，“这个安装过程通常是大多数项目出错的地方，但Jerry对TheVoice制作计划的了解和经验、以及引入额外摄像机的建议，是这个过程如此成功的原因。”

AOIN与Stype及其RedSpyFiber摄像机跟踪系统合作，并增强了2台已用于制作的Jib摄像机，然后用5台专用AR摄像机进行补充，即使在TheVoice拍摄时也可以校准跟踪摄像机的另一个片段。

能否在巡演“复制”这一现场

如果Coldplay想在即将到来的巡演中重现这一“合体”现场，技术难度有多大？

“体三维捕捉视频的好处在于它确实使这些内容在更多节目中更‘便携’，而且我们之前有过在巡演中使用AR技术的经验。我们是首批为BTS‘LoveYourself,SpeakYourself’巡演提供AR制作的公司之一。”AOIN介绍，“最困难的部分是AR相机校准过程，这可能很耗时，没有一颗强心脏不建议浅尝。但如果有适当的计划部署，完全可以做到。”

但在目前的技术手段，巡演现场的观众并不能看到全息投影的内容。“这就是我们为什么说IMAG屏幕在体育场级节目中扮演非常重要的角色，观众可以在IMAG屏幕上观看表演内容。同样地，为了增加TheVoice现场观众的体验，我们与制作部门合作‘指导观众’以响应关键的AR时刻，就好像BTS真的在舞台上一样。”标准IMAG和ARfeed之间的延迟通常为5-7帧。这种延迟在体育场表演中通常是可以接受的，因为PA到体育场后方的延迟通常可以匹配此AR工作流程产生的额外延迟。“对于TheVoice节目，在播出时，我们能够延迟标准摄像机输入以匹配AR输入的延迟，这使得导播更容易在AR和非AR摄像机之间进行切换。也就是说，这是我们在流程早期与创意和技术方进行对话，以确保我们与预期保持一致，并制定策略来解决这种增加的延迟。”AOIN总结道。

AOIN团队部分成员

科幻电影与现实的距离，是每一个幕后人向前奔跑的目标。

请上下滑动了解完整制作团队名单

ColdplayCreative团队

ColdplayCreative总监：PhilHarvey

制作设计师兼联合创意总监：MistyBuckley

视觉内容主管：SamSeager

灯光设计师：SoonerRouthier

项目创意经理：GrantDraper

屏幕导演：JoshuaKoffman

视频设计师：LeoFlint

屏幕内容创建：NorthHouseCreative

AOIN现场团队

执行制片人：DannyFirpo

制作经理：NicolePlaza

技术总监：BertoMora

高级UE4技术美术：JeffreyHepburn

高级AR工程师：NeilCarman

AR工程师：PrestonAltree

体三维捕捉工作室：Dimension,London

执行制片人/联合导演：SimonWindsor

销售/客户总监：YushKalia

制作主管：AdamSmith

制片人/技术总监：SarahPearn

高级首席三维技术美术：AdriannaPolcyn

动画师：BenCrowe

CG灯光美术：MarcellaHolmes

JumpStudio（SK电讯），首尔

副总裁，元界公司负责人：JinsooJeon

副总裁，元界开发负责人：khwanCho

执行制片人：SungYoonBaek

业务发展：TaekeunYoon

制作人：MinhyukChe

舞台监督：GukchanLim

TheVoice团队

执行制片人：AmandaZucker

EIC-JerryKaman导演：AlanCarter

监督编辑：RobertM.Malachowski,Jr.,

ACE后期制作主管、副总监：JimSterling

助理编辑：JoeKaczorowski

本

转载请注明:http://www.aideyishus.com/lkjg/482.html