江苏卫视2019年跨年演唱会AR虚拟实时渲染系统的应用介绍

28
.
特别关注Special Focus
1 引言
此次江苏跨年舞台采用了“天圆地方、大道至简”的设计理念，由三段圆弧形结构组成了一个直径为17m 的天环，其中每段圆环重达5吨，由CyberMotion 的数控吊机的控制整
个圆环变换各种造型，例如上下升降，甚至旋转倾斜动作。

在长达四个多小时的演出中，江苏卫视不断打破想象边界，利用天圆地方式的空中、陆地两大空间，使整个舞台都充分纳入了制景范围，无线飞行器的加入，再结合本就娴熟的虚拟现实技术，使观众
接连惊叹于巨型鲸鱼、UFO、海豚、美人鱼等在内的神奇世界。

2 AR 虚拟实时渲染系统的工作原理
AR 虚拟实时渲染系统具备虚拟摄像机系统和制作播出系统，它是高清制作系统的一部分，AR 系统将自己的多机位虚拟合成信号送往转播车，供
导播在虚拟节目时根据需求切换使用。

今年我们共采用了8机位的AR 虚拟双系统，其中两个机位为两个AR 系
统共用。

Viz 团队负责开场、倒计时、广告回看三个部分的AR 实时渲染包装，洛天依团队负责洛天依和薛之谦的合唱曲目《达拉崩吧》。

2.1 虚拟摄像机系统
虚拟摄像机即在传统的摄像机上架设了跟踪设备，虚拟摄像机的跟踪
设备获取摄像机动作参数后，提供给渲染引擎后计算生成实时的三维场景动画，然后与摄像机的拍摄信号在渲染引擎中进行合成，形成虚拟合成信号提供给转播车系统。

2.1.1 虚拟机位的设置
本次演唱会参与AR 虚拟实时渲染
的机位图如图1所示，其中，CAM2、CAM15、CAM30、CAM32为洛天依
团队虚拟机位，用紫色标注；CAM7、CAM15、CAM30、CAM31为Viz 团队虚拟机位，用红色标注；CAM15、CAM30为两个设计团队共用的机位，用黄色文字标识说明。

此次跨年演唱会AR 虚拟系统采用虚拟座机、虚拟摇臂以及虚拟天眼等3
类共6个虚拟机位，AR 机位镜头、云台编码器采集到镜头的Zoom、Focus 及云台Pan、Tilt 等参数后把机位画面
与三维场景动画合成进行实时渲染提
供给转播车，导播根据分镜头脚本切换AR 机位，具体配置如表1所示。

2.1.2 虚拟机位合成信号的监看实现方案
虚拟摄像机在正常高清制作时，虚拟机位的摄像需要通过寻像器或者监视器实时监看到自己的本机画面，通过挤压反送按钮，选择监看高清导播的PGM 信号；虚拟摄像在参与AR 节目制作时，还需要监看本机位虚拟合成之后的信号，方便实时完成虚拟节目的镜头要求。

（1）虚拟座机摄像的虚拟合成信
号监看实现方法转播车早在系统改造时，就提前将
CAM2、CAM15、CAM30、CAM32
四个机位对应的本机虚拟合成信号，送
入到对应机位的反送第二路RET2和第三路RET3。

虚拟座机摄像在进行到相应的虚拟节目环节时，根据需要在索尼HDC-2580机身上旋转反送按钮拨档，通过挤压反送按钮，在大寻上选择需要收看的虚拟反送信号。

（2）虚拟摇臂摄像的虚拟合成信号监看实现方法
我台4K 超高清转播车配备了索尼
摘要：2019年江苏卫视跨年演唱会使用了AR 虚拟实时渲染系统，向全球观众展示了一场视觉盛宴。

本文介绍了2019年江苏卫视跨年演唱会AR 虚拟实时渲染系统的工作原理、实施总结，并进行思考与总结。

关键词：虚拟摄像机 摄像机跟踪系统原理 虚拟制作与播出
江苏卫视2019年跨年演唱会AR虚拟
实时渲染系统的应用介绍
文/江苏省广播电视总台 李君
29
.
图1
图2
HDC-2580摄像机，其中有12台带有3G 传输选件，可以通过摄像机机头向现场传输信号或将内场信号传输至转播车，使用起来极其方便，极大地减少了铺设线缆的工作量，提高了工作效率。

我们在前期规划时，给CAM7虚拟摇臂配置的机器就是带3G 传输选件的机身。

摄像机机身可以同时直接输出PGM、高清本机、虚拟合成信号，虚拟摇臂摄像通过3块监视屏同时收看三路信号，跟进节目制作，如图2所示。

（3）虚拟天眼的虚拟合成信号的监看实现方法
我台4K 超高清转播车配备了睿道Mediornet 光纤传输系统，使用
了Mediornet 环形拓扑结构，在转播车、现场两个技术点分别安放了三台Mediornet，采用双环路级联解决现场视频、音频、控制信号的传输。

虚拟天眼的操作工位就在现场技术点附近，通过Mediornet 将一路虚拟天眼合成信号送至操作工位的17英寸监视器，供摄像监看使用。

2.1.3 虚拟摄像机跟踪系统原理
虚拟摄像机跟踪系统在摄像机移动过程中需要获取精确的摄像机位置来锁定前景信号和计算机生成的背景信号。

近些年来虚拟摄像机跟踪系统从获取镜头参数与云台俯仰与水平转动角度参数的二维跟踪，发展到增加
摄像机位置参数的三维跟踪系统。

（1）系统原理
各种摄像机动作参数获取设备获取一系列参数（Pan/Tlit/Focus/Zoom），传递给数据盒（Data Server）生成支持相应协议下的串行数据信号或者网络信号给计算机，计算机根据摄像机动作参数计算生成相应的背景信号，系统原理示意图如图3所示。

（2）设备组成
虚拟摄像机跟踪系统的设备组成如表2所示，镜头参数编码器、承托摄像机云台、虚拟摇臂臂伸云台、虚拟支架所获取的参数传递给数据盒，由数据盒处理成RS-422串行数据信号或者网络信号给计算机，数据盒需要提供直流电源和BB 同步信号。

2.2 虚拟AR 制作与播出系统
本次跨年演唱会的虚拟AR 部分共由两个团队来制作，由两套AR 制作播出系统共同完成了精彩的AR 节目呈现。

AR 系统的每个渲染服务器接收各自对应机位的本机信号，在渲染服务器上加载设计师预先设计好的场景文件，设计师在彩排时根据节目
要求进行实施调整，在每个渲染服务器上生成最终版的场景文件，在直播
表1
机位
AR 团队
摄像机
镜头
承重设备CAM2
（座机）洛天依HDC-2580
FUJINON 带伺服HA14x4.5BERD-S6B 昭特SX300VR CAM7（摇臂）
Viz
HDC-2580
FUJINON 带伺服HA14x4.5BERD-S6B 昭特SH120VR CAM15
（座机）
Viz&洛HDC-2580
FUJINON 带伺服HA14x4.5BERD-S6B 昭特SX300VR CAM30
（座机）Viz&洛HDC-2580
Canon 带伺服HJ14ex4.3B IASE S 昭特SX300VR CAM31（天眼）
Viz
HDC-P1
FUJINON
HA14x4.5BERD-S6B Kxwell 云台CAM32
（座机）
洛天依HDC-2580
FUJINON 带伺服HA42x13.5BERD-U48
昭特SX300VR
30
.
图3
特别关注Special Focus
时每个AR 系统会有专门的播控岗位，通过播控服务器触发场景，将多机位AR 虚拟合成信号传输至转播车给高清导播切换使用。

2.2.1 虚拟AR 制作系统
Viz 团队使用了5台HP Z840服务器作为渲染工作站、1台HP Z820服务器作为备份、2台HP Z820作为准备播控控制机。

配合使用Viz
Engine 强大的实时三维渲染系统、Viz Virtual Studio 虚拟植入系统，全程保障江苏卫视跨年晚会的顺利直播。

洛天依团队使用的是4台HP Z460服务器作为渲染工作站和自己开发的播控程序，现场使用4个虚拟机位，包括
1台正面广角、1台正面长焦、1台侧面、1台全景。

经过实时渲染主机加载场景和人物输出给导播，制作系统示意图如图4所示。

2.2.2 虚拟AR 播出系统
虚拟AR 播出系统分为视频和音
频两个部分，视频部分我们在前期沟通时建议两家单位都采用光纤传输的方式，将多机位的虚拟合成信号传送至转播车，这样导播就能够在转播车上监看到各个虚拟AR 机位的图像，在彩排时虚拟AR 导演会和导播反复沟通，寻找每个AR 节目效果最好的AR 虚拟机位和最合适的切换点，在视觉上给观众营造最好的体验。

同时转
播车通过光纤链路将PGM 返送和BB 同步信号传送至AR 控台区域，用于监看PGM 信号，锁相各个渲染服务器和播出控制机。

在一个虚拟节目的展现过程中，不单有视频的呈现，还有音乐、音效
的呈现，类似洛天依和明星的对唱环节，同时存在人声、音乐和音效。

为了保证虚拟节目声音播出的效果，我们在前期沟通时，提前了解了每家单位的音频输出路数、每路音频信号中对应的分轨信息，规定现场音频路由
的走向全部由各自的AR 控台至现场 Monitor 处，并且在彩排过程中在音频OB 间实时监听虚拟节目的声音电视播出效果，在照顾到电视观众的视听体验的基础上，我们同时在音频PA AR 信息如图5所示。

3 AR 虚拟实时渲染节目呈现
歌手蔡依林的出场十分酷炫，通过摇臂虚拟机位在舞台上方运用AR 激光虚拟出一个棋盘，然后伴随着蔡依林的舞蹈，棋盘上的黑白两方棋子互相碰撞，直到所有棋子全部撞散，其中棋子碰撞时灰飞烟灭的效果十分逼真。

激光线条与舞台变化设计巧妙结合，与现场灯光配合呈现出激光切割效果且具有全局观的虚拟开场，歌手蔡依林的歌曲《大艺术家》中的虚拟舞台叠加效果，燃爆了全场。

2018跨入2019新年的10s 倒计时过程是一个令广告商特别关注的虚拟AR 环节，我们需要精确地做到主持人的倒计时口令与电视播出的倒计时画面严格统一。

Viz 团队此次设计并执行了零点倒计时环节，我们在主持人正视视角的观众区域护栏上架设了题词器屏幕，在题词器屏幕附近放置了一台题词用的笔记本。

题词器屏
幕、题词笔记本和Viz 播控服务器通过交换机连接，题词笔记本上安装了AR Touch 播控软件。

在零点倒计时环节，AR 播控岗位通过播控控制机上的AR Touch 播控软件，同时触发多机位的零点倒计时场景，导播收到来自AR 控台的倒计时场景画面后切出倒计时AR 机位画面；在AR 播控
表2 虚拟摄像机跟踪系统的设备组成
设备
作用
数据盒（Data Server）
接收处理分析参数
向计算机传送摄像机动作参数镜头参数编码器（Lens Encoder）
获取镜头推拉（Zoom）参数
获取聚焦（Focus）参数摄像机承托云台
获取水平转动角度（Pan）
获取俯仰转动角度（Tilt）
摇臂臂伸云台
获取摇臂水平转动角度（Crane Pan）
获取摇臂俯仰转动角度（Crane Tilt）摇臂支架
获取支架位移参数（Camera X、Y、Z）
获取支架转动参数（Camera Rotation）
岗位触发倒计时场景播放的同一时刻，题词器笔记本接收到来自播控主机的TCP/IP信号，同一时间触发笔记本上的倒计时走时，此时题词器屏幕也相应开始倒计时走时，主持人通过观看题词器，精确地控制零点10s倒计时流程。

4 总结与思考
4.1 较往年提高的方面
（1）优化了数据跟踪盒的取电方式，通过改造跟踪盒的取电接口，直接可以从索尼HDC-2580的DC Out取电。

（2）采用光纤传输信号，光纤传输的方式好处在于：可以将AR控台
区域延伸到更远的地方，譬如内场的
任何角落，方便AR团队与现场的灯
光、视频、摄像部门沟通；减少转播
车尾高清隔离器的使用压力，为转播
车尾接口板腾出更多空间；减少铺设
多根视频线的工作量，提高工作效率；
从经济成本考虑，光纤方式性价比更
高，并可以反复利用。

（3）规范了音频路由，建立实时
音频监控流程，出现问题方便排查，
提高工作效率。

4.2 待改进的方面
（1）洛天依虚拟机位的设置可以
考虑增加可做弧形运动方式的机器，
譬如摇臂、轨道，这样可以得到洛天
依360°的虚拟画面，让二次元人物
更加立体。

（2）虚拟AR部门的光端机放置
在转播车尾部，裸露在室外，设备安
全存在隐患。

（3）没有和TC码控制系统有机
结合，流程全部靠口令执行。

5 结语
江苏卫视跨年演唱会连续多年使
用AR虚拟实时渲染系统，我们在前期
沟通、现场实施环节不断地进行摸索与
改进，在多个重要信号节点上进行把控，
目前已经建立了一套科学完善的制作播
出流程。

在未来，我们会更加完善流程，
在技术细节上精益求精，同时在节目制
作上勇于创新，积极尝试在其他类型的
摄像机上实现AR虚拟实时渲染效果，
为观众奉献沉浸式的视听盛宴。

图5
图4
31
. 。