混合现实虚拟数字拍摄系统

Mocap Pre-visualization 动作捕捉PreVis实时拍摄现场
Previs镜头现场可视 化(大荧幕投屏)
5
镜头机组
Unity／ UE4引擎 角色场景 实时合成 效果预览
演员 或 动捕演员
MR Pre-vis visual sets 影视作品虚拟数字拍摄现场
6
Vcam无线式控镜 虚拟摄像机
在国内影视制作行业，进行Layout（Previs）制作服务的公司有不少 但是普遍手法为OFFLINE（线下编辑） 即在拿到导演的脚本后，由Layout公司进行线下的CG脚本预演制作。 此手法存在的问题是Layout动画师在制作镜头的时候， 导演并不在场，Layout动画师通过对脚本的自我解读，给出镜头方向。 而往往事后拿到Layout镜头的制作方（导演方） 对Layout提出异议，进而造成Retake等来回制作修改和增加沟通的时 间。 最坏结果有时不但没有减少影视制作的成本，反而因Layout方与导演 ／脚本方来回的沟通，而拖长了工期和制作成本。
COMPARE 传统虚拟演播室 和 MR混合现实虚拟演播室的对比
14
传统虚拟演播室
支持的摄像机、镜头比较少；镜头大部分为固定或不可自由 移动 对接的渲染引擎单一或者老旧，很难进行更新和升级，且不 能实现高水准的渲染效果 人物和CG的合成关系多为单一的前后图层叠加，没有复杂的 混合虚实交互部分 为了不穿帮，需要机位走位完全按照固定角度，很难现场临 时调整。更无法实现棚外大范围机位移动等高难度作业
如光学标记点、视频卡、交换机、服务器、数据线等
电脑、处理器、显示屏、投屏等
四、虚拟拍摄软件 五、虚拟摄像机 六、场馆环境
动作捕捉软件、绿幕抠像插件、虚拟合成软件、虚拟 合成数字内容、三维模型资产等
影视级别摄影机、虚拟数字摄影机等
一般为一定范围内空旷空间，如需抠像合成的则建议 搭建绿幕背景环境
10
PRODUCT 产品特性
拟人物进行拥抱，进行打斗等复杂自然的演艺效果
摄影机镜头数据输出：摄影机的位置在片场直接录制，无缝 导入Maya等3D软件内进行渲染和合成 大量提高效率、降低后期制作成本：在拍摄现场剧组通过交 互可视化镜头实时掌握每一个镜头的效果，元素，并进行后 期工作的成本评估，安排，导演需求贴切度高，片子预演一 步到位。降低前期到后期制作中的反复来回沟通和修改成本。
Prime 41：
分辨率 2048x2048@180fps 视场角 51°x 51° 延迟 5.5ms 最远距离 30米 供电 POE+ 接口 千兆网
V8 ：
分辨率 视场角 供电 接口 8MP@260fps 62°x 47° POE+ 千兆网
NOITOM惯性式动作捕捉
传感器类型 惯性传感器，IMU 最大输出 32-imu@60fps 16-imu@120fps
NEXT-GEN MR PRE-VISUALIZATION 次时代MR混合现实影视视效虚拟预演拍摄系统
16
瑞立视提供ONLINE（线上实时编 辑）的Previs手法，拍摄现场除了 摄影机组和镜头摄影师，还有演员， 导演 制作过程中拍摄的素材均为最终可 成像的素材，通过虚实CG频道的 合成，导演可以实时看到预览的最 终效果 当场给予反馈或Retake，拍摄过 程一步到位，后期制作手法在前期 阶段即确立好方向， 很好地巩固了后期制作流水线流程 和成本估算。
摄影机镜头机组 三维坐标位置被定位捕捉 渲染画面实时随着相机位置移动
SERIES
MR DIGITAL PREVIS SYSTEM
RTS光学动作捕捉红外摄像头
9
INSTALLSTION 系统构成
混合现实虚拟数字拍摄系统的组成共分几大元素：
一、光学动作捕捉系统 二、系统配件 三、系统中控
用于对空间内物件，人物，道具，摄影机位置进行三 维空间定位和虚拟人物姿态解算
瑞立视MR混合现实演播室
可配适性高易搭配：系统可以与主流电视摄像设备无缝结合 最新国际实时渲染引擎：合成画面在虚幻4Unreal Engine内 进行合成并实时进行Pbr材质渲染效果输出，画面逼真如实拍 深度融合混合现实交互：人物和CG的互动不再是单纯的前后 叠加，物件的位置都拥有3D深度信息，可进行真人穿插走入 虚拟古城，真人绕着CG车走，真人和CG虚拟人物进行拥抱等 复杂自然的互动 拍摄场景无限制：完美适应室内、室外，明暗光线等各种复 杂拍摄场景 追踪准确无偏移： 在任何拍摄条件下，虚拟人物场景都能在 真实环境下准确追踪，动捕提供3D空间内的绝对位置，摄像 机机位位移镜头拉远拉近虚实结合场景都可以实时完整呈现
系统特性：
利用光学动作捕捉结合九轴陀螺仪提供高帧率、稳定、无 延迟的空间定位和虚实同步 支持SDK对接渲染引擎 如Unreal Engine4、Unity 支持固定云台的镜头平移、上下移动、镜头拉近拉远 支持大范围内大摇臂的摄像机运镜移动（10~2000平方米） 支持6自由度手持VCam虚拟摄像机移动 支持室内室外使用 支持影像深度解算和实时合成效果预览 支持摄像机输出后期制作需要的位置追踪信息
应用举例 – 中影数字制作基地 – 某红色电影 – 南湖场景人物虚实互动镜头拍摄Demo
COMPARE 传统影视动漫CG制作 和 MR混合现实影视数字预演系统的对比
17
传统玄幻科幻电影动画片制作
从拿到导演剧组的分镜后，用线下的方法靠3D动画师制作镜 头Layout分镜Previs预演，制作周期太长 Layout预演镜头的制作组多为off-set，导演无法实时观看动 作效果和进行retake反馈和评估 无法感知深度，单纯靠视觉错觉提高融入感，不能对光线作 出反应 不能得到准确摄影机位置，需要后期人力操作，费时费力
在拿到Layout和真正进行on-set片场拍摄再到后期制作合成
完毕成片，中间过程时隔一年半载，周期太长，效率太低
18
SERVICE 服务方式
设备租赁 系统采购 场地租赁（按照天数） 虚拟拍摄服务（按照片长时间和交互人物数量进行计算）
数字演员制作系统 － 3D精密模型扫描系统 表情绑定＋表情实时捕捉显象系统
1
SERIES
MR DIGITAL VIRTUAL SYSTEM MR混合现实虚拟数字拍摄系统
content
目录
2
1. PRODUCT 2. SOLUTIONS 3. ABOUT
产品 解决方案
3
4
01. PRODUCT
1000/1000W
Resolution 1280x1024@210FPS FOV 58゜x 48゜ Accuracy ＜1mm Latency 4.8ms Optimal Distance 7m Maximal Distance 13m POE-GbE/USB-WIFI Resolution 1280x1024@210FPS FOV 82゜x 70゜ Accuracy ＜1mm Latency 4.8ms Optimal Distance 5m Maximal Distance 8m POE-GbE/USB-WIFI
无法感知深度，单纯靠视觉错觉提高融入感，不能对光线作
出反应
TRADITIONAL PREVIS 传统电影数字预演方法
剧过 组去 在的 绿 幕 环 境 内 空 演制 戏作 手 法 Previs/Layout
15
PreVis在影视制作流程中的重要性
PreVis镜头合成预览手法在电影动画CG行业里被广泛应用已经不是一 天两天的事 好莱坞VFX电影大量引用虚实CG合成的预演手法，让编剧导演在制作 前期阶段即参与镜头掌控 拍摄预演效果，通过快速地生产Concept概念素材，把导演画的脚本 进行素材可视化 达到电影拍摄整体流程中的成本把控，成本节省 拍摄手段确立，工作量评估，外包资源池整合，项目预算调整，镜头 效果评估等多方面效率化手腕
NEXT-GEN MR VIRTUAL STUDIO SET 次时代MR混合现实虚拟数字拍摄系统
13
•可视化故事讲述 •前所未有视听体验
应用举例 - 未来的车展2020：未来汽车视觉体验
MR混合现实虚拟拍摄技术是近年来随着虚拟现实VR，增强现实AR，游戏引擎 渲染技术的蓬勃发展衍生出的最新的电影、电视、展会活动的表现形式 混合现实拍摄摄影棚，打破了蓝箱、绿幕的限制，利用空间定位动作捕捉技术 同步空间内的摄影机和所有虚实物件位置，使其在虚拟引擎内进行实时的互动 和合成效果预览。流畅的虚拟引擎画面渲染，逼真的3D模型完全的融合在演播 室，影视镜头等画面中，实现虚实结合的震撼效果，极大的提高了影视拍摄手 法的故事叙述性和视觉表现力 同时混合现实虚拟拍摄依然支持使用色键进行抠像，可以将主持人、演员完全 的放置到任意的想象空间，实现“人在画中游”沉浸感 该技术已经在阿凡达，头号玩家等多数好莱坞电影和英国广播电视台，美国广 播电视台等欧美主流电视台广泛使用，涌现了一大批令人惊艳的电影时效、电 视、演唱会、体育转播作品
瑞立视MR混合现实数字预演系统
现场直接拍直接看成效：所有人机交互合成都在拍摄现场进行 导演现场互动 明确需求：在现场导演和剧组能根据自己的需 求自由运镜，获取想要的构图的画面角度 真人演员、虚拟演员、虚拟角色实时互动：人物和CG的互动 不再是单纯的前后叠加，物件的位置都拥有3D深度信息，可 进行真人穿插走入虚拟古城，真人绕着CG车走，真人和CG虚
摄影机镜头机组 三维坐标位置被定位捕捉
演员 或 动捕演员
3D合成效果实时 预演（含人物和 场景的前后叠加 三维空间交互关 系的解算） Unity／UE4引擎、
角色场景、实时合成、
效果预览
MR Pre-vis visual sets 影视作品虚拟数字拍摄现场 FUNCTION 功能
7
拥有三维空间坐标讯息的
混合现实3D合成 实时预览
在实时渲染的预演效果镜头内 能看到演员和虚拟物件/虚拟场景的混合叠加互动。 例如： 现实中 – 人坐在绿色道具上
虚拟镜头里 – 人骑在飞龙上，龙头挡在人前，
龙尾巴在人的身后
虚实空间内的3D坐标关系一比一对应，wk.baidu.com现正确 的混合现实前后叠加镜头预演效果
虚实空间3D坐标同步解算
8
大型绿幕摄影棚
RTS光学式动作捕捉系统 摄像头运动轨迹定位系统
深度摄像机＋3D空间虚实合成实时渲染系统
HARDWARE
硬件参数对比
A comparison between international optical motion capture system.
19
RTS4000 ：
分辨率 视场角 精度 延迟 最远距离 供电 接口 2048x2048@180fps 51°x 51° 亚毫米级 5.5ms 30米 POE+/DC12V 千兆网/USB-WIFI
系统可延展性：
无缝对接UE4、Unity插件使用 支持Motion Builder 、Maya、3DMax等Autodesk软件 支持虚拟数字资产的一键导入和快速标记点位置映射 含中英文界面说明、拍摄期间技术团队支持服务、数字内 容制作服务、软件应用定制开发等产品技术支持服务
适用客户：
所有影视、电视、动漫游戏的动画制作公司等数字行业专业 客户，满足演播室、摄影棚、室外实拍、大型展厅等拍摄和 演员观众互动需求
content
目录
11
1. PRODUCT 2. SOLUTIONS 3. ABOUT
产品 解决方案 企业介绍
TRADITIONAL BROADCAST STUDIO 传统虚拟演播室
12
传统虚拟演播室是自1994年IBC首次展出之后广泛在全球电视台广泛 使用的技术 。 其核心理念是“电子布景”，即除了人员和摄像机在演播室完成，其 余布景道具都由计算机渲染产生 。 其基本原理是摄像机的工作状态信息传送给图形工作站，计算机依此 得到前景物体与摄像机之间的距离和相对位置，从而计算出虚拟场景 最适宜的大小、位置，并按要求计算生成虚拟场景的三维模型。现场 视频采用色键原理，将主持人或演员置身于蓝色或綠色背景幕布前表 演，然后利用切换台上的色键功能将主持人从背景幕布中分离出来， 实时地与计算机产生的三维模型完美无缺地集成在一起，构成一个现 实中不存在的、但是在电视画面上却又起到演播室作用的那种假想的 新的环境和气氛，最终得到把将实拍的人物与虚拟景物无缝地融合起 来的画面。 CCTV天气预报云图背景是中国最早被大众熟知的运用此技术的场景