第 7 章 基于图像的VR技术

•
• 真实感强：基于图像的方法能真实地反映景物的形状和丰富的明暗、材 料及纹理细节，不需要经过额外的光照模拟。 • 交互性好：由于有绘制速度和真实感的保证，再加之先进的交互设备和 反馈技术，使得基于图像的VR有更好的交互性。
当然，IBR方法也并非没有不足，目前还有如下缺点：
1)表示模式。
即数据的组织问题。需要找到一种简便有效且适合于计算机表示的模式，使 之能精确完整地表示整个场景;
(u, v) 为计算机图像坐标（象素单位）
( x, y ) 为实际图像坐标（物理单位）
x dx 0 u0 dx u y 0 dy v dy v 0 1 1 0 0 1
Camera模型：代数模型
X wi m 11 Ywi m 12 Z wi m 13 m 14 ui X wi m 31 uiYwi m 32 ui Z wi m X wi m 21 Ywi m 22 Z wi m 23 m 24 vi X wi m 31 viYwi m 32 vi Z wi m ui m 34 vi m 34
– 将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不同 物理位置的参考图像，黑色摄像机代表合成视图，双向边表示邻接视
图间的立体对应关系，单向边表示对参考图像所做的变换。
立体对应
图象变换
• 基于立体视觉的图像合成方法主要有以下优点：
– 新视图可以由两幅邻近的参考图像及它们的对应关系 合成，整体的几何模型不是必需的； – 图像变换比传统的图像绘制快得多，而且计算时间独 立于场景复杂度； – 只需知道邻接摄像机之间的相对轮廓信息，而不需要 对摄像机进行精确的定标。
2)获取方法。
用手持相机或者用被精确定位与控制的数控摄像机、图象采样的数量多少、 采样模式及样本均匀性等都会影响问题的难度和精度。
3)失真问题
失真是由于连续图象信号的离散化、采样设备的精度和质量、设备噪等多种 因素而产生的。同时，工BR方法不可避免地要对场景图象进行多重采样，这样又 会产生采样积累误差。
33 33
X w1 Yw1 0 0 X wn Ywn 0 0
Z w1 0
1 0
0 X w1 0 X wn
0 Yw1 0 Ywn
0 Z w1
0 u1 X w1 1 v1 X w1
u1Yw1 v1Yw1
Z wn 0
1 0
0 Z wn
• 基于几何绘制的方法
此方法有3个主要问题：
• 第一，几何体的建模是一个非常繁琐的问题。 • 其次，由于漫游需要实时显示，因此限制了场景的复杂性 和绘制的质量。 • 最后，加速绘制所需要的专门硬件极其昂贵，因此限制了 虚拟现实的发展。
基于几何的绘制方法的工作流程
基于图像绘制技术
VR的两种研究方法：
2 基于视图插值的方法
• 视图插值方法可以对二维的图像按照形状插值来模拟 和近似三维的图形变换。给定两幅不同视点参数的图 像，用这种方法可以求出中间视点的图像，从而达到 视点变化的效果。 – 视图插值就是利用图像变形的方法产生视点沿着一 定路径变化时的中间图像
基于图像的建模和绘制技术
3 图像拼合和分层的方法
4 基于全视函数的方法 • • • 全视函数(PlenOptic Function)是由Adelson和Bergen命名的 全视函数描述了观察点(而非物体或光源)接收到的所有可见 光辐射的能量。用计算机图形学术语，它描述了给定场景中 所有可能的环境映照集合 全视函数定义在一个七维的参数空间上
•
(V x , V y , V z )
– 完整过程
Xw u v M Yw Zw 1 1
摄像机定标：求解
M
二、Camera定标
• 目标 • 基本原理
– 定标参照物 • 线性模型 • 非线性模型 • 立体视觉 – 自定标 (project)
• 实例
– 机器人手眼定标 – 主动视觉的头眼定标
其中：
Xw t Y w M1M 2 X w MX w 1 Zw 1
x f / dx, y f / dy;
M : 为3X4矩阵，称为投影矩阵; M1: 由 x , y , u0 , v（只与摄像机内部结构有关）决定，称为摄像机内部参数 ; 0
0 u1 X wn 1 v1 X wn
旋转、平移 （欧氏变换） 齐次坐标概念：
Pw
Pc
( x, y, z ) (kx, ky, kz, k )
Xc Y c R T Zc 0 1 Xw Xw Y t Y w M1 w Zw 1 Zw 1 1
• 将同一场景的多张有重叠的图像组合成 一幅较大图像的处理叫做拼合(mosaic)。
– 图像拼合技术典型地被用于全景图的生成、 改善图像分辨率、图像压缩及视频扩展等方 面 – 图像整合(image registration), 即是把参考图 像中相互重叠的部分对齐所做的变换。
基于图像的建模和绘制技术
Camera模型：代数模型
– (3)将实际图像坐标转换成计算机图像坐标(缩放变换)
O0
u
O1
(u0 , v0 )
代数表达：
x
u
x u0 dx
v
y v0 dy
v
y
Image坐标系
1 u dx v 0 1 0
0
1 dy
0
u0 x v0 y 1 1
a x 0 u0 0 R 0 a v 0 y 0 0T 0 0 1 0
Xw t Y w M1M 2 X w MX w 1 Zw 1
u 0 Zc v 1 0
X wi m14 Y wi m24 Z wi m34 1
Z ci ui m 11 X wi m 12Ywi m 13 Z wi m 14 Z ci vi m 21 X wi m 22Ywi m 23 Z wi m 24 Z ci m 31 X wi m 32Ywi m 33 Z wi m 34
基于图像的VR技术
VR的两种研究方法简介
VR的两种研究方法：
方法一：基于几何的绘制 • 该方法有时也被称为基于模型的方法 • 传统上，一个虚拟环境是由各类3D几何体合成的。在 虚拟环境中漫游是通过实时绘制2D几何体实现的。
– 首先对场景建立三维几何模型，对场景中各个物体的材料、 光照、纹理、消隐等因素进行描述； – 然后根据观察者位置和观察角度生成场景中各个物体的图象， 用图形学方法进行绘制； – 最后用光线跟踪或纹理映射的方法增加真实感，同时对物体 进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。
摄像机针孔模型示意图
Camera模型：四种参考坐标系
Z w world坐标系
P( X c , Yc , Zc ) Zc
Yw
Xw
O0
u
O1
(u0 , v0 )
x
p
O1
x
Xc
v
y
Image坐标系 （物理/计算机）
O
Yc
y
camera坐标系
Camera模型：代数模型
• 成像过 –程 (1)从world坐标到Camera坐标
Camera模型：代数模型
– (2)经透视投影将Camera坐标投影到实际图像平面
透视投影（中心射影）：
fX c x Zc
fYc y Zc
Xc 0 0 0 Yc f 0 0 Z c 0 1 0 1
x f 0 Zc y 1 0
– 基于立体视觉的方法 –
基于图像的建模和绘制技术
1 基于立体视觉的方法
• 基于立体视觉的方法
– 基于立体视觉的视图合成方法主要利用立体视觉技术从已 知的参考图像中合成相对于新视点的理想图像 – 关键问题是找出每对已知图像之间的对应映射，即解决立 体匹配问题 – 通过对应关系建立了一个基于图像的场景表示
1 dx
0
1 dy
0
u0 f v0 0 1 0
0 0 0 R f 0 0 T 0 0 1 0
Xw t Y w 1 Z w 1
x 0 u0 0 R 0 y v0 0 T 0 0 1 0 0
• 摄像机定标
– 线性模型摄像机定标 – 非线性模型摄像机定标 – 立体视觉摄像机定标
一、 Camera模型：针孔成像模型
• 图像上每一点的亮度反映了空间物体表面某点反射光的强 度，而该点在图像上的位置则与空间物体表面相应点的几 何位置有关。这些位置的相互关系，由摄像机成像几何模 型所决定； • 该几何模型的参数称为摄像机参数，必须由实验与计算来 确定，实验与计算过程称为摄像机定标； • 摄像机模型是光学成像几何关系的简化。最简单的模型为 线性模型，亦称为针孔模型 (pin-hole model)
Camera定标：线性模型情形
• Camera的完整代数模型：
u 0 Zc v 1 0
1 dx
0
1 dy
0
u0 f v0 0 1 0
0 0 0 R f 0 0 T 0 0 1 0
Xw t Y w 1 Z w 1
• 基于立体视觉的图像合成方法也存在着立体
视觉中固有的缺陷：
– 由于场景有可能部分和全部地被遮挡，只能掌握场 景有限的信息，导致在参考图中不可见而在新图中 应该可见的区域出现空洞，如何填补这些空洞是一 个难以解决的问题； – 由于只产生有限的深度分辨率(深度不连续)，使得 匹配处理出现误差。