基于图像的绘制技术综述

基于图像的绘制技术综述

摘要：

基于图像的绘制技术（Image-based Rendering，IBR）近年来引起广泛的关注，目前的基于图像的绘制技术（IBR）可以根据他们依赖场景几何信息的程度分为三类：无几何信息的IBR 绘制、部分几何信息的IBR 绘制和全部几何信息的IBR 绘制。通过对三类技术特征及其数学描述的讨论，从中得出结论：在IBR 技术中图像和几何信息的双重应用表明IBR 和传统的基于三维几何的图形学可以统一成一个有机整体。

1 引言

由于基于图像的绘制技术（Image-Based Rendering）在从电影特效（The"Matrix"）到大场景虚拟漫游、远程现实等方面的广泛应用，其发展非常迅速，相继出现了一系列高效的技术方法。和传统的基于模型的绘制相比，基于图像的绘制有如下的优点：图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；预先存储的图像(或环境映照) 既可以是计算机合成的，也可以是实际拍摄的画面，两者也可以混合使用；算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。

本文把IBR 技术分成无几何信息的绘制、基于部分几何信息的绘制和基于完全几何信息的绘制三类[1]。由于各种绘制技术和方法是相互关联的统一体，而不是完全彼此脱离的，所以分类界限并不是十分的严格，如图1 示。从近几年研究的侧重点和成果显示来看，目前越来越多的研究集中于图像和几何信息之间相结合的方法，这样能使绘制效果更加完美逼真。

2 无几何信息的IBR 绘制

无几何信息的IBR 绘制方法都是基于全光函数及其变形的。早期的全光函数(PlenOptic Function)是由Adelson 和Bergen 命名的，简单的讲它描述了构成场景的所有可能的环境映照（Environment map）。若记录光线的照相机的位置为(Vx,Vy,Vz)，光线的方向为(θ,Ф)，光波波长为λ，光强随时间t 变化，则全光函数可以表示为：

P7=P(Vx,Vy,Vz,θ,Ф,λ,t)

在上式中，场景内的所有光线构成了一个全光函数。基于此，IBR 技术可以归结为以离散的样本图。

像重构连续的全光函数的过程，即采样、重建和重采样过程。表1 给出了在各种对视域假定和限制情况下7D 的全光函数被简化为从6D 到2D的各种形式，以及一些文中提到的有代表性表示方法。

2.1 全光模型（PlenOptic Modeling）

McMillian 和Bishop 在文献[7]中对全光函数做了简化，假设场景的光波不变，且场景不随时间发生变化，则可以忽略场景的波长λ和时间参数t，全光函数从而简化为5 维函数，即：

P5=P(Vx,Vy,Vz,θ,Ф)

这是一个柱面全景图的集合，这种表示在所有五维上都存在大量的冗余，而且方法中没有解决立体对应的问题。有关5D 全光函数其他的应用实例可见文献[2]

中。

2.2 光场（Light Field）和光亮度（Lumigraph）绘制

Light Field 和Lumigraph 的研究表明，若我们在包围场景的一个包围盒外对场景进行观察，且场景中的每一个矢量方向只存在一根光线（即场景无遮挡），则5D 的全光函数可以简化为4D 的光场函数：

P4=P(u,v,s,t)

上式中(u,v)和(s,t)是两个参数化的平面，若场景的包围盒是一个6 面体，则我们需要6 组这样的参数化平面表示场景的所有光线。在Light Field 系统中，为了得到均匀的采样图像，他们采用了专门的装置来采集图像样本，同时为了减少绘制的走样，图像数据预先进行了滤波处理。这Lumigraph 的绘制利用了场景的部分几何信息，因此它不需要专门的图像采集装置，从而减少了场景的采样密度。两种方法的缺点是只解决了没有遮挡的、光照固定的、静态对象的表示及绘制问题，而没有解决完全的虚拟环境漫游。

2.3 面全光函数(The surface plenoptic function-SPF)

SPF 首先在文献[3]中被提出，Cha 等分析了IBR 绘制中的光谱特性，观察全光函数的生成，很明显，自由空间中的每一条光线都有个光源。可能是像太阳那样的某个发光体发出来的，也可能是被物体阻挡反射的。如果物体是透明的，还会有折射现象。

2.4 同心拼图(Concentric Mosaics)

文献[4]中Shum 等把照相机固定在一个圆轨迹上运动，照相机光心朝外，从而得到3D 形式的全光函数，我们称之为同心拼图。光场(Light Fields) 技术把全光函数缩小到了4D 表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术有效的解决了这些问题，使得数据采集变得非常简便，并且是以3D 的形式表达，从而提供了很好的应用前景。

Sun 等在文献[5]中，设计了一个简化的同心圆拼图系统，以往的同心圆拼图系统难点在于普通用户对参考图像精确拍摄时相机旋转问题，而在此系统中，相机的位置不用精确控制，而是从预先拍摄的图像中估计出来的。其中利用了立体技术代替传统的计算机视觉方法估计确定相机位置。其中的不足在于特征匹配错误导致的相机位置估计不准确，有待进一步的改进。

3 基于部分几何信息的绘制

有一类IBR 绘制只需要很少的输入图像，但绘制依赖于图像之间的匹配信息。因为几何信息在这种方法中并不是直接明显的，所以称这类方法为基于部分的几何信息的绘制。该方法同时采用几何及图像作为基本元素来绘制画面的技术，根据一定的标准，动态地将部分场景简化为映射到简单几何体上的纹理图像，若简化引起的误差小于给定阈值，就直接利用纹理图像取代原场景几何来绘制画面。这种绘制技术可以在一定误差条件下，以较小的代价来快速生成场景画面，同时仍保持正确的前后排序，所生成的图形质量也很高。

3.1 视图插值技术（View interpolation）

给定两幅图像样本，若它们之间的光流信息已知，则可以重构出任意视点的新图像，这就是Chen 和Williams[6]的视图插值技术。这种方法在两幅样本的视点很近时非常有效，否则绘制会出现“折叠”现象。另外当两幅样本图像之间的距离过大时，图像的共同区域将会非常小，从而影响绘制结果。当图像样本的拍摄朝着同一个方向时，视图插值方法效果最好。Sun 等在文献[7]中提出一种新的