敦煌石窟虚拟重现与壁画修复模拟

测绘学报投稿
敦煌石窟虚拟重现与壁画修复模拟
潘云鹤鲁东明陈任
(浙江大学计算机科学与工程系中国杭州310027)
panyh@ ldm@ rchen@
摘要：由于受到自然灾害、经济建设、旅游开发等因素的影响，许多珍贵稀有文物遗址已处于濒危境地，如何有效保护、研究与开发这些文物资源已经显得非常的迫切与重要。

本文研究了如何将计算机技术与传统文物保护工作结合起来，对文物实施数字化保存、重现和修复；并以敦煌文物为研究对象，利用虚拟现实、图像处理与人工智能等技术实现了敦煌石窟虚拟展示、脱落壁画复原与演变模拟等系统，极大地提高和改善了文物保护研究的效率与效果。

关键词：虚拟现实；人工智能；文物保护；艺术复原
1 引言
自然灾害、经济建设、旅游开发等因素的影响，许多珍贵稀有文物遗址已处于濒危境地，有些甚至正在或将要消失。

抢救性地保护珍贵文物信息，已经显得非常的迫切与重要。

采用信息技术对文物实施数字化保存，可以最大程度地弥补因文物不可抗拒的衰变或消失而带来的缺憾；同时利用虚拟现实、图像处理与人工智能等技术实现敦煌石窟虚拟展示、脱落壁画复原与演变模拟等系统，极大地提高和改善文物保护研究的效率与效果。

敦煌石窟是我国和世界闻名的珍贵历史文化遗产之一。

由于地理条件的限制，阻碍了敦煌石窟艺术的广泛传播；同时由于地处沙漠之中，常年的风沙侵袭，敦煌壁画已经受到了严重的破坏。

浙江大学与甘肃省敦煌研究院合作进行了敦煌石窟虚拟重现与壁画修复模拟的研究。

作为国家自然科学基金重点项目“多媒体与智能技术集成及艺术复原”课题的一个部分，其目的是在计算机平台上提供浏览敦煌石窟的虚拟现实界面，为用户提供一个全方位的友好、方便的浏览工具，为考古学家与艺术家提供鉴赏、研究的平台，并对破损、褪色壁画进行修
复。

目前，我们已完成基于SGI O2工作站平台与微机平台上的敦煌虚拟漫游系统，其中前者已在德国汉诺威世界博览会（EXPO 2000）展出；另外，完成了一些具代表性的洞窟壁画图像色彩的数字化复原与历史演变过程模拟。

以上研究工作已被整理并发表在IEEE Multimedia和EuroGraphics2000等国际和国内学术会议和期刊上[9][10] 。

本文将具体介绍我们的工作。

在第二节中我们总结了目前国内外的相关系统，第三节和第四节将详细阐述敦煌石窟虚拟重现与漫游系统和壁画色彩虚拟复原与演变模拟系统，最后我们将对我们的工作作一个总结。

_________________________________________________
作者简介：潘云鹤（1946－），男（汉族），浙江杭州人，教授，博导，中国工程院院士，浙江大学校长。

目前研究方向为认知科学、人工智能，计算机美术等。

基金项目：国家自然科学基金重点项目（69733030）
2 国内外相关应用系统及技术
随着计算机科学的不断发展，特别是计算机图形学和数字图像处理等技术的逐渐成熟，为古代珍贵文物的保护、复原与研究提供了新的手段与方法，计算机辅助的文物保护与开发受到了广泛的关注，许多国家已开始将信息技术应用于古代文物的收集、保存、虚拟展示、复原、辅助考古与研究、旅游宣传等各个方面，并取得了许多成果。

另外，随着应用需求的加强，面向古代文物保护与开发的专门信息技术研究，已引起学术界的普遍关注。

近几年一些多媒体、虚拟技术或图形学方面的国际会议开设了文化遗产（Culture Heritage）专题，并将多媒体与虚拟技术用于文物保护作为会议的主题，如VSMM’98, EG’99等[3][4][8]。

2.1 文物数字化技术
文物的数字化是计算机辅助文物保护工作的基础。

根据文物对象的特征，文物数字化的研究分为二维文物数字化获取和三维文物数字化获取两个部分。

二维文物数字化获取的对象一般包括文物的平面图案、色彩、文本等，其数字化目前常用的方法是采用数字摄影技术来对文物进行拍照，或采用普通相机拍摄后使用扫描仪记录为数字图像。

比如，英国大英博物馆就使用照相机拍摄了馆藏的经书和绢画，以作永久保存。

三维文物数字化目前大致有三类方法，即基于测量的方法、基于计算机视觉的方法和基于三维扫描仪的方法。

其中第三类方法是目前数字化方法的主流。

这方面典型的工作有：美国斯坦福大学、华盛顿大学与Cyberware公司合作完成的数字化米开朗基罗计划，该计划使用三维扫描仪记录了十座米开朗基罗所塑造的大型塑像，包括著名的大卫像[1]；日本岐阜大学完成的基于测量的Shirakawa-go地区的古村落数字化工作等[2]。

2.2 文物虚拟展示技术
文物虚拟展示技术主要研究如何将已经数字化记录完毕的文物如实地展示出来。

其应用主要有：为考古专家提供非常逼真详细的文物外观信息；为艺术家们提供图像清晰、照明充足的临摹范本和鉴赏环境；为游客在展览馆或网页上交互地欣赏一些珍贵文物、观看文物发掘过程；展示文物出土时的周围环境、位置，整个发掘现场的整体状况，以及随着发掘工作的进展，整个遗址环境的变化等。

文物虚拟展示最典型的应用是虚拟文物遗址漫游系统，这里用到的计算机技术主要是虚
拟现实（Virtual Reality）技术。

典型的有意大利罗马大学的Angela Antonicelli等人正在进行的Plinius工程，对庞贝古城进行研究，建立庞贝城的虚拟现实模型，并实现三维漫游[3]；中德合作创建的敦煌信息网站，利用VRML和QTVR等技术实现对敦煌洞窟的漫游，使得用户在网络上也可以参观敦煌石窟，得到相关资料[4]。

为进一步提高文物虚拟展示的真实感和展示系统的效率，根据不同应用系统的要求，文物虚拟展示技术的研究目前主要集中在加速实时绘制技术，加速实时网络浏览技术和真实感绘制技术等方面。

一些计算机图形学最新的研究成果，例如基于图象的建模（Image Based Rendering，IBR）技术，多分辨率建模（Multiresolution Modeling）等等，都已经在文物虚拟展示系统中获得了应用。

2.3 计算机辅助文物复原技术
计算机艺术复原是计算机图形学一个分支，近几年的SIGGRAPH会议均设专题进行讨论。

1994年7月在美国举行的世界计算机图形学大会上，计算机艺术方面的内容比例很大，专门编印了计算机艺术作品选。

近年来，计算机艺术复原在文物修复方面的应用得到了世界各国广泛的关注，连续两年，VSMM98与EuroGraphic99在其会议中开设了这方面的专题讨论组，并出版了专集。

现在在文物修复领域常用的，而且已经成熟的方法主要是单纯的基于计算机图象处理的修复方法。

其利用的技术和原理是艺术图象处理的一般技术原理，大多数并不具有针对文物保护这个特定领域的特性。

这样，许多在恢复阶段中十分有用的知识（例如壁画的变色、褪色知识），以及其他一些具有参考价值的信息都被忽略了。

另外，整个修复过程在形式上基本是人机交互，计算机对修复工作不提供启发和指导功能，因此存在很大的局限性。

针对以上不足，人们开始研究人工智能、多媒体与传统图象处理的结合。

在多媒体技术的基础上，通过嵌入知识表达与推理机制，来提高或改善多媒体系统在媒体制作、组织存储、检索和显示交互方面的性能。

3 敦煌石窟虚拟重现与漫游
3.1 文物数字化信息获取
敦煌石窟艺术中最有艺术价值的是其壁画和彩塑。

如何将其完整，无损地记录下来，是我们文物数字化信息获取的主要目标。

根据获取对象的不同特点，我们将壁画、石窟结构和彩塑分别采用不同的方法来进行获取工作。

·壁画数字化获取
我们采用数字相机拍摄来获取壁画的图像数据。

为了获得高精度的壁画图像，我们首先把一整幅的壁画划分成若干个区域进行拍摄，并且使相邻照片有部分重叠以便拼接。

拍摄的壁画图像经过预处理后，再合成为整幅壁画图像。

·石窟结构数字化获取
对于石窟结构，我们从已知的测量数据直接使用三维建模工具（如AUTODESK公司的3DS MAX等）进行建模，把壁画和地砖纹理采用投射贴图的方法映射到洞壁表面，采用凹凸贴图的方法来模拟洞壁上的浮雕，并根据洞壁原始情况改变其凹凸度以增加真实感。

·彩塑模型数字化获取
对于彩塑等外形比较复杂，对记录精度要求很高的三维对象，我们采用三维扫描技术来
获取其模型。

使用专业的三维扫描仪可以容易地获得三维物体的几何模型，其记录精度可以达到毫米数量级。

并针对敦煌彩塑的特点研究了专门的模型拼接算法。

另一方面，由于文物大多具有丰富的色彩信息，这些色彩、纹理也是考古专家研究的重要内容。

但是目前大量使用的三维扫描仪只能获得物体的单色几何模型，无法直接获取色彩信息。

为了弥补这种不足，我们研究了如何通过三维扫描仪扫描获得的单色模型与围绕着它所拍摄的一系列数字相片来获取物体纹理贴图的方法。

该算法通过模型到图象的对准技术、几何投射与变形和拼接等步骤来获取物体圆柱贴图纹理，具有直观、对原始照片质量要求小、允许运行时编辑等优点。

该方法已经在系统中得到了使用，并取得了很好的效果。

3.2 莫高窟外景虚拟漫游
传统的漫游系统主要使用非常成熟的几何建模和真实感图形绘制技术，通过手工方法建立场景的三维模型，设定光照、纹理，然后根据游览者的观察角度用光线跟踪或纹理映射的方法进行真实感绘制。

但这种绘制技术存在着一些明显不足：首先，对于复杂的场景，特别是自然景观，较难建立满足真实感要求的模型，所以不得不花费大量时间去建模，并且显示时对硬件的要求也很高。

另外，漫游场景是计算机根据一定的光照模型进行绘制的，色彩层次没有实际的自然景观丰富，用户很容易看出是由计算机产生出来的。

为了克服以上不足，许多学者探索了基于图象的绘制(IBR)技术，直接利用照片作为输入来实现漫游，在外景虚拟漫游中，我们就采用了基于全景图的IBR方法。

这种方法最大的特点和优点是易于实现、效率高、漫游速度快，也可以在普通的计算机上实现实时地漫游而不需要专门的图形、图象的硬件加速设备。

根据敦煌外景的特点，我们专门研究了IBR中的环绕与穿透漫游方法。

这样，用户就可以连续漫游整个景区，而不是象传统的基于全景图的IBR方法那样只能在固定几个点上观察景物。

3.3 艺术石窟内部虚拟漫游
艺术石窟内部虚拟漫游的设计目标是：具备基本的漫游功能，即自由控制漫游路线；具备局部对象的拾取、放大等处理功能，满足考古工作者和艺术工作者的需要；提供较高真实感的绘制，特别在是壁画的清晰度方面，要保证用户在接近壁画时仍具有一定的分辨率；提供面向游客的石窟漫游等。

[6]
因为敦煌石窟彼此之间相互独立。

用户在实际参观中某一时刻所关注的只可能是一个石窟。

所以我们将各个石窟分别建模和漫游，并以外景漫游将它们有机地串在一起。

这不仅为实现自由式的漫游提供了设计方便，而且在实际应用中，也可以方便研究人员开展工作。

基于上述要求，我们设计了如下系统结构：[8]
系统在结构上设计为四个部分。

最基本的是多媒体信息的数据库（MDB ），是包括石窟的三维模型数据结构，彩塑，壁画，关于壁画的文字、声音和视频等信息。

它是系统的一切数据来源，并提供数据I/O 操作的接口；虚拟场景生成器（VSG —Virtual Scene Generator ）是系统的核心部分，包括三个子模块：3D 模型表达；石窟彩塑表达和壁画多媒体信息表达；用户界面（UI ）负责管理各种显示场景的窗口，接受用户的各种输入信息等。

对于本系统来说，关键技术在于石窟中的塑像的处理，这些人物塑像往往造型复杂，色彩丰富，给建模和渲染上带来了很大困难，我们采用基于morphing 的IBR 方法和多分辨率模型方法来解决这一问题：
· 基于Morphing 的IBR
Morphing 是一种图象变形技术，是使一个数字图象到另一个图象的流畅的变化。

平滑的变形是利用对两幅图象色彩插值来实现的，通常是先对图象进行warping ，提供图象中特征的几何形状转换以保证图象的几何特征的对应关系，然后再对色彩进行插值。

在漫游过程中，我们采用改良的基于
特征线段的Morphing 方法来对彩塑照片
进行插值，以获得中间视点的视图。

由于敦煌彩塑的形状十分复杂，为了
在漫游中取得较好的视觉效果。

我们的
Morphing 算法在现有基于特征线
Morphing 算法的基础上，重点研究了传统
方法中不能解决的合成图象中的“空洞”
问题。

我们首先使用基于动态规划的边缘
检测方法确定图象的轮廓，先用区域生长
法寻找“空洞”，然后使用反向区域生长法
填充“空洞”。

该算法已在漫游系统中使用，
图1 艺术石窟内部虚拟漫游系统总体结构
图2 艺术石窟漫游系统界面
并取得了较好的效果。

· 多分辨率模型
多分辨率模型方法是指对一个场景或场景中的物体，通过具有不同细节的描述方法，得到一组模型，以供绘制时选择使用。

我们采用公认简化后几何特征保持最好的是基于二次误差度量的简化算法来对扫描得到的精密模型进行简化。

并针对敦煌漫游系统的特点，在其基础上作一定改进，根据彩塑特点对简化结果进行约束。

为每一尊彩塑建立多个不同细节程度的描述并保存后，我们可以在漫游过程中根据用户
的视点与彩塑的距离和角度选择不同的描述进行着色，这样就大大降低了场景的复杂度，提高了漫游系统的效率。

4 壁画色彩复原与演变模拟
敦煌壁画色彩复原与演变模拟系统可以采用自动和交互手段，对褪色、变色和脱落的残破壁画进行复原，并模拟其病害的发生和演变过程。

本系统的研究与开发为保护与研究敦煌壁画提供了有效的计算机辅助研究工具，已在敦煌复原工作中使用，并获得了很好的效果。

敦煌壁画色彩复原的思路是：根据图像的主要颜色，自动将壁画图像划分得到几张单色图像；利用壁画的属性检索出与当前壁画相似的完好的壁画作为复原的参考壁画；同时应用敦煌传统用色知识，壁画风格知识、敦煌研究专家的经验知识，进行色彩复原推理；最后，利用变色演示技术，能可以产生很多中间图像，逼真地模拟壁画演变的全过程，供敦煌色彩专家和文物保护专家参考。

壁画复原演变模拟涉及的主要技术包括：色彩分层、色彩风格表达检索、类比推理、色彩协调映射等方面。

4.1 色彩虚拟复原与演变模拟的系统流程
色彩虚拟修复的流程为如下几步：[9]
1) 预处理：根据经验处理图像，使图像质量变好，以便于下面的分层和边缘检测划分
对象。

2) 划分对象：根据不同的破损情况，用分层或边缘检测的区域提取方法得到修复对象。

系统可以最终进行修复的最小单位是修复对象。

3) 修复对象：修复对象的过程比较复杂，又可以分为以下几个子步骤：
图3 不同细节程度的佛像三维模型
I.合并对象：如果有些层或区域修复对象可以作相同的修复处理，则可以把它们
合并到一层。

最后每个修复对象各占一层。

II.获得对象的描述信息：系统通过提供一个向导引导用户收集一些修复必须知道的描述信息，如壁画所处朝代，洞窟、壁画主题、内容、风格以及绘画技法、
是变色、褪色还是脱落破损等等。

III.选择修复方法及知识检索：根据前面得到的描述信息以及对象本身的图像信息，选择适当的修复方法并从知识库中检索相应的形式化经验知识或类比知
识。

IV.进行修复：主要是根据知识进行实际图像处理上的色彩替换及图案创作过程。

V.合并对象：定义各个对象的合并顺序，把各个对象与原始图重新合并成一幅整图。

4)后处理：同预处理。

虚拟色彩演变模拟的两个重大问题就是解决色彩过渡曲线的获得和在演变过程中对多种色彩的中间色彩进行协调。

而我们得到的色彩过渡曲线通常是某一种颜料原始色彩的标准轨迹，而壁画图像色彩丰富，于是我们要在有限的标准轨迹上推出任一种色彩的变色轨迹并为它做近似色彩演示。

4.2 关键技术
·基于领域知识的自动色彩分层技术
在基本的直方图统计分色方法的基础上，我们引入了领域知识。

敦煌专家已经给出了敦煌各个朝代的使用的标准色彩，根据这些色彩我们重新划分色彩空间，将图像中的色彩加权归类。

由于绘画时色彩的空间连续性，在计算色彩相似度时，不仅根据当前像素的色彩值，而且考虑到它周围n个点的色彩的平均或加权平均值。

这样得到的分层效果比普通的直方图
统计要明显好很多。

[10]
· 色彩风格表达检索和类比推理
我们对图像进行了形式化的定义，考虑了图像的内容和背景等语义特征，这样就可以避免纯图像处理方法中把图像看成象素点集合的盲目性。

我们在图像处理的基础上，引入知识类比，根据专家的经验知识和实验统计知识作为图像处理的约束条件。

领域内的知识约束使得复原效果真实可靠。

对一幅艺术图像而言，我们要对其进行分析和处理，不仅仅要考虑它的视觉特征（色彩和空间分布等物理属性），而且要考虑它的语义特征（图像内容以及相关背景信息），因此我们对艺术图像的形式化定义如下：
图像视觉特征空间V F =色彩特征C F 形状特征f F 纹理特征T F … …
我们定义语义特征空间s F 为：T D No s S S S F ⨯⨯=
其中No S 是洞窟号；D S 是创作朝代；T S 是主题。

在这里，知识实际上是图像类比的总体约束条件，所以我们采用知识约束的图像检索作为推理机制。

这里的图像检索包括语义特征的检索和视觉特征的检索。

一般来说，语义特征的区别也是视觉特征的区别，所以语义特征的检索优先于视觉特征的检索。

[10]
· 色彩转换规则
修复的过程实际上是一个色彩转换的过程。

对一个修复对象，我们在HSV 空间统计出此对象的颜色直方图，由此确定当前图像色彩分布（主要指直方图的峰值），而修复后图像的色彩分布是从经验知识或类比图像中提取出来的。

我们采用线性变换实现修复对象中象素的色彩转换，其方法是根据修复前后h 、s 、v 两峰值的),,(s s s VM SM HM 和),,(c c c VM SM HM 作为参数求出所要恢复区域象素的色彩值（系统也提供了在RGB 空间的这种线性色彩转换）。

· 色彩过渡
变色及褪色演变过程是一个色彩过渡过程，我们要求色彩过渡轨迹上的所有颜色都应该是敦煌色彩。

色彩过渡轨迹可以由如下步骤得到：
1、对混色模型计算得出的关键色彩进行判断，看是否落于敦煌色集合。

若否则在敦煌色中取与之相似度最高的颜色代替。

2、判断任两相邻关键色彩的连线上的颜色点是否都是敦煌色，若否则产生演示曲线上的断点，将此连线切成几段线段。

所以演示有可能颜色直接从某一色跳到下一敦煌色彩。

3、得到一折线的色彩过渡曲线分段函数。

这就是某种颜料色彩过渡的标准轨迹。

（也可以由贝塞尔曲线代替直线拟合。

）
以下是我们得到的结果：
图5 基于知识的变色复原。

左边的是现在的壁画（洞窟实景拍摄的的
照片），中间的是用于类比的图，右边的是复原后的结果。

5研究总结与展望
计算机科学与文物保护的结合，在国内外尚处在试验阶段，但是它具有蓬勃的生命力，并受到了广泛的关注。

本文的探索工作为传统的文物保护开辟了一条新的道路，以敦煌文物保护为例，为古代珍贵文物的保护、复原与研究提供了新的手段，即计算机辅助的文物保护与开发方法。

通过浙江大学与敦煌研究院双方计算机与文物保护专家们的共同努力，我们已经基本完成了莫高窟第17、45、85、205、419窟中壁画与彩塑的数字化摄影与保存，并开发了包括莫高窟外景在内的石窟虚拟展示与旅游参观系统；另外，以第205窟的南墙壁画为重点，完成了壁画图像色彩的数字化复原与历史演变过程模拟。

同时，还开发了支持石窟现场调查、病害标记、材料分析、环境监测与壁画修复等全过程的计算机辅助石窟保护修复辅助系统、能临摹创作敦煌风格图案的智能图案辅助设计系统。

目前，我们正进一步加深对面向濒危文物保护的信息数字化关键技术研究开发，完善各个应用软件系统，并拟推广应用到其他遗址、文物的保护研究与开发。

本文工作得到国家自然科学基金重点项目“多媒体与智能技术集成及艺术复原”（No.69733030）的资助。

参考文献
[1]LEVOY M, PULLI K, CURLESS B, The Digital Michelangelo Project: 3D Scanning of
Large Statues [CD], Siggraph’2000, ACM Press, 2000
[2]HIRAYU H, OJIKA T, KIJIMA R, Construction the Historic Villages of Shirakawa-go in
Virtual Reality [J], IEEE Multimedia, 2000(4-6): 61-63
[3]ANTONICELLI A, SCISCIO G, ROSICARELLI R, et al, Exploiting Pompei Cultural
Heritage: The Plinius Project [CD], Eurographics’99, Eurographics Association, 2000
[4]HAMBACH S, How To Visit Dunhuang Without Travelling To Central Asia [CD]
Eurographics’99, Eurographics Association, 2000
[5]PAN Yunhe, Dunhuang Art Cave Rebuilding & Navigation [C], Proceeding of the Fourth
Conference of Computer Aided Architectural Design Research in Asia, Shanghai Scientific and Technological Literature Publishing House, 1-20
[6]LU Dongming, PAN Y unhe, Image-Based Modeling & Rendering for Dunhuang Art Cave
[C], Proceeding of the 6th International Conference of CAD/CG, WenHui Publishers,
1172-1176
[7]LU Dongming, PAN Yunhe, Image-Based Virtual Navigation Systerm for Art Caves, the
International Journal of Virtual Reality [J], 2000, 4(4): 40-45
[8]GONG Zhi, LU Dongming, PAN Yunhe, Dunhuang Art Cave Presentation and preserve
based on VE [C], VSMM’98, IOS Press, 612-618
[9]LI Xiangyang, LU Dongming, PAN Yunhe, HUA Zhong, Virtual Dunhuang Mural
Restoration System in Collaborative Network Environment[CD], Eurographics 2000, Eurographics Association, 2000
[10]LI Xiangyang, LU Dongming, PAN Yunhe, Color Restoration and Image Retrieval for
Dunhuang Fresco Preservation [C], IEEE Multimedia 2000(4-6): 38-42
Dunhuang Cave Virtual Rebuilding and Mural Restoration Simulating
Pan Yunhe Lu Dongming Chen Ren
Department of Computer Science, Zhejiang University, Hangzhou, 310027, P.R.China
Abstract: Many rare culture relics and sites have been on the verge of great danger because of natural disaster, economic and tour development, etc. How to conserve, research and exploit the culture resource is becoming more and more instant and important. In this thesis, we discuss how to conserve, rebuild and restore culture relics and sites digitally, through the integration of computer science and conventional culture-protection technology. Now, we have developed Dunhuang Cave Virtual Navigation System, Faded Mural Restoration and Evolvement Simulation System through taking advantage of the Virtual Reality, Image Processing and Artificial Intelligence technology. These works improve the efficiency of culture conservation and research。