虚拟文物互动展示系统设计与实现-第1章

虚拟文物互动展示系统设计与实现
随着互联网技术的发展，使得博物馆不断地被重新定义。

博物馆是征集、收藏、研究和展示代表民族文化和社会发展程度的文物场所，并对那些具有历史价值的受损文物进行修复，为公众提供历史文化知识和观赏的社会公共机构。

博物馆的传统文物展示缺乏生动性、趣味性，同时受博物馆空间限制，文物的具体信息不能完全展现，信息的传递是单向的，观众只能被动接受，容易引起观众的主动参与性不足。

因此，研究一套功能全面、稳定可靠的虚拟文物互动展示系统具有极其重要的意义。

本文针对传统文物展示存在的不足，提出虚拟文物互动展示系统建设目标，综合体感技术、增强现实技术，用虚拟文物代替实体文物，调动参观者的积极性，实现参观者与虚拟文物之间产生更好的互动。

本文首先对系统整体架构进行设计，主要包括体感设备和系统软件两个部分，为系统需求分析提供参考依据，同时详细研究分割深度图像中的用户信息和手势识别两项关键技术。

然后根据虚拟文物互动展示系统的功能和性能需求分析，设计系统软件总体结构，通过对比分析，确定体感设备、软件开发框架以及MySQL 数据库的选择。

其次，本文对系统软件所涉及到的相关技术进行重点研究和分析。

接下来根据系统的功能需求分析对系统软件功能模块进行详细划分，系统软件主要包括显示模块、UI交互模块、虚拟文物存储模块、手势识别模块、虚拟文物控制模块、信息统计模块以及拍照分享模块。

同时本文详细阐述了各功能模块的实现过程。

最后，为验证虚拟文物互动展示系统运行的稳定性和可靠性，对本系统进行了测试和分析。

测试结果表明，虚拟文物互动展示系统功能满足需求，能够安全可靠、高效稳定地运行，达到了预期目标。

关键词：虚拟文物，互动展示，深度图像，手势识别
第1章绪论
1.1 课题研究背景及意义
文物是中华民族的重要象征，具有很高的艺术、精神、研究、欣赏、历史价值[1]。

出土的文物对分析一个国家当时历史发展的程度和民族文明发展的高度具有一定的参考意义。

文物一旦损坏，就永远不能复原。

没有众多的文物史迹，文明古国也就名存实忙，失去传统的风采和内涵[2]，因此保护文物是社会发展必然的一个选择。

文物展示的意义在于让市民了解历史文化、弘扬历史文化知识、传承历史文物精神，展现文物价值，提高地方历史文化地位。

另外，文物展示可以吸引游客参观，提升城市文化影响力、竞争力，提高城市品位，方便市民和学者学习与交流。

图1.1 博物馆“通柜”展示方法
传统文物展示长期采用“通柜”的陈列方法，把文物展示出来，如上图1.1所示。

这样的展示方式难以全面展示出文物精美外观，无法感受展品结构的精妙，缺乏细节展示。

又因为传统文物展示空间的局限性，大部分的博物馆所能展出的藏品占其总珍藏的1%左右[3]，文物展示更换频率低。

另外，在传统文物展示中，用一块牌子简单的介绍文物所在朝代、文物的品种以及文物工艺等基本信息，不能把文物涉及到的详细信息呈现出来，观众所了解到的文物信息是片面的、不完
整的。

市民在参观博物馆时难以近距离观察文物，可以近距离观看的只有文字、图片介绍，因此传统文物展示缺乏生动性、趣味性。

由于信息的传递是单向的，参观者只能被动接收，这就引起了观众的主动参与性不足[4]。

所以传统文物展示主要面临的问题有文物细节展示不足、文物展示更换频率低、文物信息展示不完整以及观众的主动参与性不足。

随着社会的进步和技术的发展，人们的生活水平再逐渐提高，因此人们有更多的时间去关注人类历史文物和新兴技术，所以虚拟文物互动展示的方式正逐渐被人们所接受。

与此同时，出现了很多带有VR（Virtual Reality）技术、AR （Augmented Reality）技术、体感互动技术的电影、书籍和新闻等这些市场经济发展的产物，使人们对虚拟互动展示技术有了更多的了解[5]。

另外，在历史发展的进程中，很多具有研究价值的文物受到了一定的损坏，而且还需要用特定的场所去存放和保护，不适合在公共的地方去展出，因此需要使用虚拟文物对破损的实体文物进行替代，让这些文物重新呈现在人们面前。

在虚拟文物展示过程中，多媒体技术、虚拟现实技术以及体感技术的广泛应用，增强了文物的生动性和展览的互动性[4]。

虚拟文物与体感技术相结合的展示模式，可以调动用户参观的积极性，使人们对文物有更深的了解，因此拥有非常重要的意义。

1.2 国内外发展现状
目前世界很多高校、科研机构和科技公司都在对虚拟现实、增强现实和体感技术进行研究，在理论与应用开展等方面都取得了很大的进展[6]。

一些博物馆和科技馆使用最新技术去全面、生动、逼真地展示虚拟文物，打造一个全新的展览模式[7]。

下文对数字化博物馆和人机交互相关技术在国内外的发展现状进行阐述。

1.2.1 数字化博物馆的发展现状
数字技术较早地被美国应用到文物展示中，并在1990年开启了美国记忆计划。

该计划的主要内容是通过数字技术将国会图书馆的文献资料转换成电子数据，并存储到计算机中[8]。

该项目的实施对于纸质图书数字化就有重大意义，以及对博物馆数字化转型也启到了深刻的影响。

在上世纪90年代，欧洲一些著名的博物馆将虚拟文物展示技术应用到了文物展览中。

如法国巴黎的卢浮宫博物馆、西班牙马德里的普拉多博物馆以及英国伦敦的大英博物馆等[9]。

特别是普拉多博物馆将传统文物与新兴技术相融合，把文物生动形象的展示在人们面前。

普拉多博物馆一方面使用图像技术和数字技术将文物的信息和展示效果通过互联网的方式向世界观众进行全面展示。

另一面普拉多博物馆使用建模技术把实体文物转换成虚拟文物，并向观众展示了一些文物的设计方式、内部结构和工艺流程，为观众对欧洲历史文化的研究提供了历史素材[10]。

这样的展示方式不仅解决了博物馆空间不足和展示内容不完整的巨大问题，而且让参观者详细了解了文物的历史，增强了展示的直观性、趣味性以及互动性。

在国内，虚拟现实技术虽然比国外起步晚，但正逐渐受到越来越多的企业和科研单位的重视，并且一些非科研单位也对新技术的应用做出了很大贡献。

1990年，我国将“虚拟现实技术”正式列入国家“863计划”[11]。

近年来，虚拟平台互动展示形式已经在我国的各个领域得到了广泛的应用，如应用在医学领域、教育领域、媒体领域以及文化领域等。

国内很多博物馆或科技馆在虚拟展示方面取得了很大的进步，比较有代表性的虚拟文物展示的博物馆有故宫博物馆、上海博物馆、南京博物馆、敦煌博物馆、上海科技馆等[12]。

这些博物馆通过计算机技术将实体文物进行信息化存储，并通过虚拟技术和3D建模技术将实体文物进行虚拟化。

目前台北故宫博物馆已经对大部分文物进行数字化存储，其中70%的珍贵文物完成了3D建模，观众可以通过台北故宫博物馆的平台，随时随地的对虚拟文物进行把玩和观赏。

例如，台北故宫使用虚拟现实技术和3D建模技术，虚拟出橄榄核舟，通过投影技术实现观众可以从多个角度观赏细腻逼真的虚拟橄榄核舟[13]。

博物馆是体现历史发展历程的殿堂，通过虚拟互动的方式把文物展现出来，才能够让观众更深入的了解文物和历史。

目前，国内外虽然建立了虚拟文物展示平台，采用投影技术将文物展示出来，但是仍然存在占用空间大、成本高等问题。

在博物馆虚拟化发展过程中，如何制定高效的、低成本的虚拟互动平台是迫切需要解决的难题。

1.2.2 人机交互相关技术发展现状
人机交互是用户与计算机之间使用某种对话语言，以一定的交互方式，实现用户与计算机之间进行信息交互。

人机交互[14]的发展经历了早期的手工作业阶段、交互命令语言阶段、图形用户界面阶段、网络用户界面以及多通道、多媒体的智能人机交互阶段。

其中，在多通道、多媒体的智能人工交互阶段，利用人的多种感觉通道和动作通道，如语音、手势、表情等，以并行、非精确的方式与计算机进行交互，可以提高人机交互的自然性和高效性。

本节将概述手势识别、增强现实技术的国内外研究现状。

1.手势识别
在国外，较早的手势识别技术是同过外接设备来实现的，如图1.2所示。

该技术原理是通过外部设备来确定人体手部的具体位置以及角度信息，然后利用有线将这些信息发送到计算机端进行分析与处理，从而确定用户手势意思。

例如，德国宇航研究中心的Fischer，采用数据手套测量人手关节的角度，利用神经网络确定人手关节与指尖位置，从而进行人手与虚拟手的空间映射[15]；美国国家航空航天局的空间中心的Farry通过测量人手运动的肌电信号，进行人手与虚拟手之间的运动映射[16]。

虽然数据手套能够得到不错的效果，但价格昂贵而不能广泛运用，另外这种外部设备的接入，违背了人机交互的自然性，从而没有被大众所认可。

图1.2外部设备数据手套
最近几年，随着技术的进一步发展，以美国公司为代表开发的自由式无标记手势识别设备正逐渐被人们所关注。

例如，Leap公司研发的LeapMotion设备用于手势捕捉，其原理是利用两个高分辨率灰度摄像头、三个红外发射器来捕捉用户手势；微软公司开发的Kinect体感设备利用深度传感器采集用户深度图像信息，在使用人体分割算法对用户骨骼点进行跟踪，在此基础上对用户手势进行识别。

在国内，基于视觉的手势识别方法正逐渐被人们所关注。

这种方法是通过摄像头采集彩色图像，然后通过计算机对彩色图像进行分析与处理，最终达到手势识别。

例如，清华大学的任海兵、祝运新等人[17]对基于视觉手势识别进行了研究。

基于视觉手势识别分为五个阶段：手势图像的采集、手势图像的分割、手势跟踪、特征提取和手势识别。

北京交通大学的周航[18]提出了一种肤色关联的算法，对手势识别有了一定的改进。

2.增强现实
增强现实技术，简称AR技术，是一种将真实世界信息和虚拟世界信息结合在一起的新技术，把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过计算机技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，从而实现对现实的增强[19]。

增强现实最显著的特点是虚实结合以及实时交互，这一重要特性被很好的应用在人机交互中，让用户获得现实扩张体验。

增强现实技术起源于20世纪60年代，国外一些著名的研究机构美国麻省理工学院、日本和德国等发达国家的实验室以及一些科技公司微软、谷歌等都在对增强现实进行研究。

目前，在增强现实领域有了一定应用成果的是谷歌公司研发的谷歌眼镜，如图1.3所示。

谷歌眼镜[20]利用光学反射投影原理，将光投到一块反射屏上，然后通过一块凸透镜折射到人体眼球，实现在用户眼前出现一个虚拟屏幕，屏幕上可以显示出文本信息和各种数据。

谷歌眼睛可以很好的与移动电话进行结合，实现用户可以通过虚拟屏幕查看信息，并可以通过语音指令，实现拍摄照片、发送信息等功能。

增强现实还被应用工业领域和教育领域。

在工业领域，维修人员通过头戴式显示器，对大型器械进行维修和制造。

在教育领域，老师可以通过手势操作三维模型，对某一种知识进行详细讲解。

图1.3谷歌眼镜
在国内，增强现实的研究与应用起步较晚。

研究机构最初以高校为主，例如华中科技大学、国防科技大学、北京理工大学等在增强现实技术上取得了一定的成果。

最具有代表性的是北京理工大学研发的“数字圆明园”，通过增强现实技术将圆明园没有被破坏前的场景显示出来[21]。

随着增强现实逐渐被人们所关注，一些科技公司也开始涉及到该领域。

例如，常州优趣公司开发的一款手机APP 产品“城市镜头”，该平台整合了个城市旅游、娱乐等人们生活中所需的一些信息，并有精准的AR数据导航，为用户提供定位和指引等功能。

1.3 课题研究内容
本课题来源于校企合作项目“重庆杨家坪展览馆开发项目”。

本项目的建设目标是打造一个全新的会展模式，用虚拟模型替代实体文物，展示文物的全面信息，并可以通过体感设备和手机APP实现参观者与虚拟模型进行互动。

目前，本项目已经进入测试阶段。

本课题主要完成虚拟文物互动展示系统的设计与开发工作。

根据项目实际需求，采用模块化的设计思想，结合体感设备、计算机网络、数据库等技术，开发一个功能完善、界面友好、模型逼真、快速互动的虚拟文物互动展示系统，具体工作包括以下几个方面：
1. 对国内外虚拟文物互动展示平台发展现状、应用前景和相关技术进行充分调研和分析。

2. 分析虚拟文物互动展示系统的功能和性能需求，对系统整体结构进行设计，并完成开发方案的分析与选择。

3. 根据功能需求分析，完成对体感设备数据采集和手势识别等关键技术的研究。

包括对深度数据的分析、手部区域的提取、手部轮廓的描绘、手部凸包的提取以及基于重心距离和指尖曲率算法来识别用户手势。

4. 详细设计并实现虚拟文物互动展示系统软件的各个功能模块，并设计文物操作手势协议。

软件功能模块包括显示模块、UI交互模块、虚拟文物存储模块、手势识别模块、虚拟文物控制模块、信息统计模块以及拍照分享模块。

5. 设计测试方案，搭建测试环境，对虚拟文物互动展示系统进行测试并分析测试结果。

最后，完成相关文档的撰写和整理。

1.4 论文组织结构
本课题围绕虚拟文物互动展示系统设计与实现展开论述，通过分析系统的功能和性能需求，确定系统的总体设计方案，完成系统软件各个功能模块的详细设计与实现。

本文总共分为6个章节，各章节具体研究内容如下：第1章：绪论。

调研本课题的研究背景和意义，分析虚拟文物互动展示平台在国内外的发展现状，并阐述课题来源和主要研究内容。

第2章：虚拟文物互动展示系统总体设计。

根据项目应用场景和传统文物展示存在的问题，完成虚拟文物互动展示系统的功能和性能需求分析，依据系统需求分析，设计系统软件的总体结构和数据总体流程。

最后按照互动展示软件开发的主流趋势，完成体感设备、软件开发框架以及数据库的选择。

第3章：系统相关技术研究与分析。

对Kinect体感设备关键技术和手势识别所涉及到的算法进行详细研究与分析。

第4章：系统软件模块设计与实现。

本章主要对系统软件进行设计，确定系统软件包括的功能模块。

阐述系统软件各个模块的功能，再对系统软件模块分别进行详细设计与实现。

另外需要提出，本章的手势识别模块具体实现流程在第3章中已经详细阐述。

第5章：系统软件测试与结果分析。

介绍并选择软件测试方法，搭建软件测试平台，对虚拟文物互动展示系统软件各个模块进行测试，并分析测试结果。

第6章：总结与展望。

对本课题所做工作进行总结，并提出本课题研究存在的不足之处，最后展望虚拟文物互动展示系统的发展方向以及下一步工作。