ArcGIS中海量影像数据储存与发布技术_

遥感影像数据作为重要的空间基础数据，在 WebGIS 中的应用日益广泛，涉及到农业、林业、地 质、军事、气象、水文、海洋、环保等领域，GoogleEarth、Sogou 地图、天地图网站中也都支持影像数 据的浏览、查询和分析。在海洋环境信息服务平 台的建设过程中，有必要建立遥感影像数据的底 图服务［1］。本文主要研究如何有效地存储、管理 和发布这些海量影像数据，提高数据的存储和发 布性能，满足海洋环境信息服务平台的需求，为我 国的海洋环境监测、应急和管理提供更好的服务。
摘 要： 详细介绍了影像数据预处理、影像金字塔、池化服务、地图缓存技术原理，研究了基于 ArcGIS 的海
量影像数据存储与发布流程。采用 ArcSDE 栅格目录方式建立遥感影像库、离散小波变换压缩影像入库、
双线性插值重采样法构建影像金字塔、融合缓存方式生成地图缓存切片等技术构建了海洋环境信息服务
系统中的遥感底图服务，提高了海量影像数据储存与发布的性能。
基于 WebGIS 的 影 像 信 息 发 布 技 术 可 以 快 速、实时、生动、直观地提供最新的空间信息，但是 限于现有网络带宽和计算机技术，海量影像数据
收稿日期： 2012-12-28，修订日期： 2013-06-18 基金项目： 海洋公益性行业科研专项（ 201005014） 作者简介： 许自舟（ 1977-） ，男，湖北罗田人，助理研究员，主要从事海洋环境与信息技术研究，E-mail： zizhou110@ hotmail． com
XU Zi-zhou，SUN Shu-yan，LIANG Bin，SONG De-rui，ZHANG Yun，BAO Chen-guang
（ National Marine Environmental Monitoring Center，Dalian 116023，China）
Abstract： This paper introduces the technologies of mass image data preprocessing，image pyramid，pooling service and map cache，and studied the flow of image data management and publication based on ArcGIS platform． Some methods are used to create the image service of the Marine Environmental Information Service System and improve it’s performance，including the raster catalog way to create image database，discrete wavelet data compress storage，bilinear interpolation resampling method to build the image pyramid and fusion cache to generate cache tiles． Key words： ArcGIS； image pyramid； pooling service； map cache
本文在研究影像数据存储和发布技术的基础 上，基于 Oracle10G 的 ArcSDE 方式建立遥感影像 数据库，以数据预处理、数据压缩入库、创建影像 金字塔的操作流程实现遥感影像数据的存储与管 理，以配置地图资源、创建服务、生成地图缓存的 通用流程实现遥感影像数据的发布，最终构建遥 感影像数据存储和发布服务平台，达到以较少的 系统资源消耗为代价，实现影像数据的实时调度 和快速显示的目的，满足海洋环境信息服务平台 中遥感底图的服务需求。
根据用户的需要将原始的影像以不同分辨率 进行存储与显示，形成分辨率由低到高、数据量由 小到大的金字塔结构，可以提高影像数据的实时 缩放显示速度，快速获取不同分辨率的图像信息。 金字塔的构建方法是把原始影像作为金字塔的最 底层，通过对原始影像采用某种重采样方法，建立 起一系列表示不同详尽程度的影像，其中原始影 像分辨率最高，经重采样得到的影像分辨率随着 金字塔层数的增加分辨率逐渐降低，但表示的范 围不变［5-8］。 1． 3． 1 数据重采样技术
关键词： ArcGIS； 影像金字塔； 池化服务； 地图缓存
中图分类号： X87
文献标识码： A
文章编号： 1007-6336（ 2014） 01-0099-06
Technique for mass image data management and publication based on ArcGIS
当影像数据通过 ArcSDE 导入 Oracle 数据库 时，栅格数据索引表会自动追加一行，记录影像数 据的索引值，方便对该数据的读取和编辑。栅格 数据描述表存储影像的描述信息，栅格波段数据 表存储影像波段的元数据信息，栅格数据块表存 储影像每个波段的实际数据，栅格数据辅助表存 储影像的色彩表、统计信息以及用于影像叠加和 镶嵌的掩膜信息［4］。ArcSDE 中影像数据存储的 表模式如图 1。 1． 2 影像数据压缩
第 33 卷第 1 期 2014 年 2 月
海洋环境科学 MAＲINE ENVIＲONMENTAL SCIENCE
Vol． 33 No． 1 February 2014
ArcGIS 中海量影像数据储存与发布技术
许自舟， 孙淑艳， 梁 斌， 宋德瑞， 张 云， 鲍晨光
（ 国家海洋环境监测中心，辽宁 大连 116023）
作系统数据存贮格式的特点以及系统内存管理的 计算机硬盘里，当用户通过客户端浏览器访问地
最小单位。对于 Windows32 位系统每块的字节数 图服务时，服务器直接返回当前地图坐标区域所
最好为 512 的倍数，此外考虑数据压缩的需要和 对应的切片，从而达到降低服务器负担、提升地图
硬 盘 数 据 传 输 的 速 率，采 取 固 定 大 小 分 块 方 法［8］。ArcGIS 默认的分块大小为 16 K，这样对于
金字塔的各个连续图层通常以 4∶ 1 的比例进 行重采样处理，按其位置的对应关系对下一层图 像进行重采样得到图像的灰度值。ArcGIS 提供 最邻近法、双线性插值法、三次卷积法三种金字塔 重采样技术。最邻近法计算速度最快，但容易破 坏图像的边缘，一般经过扫描的地图和伪彩色图 像适用最邻近法。卫星影像或航空摄影等 Tiff、 Img 格式的影像数据多采用双线性插值法或者三 次卷积法。三种重采样方法比较如图 2。
2． 1 池化服务 池化服务是系统预先创建指定数目的服务器
对象，当客户端请求对象的数量小于或等于容器
活控制服务中单个图层的可视性。按需缓存则是 根据客户端首次访问请求创建切片，并且保存用 于下次访问，可以节省空间和缓存生成的时间。
中的对象数时，直接调度，当客户端请求对象的数 量大于或等于容器中的对象数时，才会创建新的 服务器对象，并且当用户操作结束后立即将其释 放回对象池中，等待下一个用户调度［9］。创建的 服务器对象无需销毁，可以重复使用，这样就减少 了再次创建服务器对象的开销，加速了系统响应 时间。非池化服务则是在用户请求时创建服务器 对象，操作结束后又将其销毁，再为下一个用户重 新创建服务器对象。 2． 2 地图缓存技术［10-13］
100
Fra Baidu bibliotek
海洋环境科学
第 33 卷
发布仍然是 GIS 技术研究的难点［3］。目前，遥感 影像 数 据 的 发 布 主 要 有 基 于 ArcGIS Server 和 ArcGIS Image Server 两种方式，基于 ArcGIS Server 发布遥感影像数据，可采用分布式部署、池化地图 服务、服务器端地图缓存等技术，保证平台服务性 能，满足功能强大的企业级应用。
1 影像数据存储的关键技术
1． 1 影像数据的存储模式 ArcSDE 采用栅格数据集（ raster dataset） 和栅
格目录（ raster catalog） 两种方式来存储和管理影 像数据。栅格数据集一般存储地理背景数据，其 要求是数据不经常变化。栅格目录中的每个影像 数据都是独立的，利于数据更新和数据库维护，常 用于管理分幅数据或者同一地区的多期数据。
WebGIS 缓存机制主要有服务器端缓存和客 户端缓 存 两 种。 服 务 器 端 缓 存 由 服 务 器 进 行 管 理，当用户发起请求时，服务器先从缓存中返回数
3 应用案例
本文在研究海量影像数据存储与发布技术的 基础上，在 ArcGIS9． 3 及 Oracle10g 环境下构建了 海洋环境信息服务系统中的遥感影像数据基础服 务平台。遥感影像数据包括 GeoTiff 文件格式的 全国低精匀色影像及全国高精影像，共计 166 景、 大小 157． 5 G。
的记录进行很好的对应，分块之后的数据可以快 浏览器进行管理。两种缓存机制同时使用，对系
速定位，加快处理速度，数据块会最大可能的集中 统的性能提升有显著效果。
在相邻扇区或簇，大大提高 I / O 效率。图像分块
地图缓存技术又称“瓦片技术”，是按照一定
的大小通常取 2 的幂次方，具体大小要考虑到操 的数学规则，把地图切成一定规格的图片保存到
通过对比研究，建立了以数据预处理、压缩、 入库、创建影像金字塔、配置地图、创建服务、创建 缓存的工作流程实现影像数据的存储与发布，并 给出了各环节的配置参数。遥感影像数据存储与 发布流程如图 3。
第1 期
许自舟，等： ArcGIS 中海量影像数据储存与发布技术
101
图 2 图像重采样方法比较
Fig． 2 Comparison of image data resampling methods
1． 3． 2 图像分块
数据库读取相应数据。客户端缓存是客户端浏览
影像数据分块管理方式可以和关系数据库中 器将访问到的数据存储在客户端计算机中，并由
由于影像数据量巨大，为了节省存储空间，减
图 1 ArcSDE 存储影像数据的表模式 Fig． 1 ArcSDE storage image data table model
少数据处理和分析时系统资源的开销，在影像数 据入库前，对其进行压缩。影像数据的压缩方式 可以是有损的、也可以是无损的，有损压缩方式如 JPEG、小波变换压缩等，无损压缩 方 式 如 LZW、 LZ77 等。小波分析算法已经成为图像压缩、处理 和分析的有力工具，利用离散小波变换对图像进 行压缩，使图像内部任何一部分都具有一致的分 辨率和良好的图像质量。 1． 3 影像金字塔技术
浏览速度的效果。 ArcGIS Server 服务器端地图缓存的生成方法
256 级的灰度图像，若块的长宽均为 128 象素，每 次硬盘传送数据块的耗时将非常短。
2 影像数据发布的关键技术
有融合缓存、分层缓存及按需缓存。融合缓存提 前融合所有图层，缓存生成速度非常快，但用户不 能控制服务中单个图层可视性。分层缓存生成速 度较慢，Web 服务器的负担较重，但用户可以灵
遥感影像数据管理方法主要有文件模式、文 件结合关系型数据库的管理模式、全关系型数据
库管理模式和面向对象的数据库管理模式。传统 的文件管理方式在数据的安全性、并发控制、数据 共享等方面能力欠缺，面向对象的数据库管理模 式能够提供企业级服务，具有良好的安全措施和 数据恢复机制，并支持事务处理和并发控制，有利 于多用户访问［2］。ArcSDE 和 Oracle ＲDMBS 为遥 感影像数据的存储、管理和应用提供了高效的解 决方案。应用数据压缩处理、影像金字塔等技术， 可提高数据库及应用服务的性能。
ArcSDE 将影像数据分解成 5 个表进行存储 和管 理，包 括 栅 格 数 据 索 引 表 ＲASTEＲ _ COLUMNS、栅格数据描述表 SDE _ＲAS _ ＜ raster _column_id ＞ 、栅格波段数据表 SDE_BND_ ＜ raster_ column_id ＞ 、栅格数据块表 SDE _BLK_ ＜ raster _ column_id ＞ 、栅格数据辅助表 SDE_AUX_ ＜ raster _column_id ＞ 。