基于OWGA缓存的海量遥感瓦片数据发布

收稿日期：2016-07-26。

项目来源：高分重大专项课题资助项目（Y4D00100GF、Y4D0100038）；中科院战略先导专项课题资助项目（Y1Y02230XD）。

基于OWGA 缓存的海量遥感瓦片数据发布苏焕焕1,2，沈夏炯1，赵亚萌2，徐 鹏1,2，黄祥志2（1.河南大学 计算机与信息工程学院，河南 开封 475004；2.中国科学院遥感与数字地球研究所，北京 100101）摘 要：通过模拟实现传统的WMTS 瓦片服务对客户端发来下载瓦片数据的HTTP 请求进行响应，计算得到各处理阶段所用的平均时间，分析测试结果可知，将请求的本地储存瓦片读取到内存中所花费时间占总响应时间的70%以上。

为缩短服务器响应时间，提出了基于OWGA 缓存的发布方法，将客户端最近频繁请求的、高分辨率的瓦片数据常驻内存，以减少文件I/O 操作；并在缓存不足时移除OWGA 值较低且低分辨率的瓦片数据。

通过与常用的内存缓存置换算法LRU、LFU 对比可知，在随机访问模式下，该算法的时间效率优于其他两种算法。

关键词：五层十五级组织结构；数据发布；HTTP 协议；OWGA 算子；内存缓存中图分类号：P237 文献标志码：B文章编号：1672-4623（2017）05-0067-04遥感影像数据是一种具有超高容量、可靠性强、方便及时等特点的信息载体。

近年来，随着遥感卫星的密集发射，每天都将产生数TB 的遥感影像数据，这些数据在国土资源、城市建设和灾害预测等领域得到了广泛应用[1-3]。

海量遥感影像数据的产生不仅为数据的组织、存储和管理带来了严峻的挑战；而且对遥感影像数据的传播和应用提出了更高的要求。

目前，较成熟的地理空间数据发布服务器软件包括GeoServer、ArcGIS Server 等，可实现单张遥感影像和经拼接、融合等操作生成的大数据量影像的快速发布服务。

GeoServer 实现了OGC 制定的WMS、WCS 和WFS 等标准，并自GeoServer 1.7.5版本起，内置了GWC 组件。

GWC 是OpenGEO 开发的一个开源瓦片地图服务中间件，采用动态切图策略，具有地图现势性好、访问流畅等优点[4]。

GWC 运用自带的存储器缓存客户请求过程中产生的地图瓦片，并按照一定策略对瓦片缓存进行管理，从而提高地图服务速度，实现更好的用户体验。

ArcGIS Server 也实现了WMS、WCS 和WFS 等标准，并自ArcGIS Server 10.1版本起，支持WMTS 服务标准，并提供了融合缓存、多图层缓存以及按需缓存等缓存方式。

WMTS 切片地图Web 服务是指按接口规范返回特定空间地理位置内数据制作的地图切片，允许用户访问切片地图，并将切片地图作为操作的最小单元[5]。

虽然上述成熟的服务器可利用WMTS 服务对外提供遥感瓦片数据服务，但传统的WMTS 服务每次收到客户端请求都需将目标瓦片从本地文件存储读取到内存中，再反馈给客户端；当大量地图应用客户端访问同一区域瓦片时，成百上千次的重复文件I/O 操作非常浪费服务器资源，且较耗时，影响用户体验。

针对此问题，本文提出了基于OWGA 缓存的海量遥感瓦片数据快速发布方法，为客户端提供快速响应，达到更好的用户体验。

1 理论基础1.1 遥感瓦片数据的文件存储结构利用专利CN102346923A“一种基于经纬网格的数据分级组织方法”[6]提出的五层十五级遥感数据组织模型实现了海量遥感影像数据的瓦片化组织、存储和管理。

该模型是将180°×360°的地球表层空间按 50°、5°、0.5°、0.05°、0.005°为基准，建立十进制空间分辨率标准化数据层级，每层内再按5∶2.5∶1比例构成3级标准瓦片，每张瓦片的像元大小为1 000×1 000，每张瓦片的数据量可控制在MB 级。

在文件存储系统中，每一层级对应相应的分辨率，最低层级对应最高分辨率。

这样就形成了层级由小到大，切片数据量由大到小的金字塔形结构。

五层十五级的文件存储结构在磁盘存储结构上的表现形式为：根目录\图层名称\层级(level)\行号(row)\列号(col)\ level_row_col.png。

遥感影像切片数据的文件存储体系结构如图 1所示。

1.2 OWGA 算子OWGA 算子是常用的信息集结算子；而多属性决策一般是利用已有的决策信息，通过一定的方式对一 组（有限个）备选方法进行排序并择优。

基于该算子的多属性决策方法是较为简洁实用的一种。

定义：设OWGA: R +n →R +，若(,,,)OWGA a a a b w n i n i w 121j g ==% (1)式中，w=(w 1,w 2,…,w n )为与函数OWGA 相关联的加权地理空间信息·68·第15卷第5期向量，满足w i ∈[0,1], i=1,2,…,n,∑n i=1w i =1；b i 为数据中第i 大的元素；R +为正实数集。

图1 遥感瓦片数据的文件存储体系结构图1.3 内存缓存机制缓存技术是减少磁盘与内存性能差距，提高存储系统整体性能的基础技术之一，被广泛应用于各种文件服务器、存储服务器、数据库服务器和网页服务器中。

使用缓存技术能有效减少冗余数据传输，提高数据加载速度，降低服务器负荷。

内存缓存置换算法主要包括基于访问时间的置换策略（如LRU)、基于访问频率的置换策略（如LFU）以及二者结合的置换策略。

研究二者结合的置换策略的相关文献[7-11]虽然同时考虑了访问对象的访问时间和频率，但很少有将这两个属性放在同一量级并按照不同权重进行比较的研究。

本文提出的基于OWGA 缓存的海量遥感瓦片数据快速发布方法将瓦片的访问时间和频率降化为同一量级进行比较，并为不同属性分配相应的权值，得到每个瓦片对象的OWGA 值。

2 基于OWGA 缓存的遥感瓦片数据发布方法设计该方法同时兼顾了请求瓦片的访问时间、访问频率和键值3个属性，其中键值是瓦片的唯一标识，由瓦片的层级、行号、列号组成。

在内存中，通过ConcurrentHashMap 链表对内存对象进行索引管理，同时构建一个TreeMap 链表，其中Key 为字符型，由瓦片对象的OWGA 和键值组合构成（如OWGA_level_row_col），每次访问需重新计算该目标瓦片的OWGA 值，所以链表对象的Key 是变化的。

重写TreeMap 的比较器：将TreeMap 的Key 值根据“_”拆分，先根据OWGA 值进行降序排列，再分别根据层次、行号和列号进行升序排列。

该方法将客户端最近频繁请求的且高分辨率的瓦片数据始终保存在内存中，减少耗时的文件I/O 操作，实现服务器对客户端请求的快速响应。

2.1 服务器对客户端HTTP 请求的响应首先对服务器程序进行配置，设置其运行内存为20 G ；然后启动服务器程序，多线程循环监听客户端发起的瓦片数据下载请求。

每次瓦片下载的HTTP 请求响应解析过程为：1）服务器程序监听到HTTP 请求，解析获取URL，判断URL 是否完整，若不完整，则返回400错误代码到客户端；判断请求协议是否正确，若不正确，则返回400错误代码到客户端；判断请求方法是否正确，若不正确，则返回405错误代码到客户端。

若URL 完整，同时请求协议和请求方法都正确，则得到符合规范的URL ；然后组合参数获得请求目标瓦片的键值。

解析HTTP 请求流程如图 2所示。

图2 解析HTTP 请求流程图2）在内存瓦片对象保存的Map 链表中查找请求目标瓦片的键值，若存在，则访问频率加1；若达到最大访问频率，则将链表中所有瓦片对象的访问频率减1，并修改访问时间属性，重新计算对象的OWGA 值。

响应客户端HTTP 请求目标瓦片的流程如图 3所示。

若内存瓦片对象链表中不存在该瓦片键值，则根据请求参数构建组合该瓦片的存储路径，并判断文件路径下瓦片是否存在。

若瓦片存在，则判断服务器程序可用内存是否低于阈值，若不低于阈值，则构建该瓦片的内存对象；否则，删除瓦片对象中OWGA 值最小且低分辨率的内存瓦片数据，然后将本地文件读入到内存，构建该瓦片的内存对象。

若瓦片不存在，则返回404错误代码到客户端。

3）将内存中的请求目标瓦片数据以流形式返回到客户端。

4）根据瓦片对象的OWGA 值和瓦片键值的优·69·第15卷第5期苏焕焕等：基于OWGA缓存的海量遥感瓦片数据发布先级将内存链表中对象进行排序，即一次完整的响应HTTP下载瓦片数据流程结束。

图3 响应客户端HTTP请求目标瓦片的流程图2.2 内存瓦片对象的设计为了便于瓦片数据在内存中的索引和查找，使用Key-Value键值对的方式进行保存。

Key为瓦片对象的键值，Value为构建的瓦片对象。

瓦片对象属性包括：瓦片键值、最近一次访问时间、访问频率、瓦片名字、瓦片数据的实体存储字节数组、瓦片的OWGA值和瓦片的最长存活时间。

其中内存瓦片对象的数据结构设计如下：Cache{private String key; '瓦片对象的键值private double reqTime; '最近一次访问时间private int reqNum; '内存对象的访问频率private String imgName; '瓦片名字private byte[] content; '存储瓦片的实体private double weightNum; '瓦片的OWGA值public static final long TIME_OUT = 2592000000L; ' 设定瓦片的生存时间}其中瓦片的OWGA值是根据瓦片对象的访问时间和访问频率计算得到的，其公式为：OWGA=x1u1×x2u2 (x1,x2,u1,u2)∈(0,1)且 u1+u2=1(2)式中，x1、x2分别为访问时间属性和访问频率属性；u1、u2分别为对应属性的权重，且x1=(double)(t lastvisit-t30)/(t sys-t30)(3) x2=(double)f current /f max(4)式中，t lastvisit为对象最近一次访问时间的ms数；t sys为系统当前时间的ms数；t30为距离当时系统30d的ms 数；f current为该对象的访问频率；f max为系统最大访问频率。

这样处理的目的是为了将x1、x2降到同一量级区间，且在(0,1)之间均匀分布。

根据指数函数的特性，y=a x,(a>0,且a≠1，x∈R)，当a∈(0,1)且x一定时，随a的增大，y也增大，即当瓦片对象越是最近被访问、访问越频繁，OWGA值就越大。