基于云计算的多源遥感数据服务系统研究

文章编号：1004⁃373X（2015）03⁃0090⁃05
Research on multi⁃source remote sensing data service system based on cloud computing
ZHANG Shu⁃fan1，WU Xin⁃qiao2，CAO Yu3，WANG Ying⁃jie2，ZHANG Gui⁃feng2
510080；
摘 要：在分析了遥感影像数据及数据使用现状的基础上，综合考虑了云计算技术在遥感应用领域使用的必要性和可
行 性 ，设 计 了 基 于 云 计 算 的 多 源 遥 感 数 据 服 务 系 统 。 阐 述 了 基 于 云 计 算 的 多 源 遥 感 数 据 服 务 系 统 体 系 结 构 及 关 键 业 务 流
Keywords：remote sensing data processing；cloud computing；remote sensing data service；massive data administration
0引言
遥感技术凭借其具有的全球性、高动态、连续性、全 天候、全天时、多样化数据获取特点，已被广泛应用于农 业 、林 业 、水 利 、测 绘 、交 通 、气 象 、海 洋 等 领 域 。 经 过 多 年的发展，我国遥感信息获取、处理及应用技术取得了显 著的成绩，逐步形成了气象、资源、海洋、环境减灾四大民 用 遥 感 卫 星 系 列 。 在“ 863”计 划 、高 分 专 项 、陆 海 规 划 、 “ 623”规 划 等 大 型 课 题 的 推 动 下 ，我 国 遥 感 应 用 研 究 进 入了大型化、快速化的发展阶段。我国卫星遥感地面站 接收的数据目前已经超过 300 TB，很快将会达到 PB 级， 并将以 TB/天的速率增长。随着各个专项建设进度的 不 断 推 进 ，必 将 进 一 步 产 生 大 量 的 遥 感 影 像 资 料 ，海 量 遥感数据和简单的数据服务方式之间矛盾突出[1⁃ 。 2] 随 着互联网技术的发展，IT 资源的使用、应用和服务模式
92
现代电子技术
2015 年第 38 卷
迁移等），能够进行服务部署，并对平台上部署的服务进 行监控。
基于云服务的原型系统架构方案如图 2 所示。
派 给 数 据 所 在 节 点 ，减 少 了 计 算 节 点 之 间 数 据 的 迁 移 ， 从而达到降低整体数据 I/O 量提高生产效率的目的。
数据管理分系统、并行处理分系统向多源数据处理 应用示范软件提供数据归档、数据检索、数据提取、并行 任务调度、任务管理、算法注册等服务，对应于云计算的 基础平台服务层（即 PaaS）。
集群管理服务由基础设施层（即 IaaS）提供，通过在 操作系统层之下虚拟化的方式对集群主机硬件状态进 行监视和控制（包括计算能力分配、动态内存管理、在线
（1. Space Star Technology Co.，Ltd.，Beijing 100086，China；2. Electric Power Research Institute，Guangzhou 510080，China； 3. China Resources Satellite Data and Application Centre，Beijing 100094，China）
Abstract：Based on analysis of remote sensing image data and data usage status，a multi⁃source remote sensing data ser⁃ vice system based on cloud computing was designed in consideration of the necessity and feasibility of cloud computing technolo⁃ gy application in remote sensing field. The architecture and key business process of the multi⁃source remote sensing data service system are described，including remote sensing data cloud storage，remote sensing data cloud processing，remote sensing data application service and remote sensing business registration. The application of the prototype system proves that the system can protect the original data，reduce the cost of data application，and improve data sharing rate and usage rate.
（1） 实 现 数 据 处 理 算 法 和 多 源 载 荷 应 用 示 范 产 品 等系统软件模块的集成框架，支持新算法注册及远程算 法 调 度 ，为 多 源 载 荷 数 据 综 合 处 理 及 管 理 、多 源 空 间 信 息综合互补应用提供系统集成服务；
（2） 实 现 基 于 分 布 式 云 存 储 技 术 的 国 产 遥 感 卫 星 数据的存储管理。基于可靠性要求和访问控制需要，提 供虚拟文件系统组织与管理、数据副本管理、负载均衡、 数据完整性检测、数据迁移与恢复和存储集群管理等分 布式云存储服务功能；
本文充分利用了云计算技术所具有的按需计算能 力及动态可扩容能力，设计了一种适合于遥感数据管理 和 分 发 部 门 的 数 据 共 享 分 发 系 统 ，并 在 HDFS，YARN，
第3期
张树凡，等：基于云计算的多源遥感数据服务系统研究
91
Xen Server 等开源云计算软件的基础上实现了基于云计 算的多源遥感数据服务系统原型系统。该系统为用户 提 供 原 始 数 据 、计 算 能 力 以 及 业 务 按 需 组 装 调 度 能 力 ， 使得用户在不直接接触原始数据的前提下，以使用数据 服 务 的 方 式 分 享 数 据 的 使 用 价 值 ，降 低 数 据 使 用 成 本 ， 提高数据的使用共享率。
（5） 提 供 门 户 服 务 系 统 ，对 外 提 供 产 品 分 发 定 制 、 处 理 流 程 监 视 、产 品 数 据 展 示 、新 算 法 注 册 的 入 口 及 示 例程序演示等功能。
3 系统体系结构
图 1 多源遥感数据服务模式设计图
实现上述的遥感数据服务模式，需要提供数据分发 服务和算法注册服务，让用户能够提交自己的算法在系 统 内 部 获 取 原 始 数 据 完 成 计 算 ，并 下 载 计 算 后 的 结 果 ， 按照数据使用数量和业务执行次数进行计费。本文设 计的基于云计算的多源遥感数据服务系统就是对这种 遥感数据服务模式的一个探索。
（3）提供分布式并行计算服务，为多源载荷数据综 合处理及管理、多源空间信息综合互补应用技术开发的 模块、软件提供并行化计算服务；
（4） 提 供 符 合 工 业 标 准 的 通 信 协 议 以 及 模 块 集 成 接 口 ，以 便 二 次 开 发 人 员 开 发 新 的 特 定 的 通 信 协 议 ，以 及实现多源载荷应用示范软件的集成；
收稿日期：2014⁃10⁃14 基金项目：民用航天十二五预研项目支持
不 断 地 发 生 演 变 。 云 计 算 技 术 以 其 弹 性 服 务 、资 源 池 化 、按 需 服 务 、服 务 计 费 、泛 在 接 入 五 大 特 点 ，成 为 近 年 来 IT 界的一个研究热点。
云计算已经成为目前用来解决高性能计算、海量数 据存储、分布式应用、异构服务集成、按需提供服务等问 题的主要途径。云计算遥感应用方面，也有许多积极的 探 索 ，ESRI、Google、中 国 科 学 院 遥 感 应 用 研 究 所 、中 国 科学院计算技术研究所等都进行了探索性和基础性的 研 究 工 作 ，证 实 了 云 计 算 技 术 应 用 于 遥 感 领 域 的 可 行 性。基于云计算技术，可将遥感数据、信息产品、处理技 术 与 计 算 资 源 打 包 成 类 似 公 共 设 施（如 自 来 水 和 电 力 等）的 可 计 量 的 服 务 ，提 供 给 用 户 通 过 网 络 或 移 动 终 端 随 时 随 地 按 需 使 用 ，解 决 遥 感 应 用 中 的 数 据 、技 术 、设 备 、成 本 和 人 员 的 瓶 颈 ，实 现 遥 感 信 息 技 术 在 政 府 和 公 众日常业务中的普及应用 。 [3]
1 数据服务方式
云计算提供了一种按需计费、按使用量计费的服务 方式，这种方式恰好适用于数据费用较高的卫星遥感数 据的分发共享 。 [4⁃5] 常规的遥感数据付费下载一般按照 数据的长久使用权考量的数据费用，云计算基础的上述 特点可以提供一种按次使用，非长久持有的数据付费方 式。这种数据付费使用方式下，原始数据的保有权一直 留 存 在 数 据 分 发 单 位 ，不 会 丧 失 ，同 时 可 以 降 低 数 据 使 用 的 单 价 ，有 利 于 扩 大 数 据 的 共 享 使 用 范 围 。 尤 其 ，对 于 科 研 性 质 的 原 始 数 据 使 用 ，这 种 情 况 下 项 目 资 金 有 限 ，并 且 数 据 的 使 用 时 间 有 限 ，上 述 模 式 将 是 一 种 更 佳 的选择，如图 1 所示。
下难以保证数据的海量吞吐量、难以动态无限扩容且造 价高的问题。
遥感数据处理任务分布式并行计算解决海量数据 条件下高性能快速计算需求。
基于云服务的多源载荷数据处理应用集成技术解 决多源载荷数据处理应用多样，快速集成困难的问题。
结合业务需要，综合上述技术内容设计的基于云服 务的原型系统应当具备以下功能：
程，包括遥感数据云存储、遥感数据云处理、遥感数据应用服务及遥感业务注册组装等。最后，通过原型系统的实现验证了