空间科学主题数据库及应用环境 建设方案

Virtual Observatories Heliophysics
数据网格概念
天文虚拟观测台
3.国外空间科学数据应用环境发展现状
• 先行者NASA在“与日共存计划”（LWS）首先提出“一体化的日 地空间数据应用环境（HPDE）”，即日地空间虚拟观测台（SunEarth Connections VxOs）概念，VxO分别是：
„„
•
专业数据库
标准描述 属性
„„
数据元素
数据文件 实体 核心描述 属性
逻辑数据库
数据元素
标准描述 属性 数据文件 实体 核心描述 属性
数据元素
核心描述属性
源自标准描述属性 的关键属性 面向科研应用 的扩展属性
数据 文件
科学数据文件 辅助数据文件
标准描述属性
• •
数据元素：由数据文件实体和描述属性构成。 描述属性由标准描述属性和核心描述属性构成。描述属性的值是元数据。 • 标准描述属性：基于学科数据标准构建；
2.2 空间科学的公共数据模型
基于分类片面的 专业库 基于学科片面 的目录树 用于加速检索的核 心属性索引库 空间事件关联的逻 辑库
针对观测平台做索引
CME事件
针对观测区域做索引 基于观测平台 片面的目录树 重要磁暴 针对物理要素做索引
基于其他 片面的目录树
针对飞行器做索引
质子事件
核心描述属性
标准描述属性（NASA的PDS标准和SPASE标准）
• 空间科学数据网格是一个基于当前应用环境建设的中间件 ，是以空间科学应用研究新模式提出的需求为驱动力的， 是空间科学数据应用环境发展的结果。
空间科学数据网格的关键问题 数据资源的互操作问题 分布式数据资源的快速融合、共享和访问 数据资源的全局发现 数据资源在分布式环境下的收割与同步问题 数据资源的无缝链接问题 数据资源与学科应用的集成问题 数据网格的透明性问题 数据资源的安全访问
数据资源审核
数据资源发布
资源在线型的数据资源录入
核心描 述属性 (在线or 离线) 资源 描述 信息 录入 网格子节点 Web编辑录入 支持多格式的 文件录入 批量录入 元数据缓冲器 数据资源存储与访问服务 资源在线 物理数据实体 标准描述属性 等待审 核状态 收割 触发 机制 元数据缓冲器 数据资源存储与访问服务 资源在线 物理数据实体 标准描述属性 收割 触发 机制 审核通 过状态元 等待审核状态
2.3空间科学数据网格的设计基本原则
关键问题 思路分析
空间科学资源与网格服务的高度整合
数据资源 (data as a service)
计算资源 (computing as a service) 应用资源 (application as a service)
灵活的网格节点和网格服务设计
网格节点和网格服务剥离 1个节点可以有1个，也可以有多个网格服务 网格服务可以部署在任何地方
物理数据文件实体（文件）
公共数据模型
公共数据模型是描述和组织空间科学数据资源（数据档案）的基本方法。公共数据模型 阐述科学数据档案的数据元素组成，专业数据库和逻辑数据库构成方法。
数据元素
标准描述 属性 数据文件 实体 核心描述 属性
•
数据元素
专业数据库
标准描述 属性
数据文件 实体
核心描述 属性
„„
•
日地空间虚拟观测台（VxOs）主要功能：
– – – –
4.国内空间科学数据应用环境的发展现 状
• ―十· 五‖科学数据库项目空间环境专业数据库 • ―十一五‖信息化专项空间科学主题数据库建 设项目，空间科学主题数据库由中科院空 间中心承担建设，中科院国家天文台、地 球与地质物理所、中国科技大学共同参加 建设。 • ―十一五‖空间科学数据网格建设项目
2.空间科学数据应用环境的发展历程
多尺度 日地连接系统 整体研究需求 Heliophysics Great Observatory 概念形成 大规模多任务 空间观测系统出 现
空间物理数据系统
Helio-Physics Data Environment
分布式数据系统(DDS) 及其在线访问服务
SPASE Data Model for Heliophysics
科学数据的管道（Pipeline）技术，单管道，多管道，流水线式管道，
单节点上新资源的加入，能够通过网格拓扑的自组织，实现资源全局 分布的更新和报告，达到快速同步的目的 在任何一个节点上，都能够快速高效发现全局的所需的数据资源
空间科学数据网格的概念框架
1. 空间科学数据网格——利用互联网实现空间科学数据资源、计算资源、存储 资源和知识资源的无缝链接与全面共享，为空间科学研究提供易用、高效、 智能的虚拟集成应用环境。 2. 空间科学数据网格服务——具有特定功能的网格单元，通过提供接口明确的 服务来实现网格所必须的数据资源注册、数据资源发现、数据资源访问、拓 扑自组织、学科应用等核心功能单元。
国际日地空间物理界的目标： The Heliophysics Great Observatory
二.空间科学数据网格架构研究
1. 空间科学数据网格的核心问题
2. 空间科学的公共数据模型
3. 空间科学数据网格的设计原则
4. 空间科学数据网格的概念框架 5. 空间科学数据网格的核心服务
2.1空间科学数据网格的核心问题
网格节点之间地位平等，削弱主从关系，削弱集中式
支持数据节点快速与网格融合的准入机制 数据资源的快速方便的融合和共享 数据资源的安全访问 剥离资源描述和资源存储访问；支持整合在线资源和离线资源；支持 整合访问协议异构的分布式在线资源； 网格的监控和安全协议
数据资源的无缝链接和学科应用集成
数据资源的全局同步和发现
网格 节点
网格 资源发 现节点 节点
网格 节点
网格 资 源注 节点
册节点
网格 节点
网格 节点
网格 节点
科学数据网格
空间科学数据网格
e-Science
数据网格的服务分析与功能集成
分析对象 服务类型 资源注册服务 资源发现服务 网格资源 资源访问与存储服 务 拓扑自组织(self系统拓扑 organizing)服务 服务定义 基于公共数据模型，实现数据资源的描述，审核和发布， 使数据资源融入开放的网格共享环境 基于数据资源的描述，面向空间天文科学的研究需求和学 科查询，实现多维度的分布式数据资源发现 提供数据资源的存储力；统一安全的资源访问；支持在线 资源和离线资源的快速融合和共享；支持整合访问协议异 构的分布式在线资源； 拓扑自组织是网格节点自交互的核心特征，通过拓扑的自 组织，数据网格实现节点的加入和审核，访问和交互，安 全和监控，资源全局分布的更新和报告，从而支持资源的 发现和共享。 面向学科应用，提供数据计算、分析、可视化、知识发现 的应用工具和虚拟环境 是网格提供给用户访问的交互环境(interface)
– – – – – – – – 虚拟太阳观测台（VSO） 虚拟空间物理观测台（VSPO） 虚拟太阳物理观测台（VHO） 虚拟宇宙线观测站（ViCRO） 虚拟磁层观测台（VMO） 虚拟电离层、热层、中间层观测台（VITMO） 虚拟辐射带观测台（ViRBO） 虚拟高能粒子观测台（VEPO） 描述VxO拥有的数据集和资源； 为用户提供发掘数据集方法； 提供获取数据或资源的途径； 为用户提供工具以帮助他们应用数据。
面向VO的空间科学数据网格架构 研究
傅衍杰 佟继周 邹自明 中国重庆 2009年11月
汇报提纲
一．空间科学数据应用环境发展背景 二．面向VO的空间科学数据网格架构研究 三．空间科学数据网格的未来发展方向
1.空间科学应用研究发展的新思路
空间科学应用研究：通过天基和地基方式获取探测数据->对海量探测数据进 行分析计算->挖掘空间物理规律->空间物理实现验证
– 等待审核状态 – 审核通过状态 – 审核不通过状态 数据状态名称
等待审核
状态定义
指数据资源对应的核心描述信息刚注册到数据网格，被系统缓存在“元 数据缓冲器”。在该状态下的核心描述信息，是未经审核的，非正式的， 不会被用于数据发现服务。 指经过系统管理员审核，判定为合格的，存储在“全局元数据容器”， 并被推送到各子节点的“元数据容器”保存的核心描述信息。在该状态 下的核心描述信息，是经过审核的，正式的，将会用于数据发现服务。 指经过系统管理员审核，判定为不合格，无法通过的核心描述信息。该 状态下的核心描述信息，虽然经过审核，仍然为非正式的，不会被用户 数据发现服务。
—日地空间物理，遵循空间物理档案搜索和抽取（SPASE）联盟 标准；
—行星科学，遵循行星数据系统（PDS）数据标准 • 核心描述属性：面向数据网格应用集成的需要来定义的，来自于、 但并不局限于标准描述属性。
核心描述属性
• 平台类型 − 天基 ~ 卫星型号: fy2、YH1、double-star、ace、soho、themis、goes…. ~ 载荷类型: mag、sewpam、sis、epam、eit、lasco… − 地基 ~ 台站名称: 海南空间天气综合观测站、怀柔太阳观测站、北京宇宙线 观测站、十三陵地磁站 … ~ 设备类型: 磁通门磁力仪、中子堆、数字测高仪、激光雷达… • 观测区域: 太阳、行星际、拉格朗日点、磁层顶、同步轨道、近地轨道、邻近 空间…. • 观测要素: 太阳黑子、高能离子、高能电子、宇宙线强度、dst指数、火星电离 层参数、火星大气层参数 、火星地形地貌图像 … • 关联事件: CME事件、磁暴、质子事件 • 时间属性
— 综合节点：提供2个或者2个以上网格服务的网格节点。
网格服务
表示符号
网格 节点
网格 节点 网格 学科应 用节点 节点 网格 拓扑 支撑节点 节点 网格 门户 节点 节点 网格 综合 节点 节点
门户服务 资源注册服务
资源发现服务
数据访问与存储服务 拓扑自组织服务 学科应用服务
Internet
化学与材料 科学数据网格 数据节点 生命科学 数据网格
审核通过
审核不通过
资源注册阶段的数据描述信息状态转换 图
系统 管理员 审核通过 状态 数据资 源发布
数据资 源录入 资源 提供者
等待审核 状态
数据资 源审核
审核结果 反馈
资源 提供者 审核不通 过状态
资源注册3阶段
阶段名称
数据资源录入
要点分析
依据数据资源的运行类别不同 情况1——数据资源在线，即：数据资源提供者已经为“物理数 据实体”和“标准描述属性”提供独立的存储力，资源提供者能 独力确定访问地址，并且表达到描述信息中 情况2——数据资源离线，即：数据资源提供者不但需要录入数 据描述信息，还要求空间科学数据网格为其提供存储空间，以存 储数据资源，由空间科学数据网格来实现数据资源的从“离线” 到“在线”的转变 审核任务生成 元数据审核 审核结果反馈 元数据状态转换 数据访问权限授予 数据资源发布地选择 同步元数据的审核结果
学科应用 学科应用服务 用户界面 门户服务
2.4空间科学数据网格的核心服务
1. 资源注册和同步
2. 资源发现
3.Leabharlann Baidu资源存储与访问
4. 网格安全和监控 5. 学科应用
2.4.1资源注册和同步
• • 资源注册服务是空间科学数据网格向数据资源提供者的一种服务。为数据网 格提供数据资源的提供者，可以依据空间科学数据网格制定的公共数据模型 和描述标准，对数据资源进行描述。数据资源经过资源注册服务的录入、审 核和发布三阶段，最终融入开放的网格共享环境。 为更好的反映描述信息的数据流和数据状态变化，我们设计3种不同的状态名 对数据状态的变化过程进行刻画。它们分别是：
3. 空间科学数据网格节点：指由一个或者若干个网格服务支撑构成的物理节点。
4. 空间科学数据网格节点根据其部署网格服务性质的不同，可以分别定义为：
— 门户节点：提供门户服务的网格节点； — 资源注册节点：提供资源注册服务的网格节点；
— 资源发现节点：提供资源发现服务的网格节点；
— 数据节点：提供数据数据访问与存储服务的网格节点； — 拓扑支持节点：提供拓扑自组织服务的网格节点； — 学科应用节点：提供学科应用服务的网格节点；
数据元素
标准描述 属性 数据文件 实体 核心描述 属性
逻辑数据库
专业数据库：采用学科社区公 认的描述属性（如观测目标、 观测平台等）的属性值，所遴 选的数据构建的数据集合。专 业数据库一般是学科数据的经 典分类。 逻辑数据库：面向典型应用需 求和学科研究人员关注热点， 采用同类核心描述属性（如关 联事件、特定区域）属性值或 属性值组合遴选的数据构成的 数据集合。逻辑数据库可自由 构建和动态生成。