大气科学与环境数据库的数据资源建设与数据共享策略
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目前，对大气科学与环境数据库在线数据的调用只限于大气所内的局 域网用户。所外用户使用大气科学与环境数据库的共享数据时，需要 事先填写作业卡，由数据库工作人员为其加工。
造成这种现象的原因主要是： ·网络传输费用较高 ·基于安全的考虑，系统对外基本是封闭的
大气科学与环境数据库
研究所的经费支持 国家重点开放实验室的合作 研究所数据中心与计算中心合并 丰富的计算机资源 网络技术的发展&网络环境的改善 科学数据库的支持 国家基金委的支持 大气科学与环境数据库全体工作人员的创造性劳动 大气科学与环境数据库-大气科学研究领域最重要的气象资料数据中 心：
实时气象资料系统：
网上实时下载当日4个时次、2.5度x2.5度以及1度x1度的格
点气象数据
通过卫星数据接收系统接收中国气象局发送的当日2个时次 的全球气象台站地面和高空观测数据、卫星云图、国内外数值预 报产品
以上数据实时提供用户使用，并在适当的时间（如一年后） 传递给气候资料系统存档
1-12月
2000 600 150 年
1-12月
2019 ~1000 600 年
1-12月
2019 1000 600 年
8227 7770 8667 17024
调用数 据集次 数（万 余次）
524
423
483
890
调用数 据个数 （亿个）
551
433
496
911
调用数据 的传输量 （GB）
132.24
大气科学与环境数据库 资源建设和数据共享策略
中国科学院大气物理研究所 徐予红
大气科学与环境数据库概况
大气科学与环境数据库包括以下几个子库：
实时资料系统 气候资料系统 算法库 大气科学文献库（正在建设） 气候模式库（即将建成） 图形软件库（即将建成）
大气科学与环境数据库概况
大气科学与环境数据库概况
调用数据方法之一－编程
有权限的用户通过编程、填置参数、连接专用库例程的方 式调用所需数据-调用大容量数据文件。
大气科学与环境数据库概况
调用数据方法之一－主页、数据查询界面
大气科学与环境数据库概况
调用数据方法之一－主页、数据查询界面
大气科学与环境数据库概况
调用数据方法之一－FTP服务
CDM通用气象数据管理系统--管理实时气象数据
件借鉴NCAR的LDM管理系统，2019年研制的新型网络型数据库。数据库由数据文 组多成，使用专用网络端口，TCP/IP通讯过程中加密，可以在UNIX/Linux/Window 平台上运行，可以方便地与Web及数据库连接。
数据库管理工具--管理少量的台站观测数据
调用小容量数据文件
大气科学与环境数据库概况
大气科学与环境数据库
数据 处理 模块
实时数据 历史数据
数据 管理 模块
数据 调用 模块
实时下载 和
接收数据
CDM通用 数据
管理系统
DATABANK 数据
管理系统
数据库 管理系统
用户
大气科学与环Biblioteka Baidu数据库概况
数据库服务的主要对象：
重大科研项目
国家重点基础研究发展规划－攀登项目 国家重中之重项目－短期气候预测 973项目－我国重大气候灾害的机理和预测理论研究 863项目 国家重大、重点基金项目 中科院重大、重点基金项目
大气科学与环境数据库数据共享策略
大气科学与环境数据库数据共享策略：
收费政策 ·所内用户使用大气科学与环境数据库资料一律免费
·免费向非营利性科研和教育机构从事的非商业型活动或公益活动提 供大气科学与环境数据库中的可共享数据，但要收取一定的成本费 （例如：介质费、数据传输费、适量的加工处理费）
存在的问题：
所内科研工作
所外合作科研课题
每年春季和夏季汛期天气会商
研究生论文
大气科学与环境数据库概况
数据库对外服务的单位：
院内有：
南海海洋所、海洋研究所、寒旱所、地理所
科研单位有：
国家气候中心、气象科学研究院、上海台风所、兰州气象局、 总参气象局、黄河委员会、河北气象局、国家海洋预报中心、 国家环保局
大气科学与环境数据库数据共享策略：
对数据的使用权分级：根据数据提供者的要求进行分级 ·可共享的数据 ·项目专用数据：某些项目收集的数据，常常要求在一段时间内只
能供项目成员使用，过了这个期限，才可提供大家使用。 ·受限制数据：有些数据被提供时即要求不能转让给第三方使用，
这些数据只能限本所使用，不得外传。 根据数据级别，制定相应的共享政策-例如：对不同的数据集设置 不同的使用权限，；使用受限制数据，用户必须注册申请单，并保证 数据不外传。
入库数据的压缩存储格式均采用国际通用的标准格式（如GRIB、 NetCDF等），为用户存取、解码、交换、分发数据提供方便 所有入库数据通过质量控制检验，保证用户得到可靠的资料 开发用户记账系统，了解各种数据集的使用情况，及时发现使用频率较 高的数据集，提高数据库的工作效率
大气科学与环境数据库数据共享策略
大气科学与环境数据库概况
大气科学数据库数据调用方式：
服务的用户： 普通用户－查询某些气象要素如温度等 科研用户－某个区域的气象数据或作图
数据调用方式： 编程－填参数－－调用数据 Web方式-主页、数据查询界面－填参数－－调用数据 Web方式-主页、数据查询界面－填参数－－实时画图
FTP服务 – 直接下载压缩数据，同时提供解压工具
中国科学院“科学数据库”中的专业子库 国家基金委大气科学北方数据中心
谢 谢！
大学有：
北京大学、南京大学、中山大学、北京气象学院、南京气象学院、 成都气象学院、兰州大学、中国科技大学、南京空军气象学院、 青岛海洋大学、华东水利学院
大气科学与环境数据库概况
大气科学与环境数据库运行情况：
数据 在线 总访问 总量 数据 次数 （GB） （GB） （人次）
2019 ~500 150 年
“八五”开始建立大气科学与环境数据库，2019年开始运行-至今 通过实践，在数据共享方面积累了一些经验。
大气科学与环境数据库数据共享策略
大气科学与环境数据库数据共享策略：
重视数据说明文件编写-方便用户使用，真正实现数据共享 ·完整的数据说明文件包含的条目-实践中摸索+借鉴他人、完善 ·数据说明文档：印刷版（定期出版技术报告）+随时发布资料快讯 电子版（随时更新）
海量数据
大气科学与环境数据库概况
数据管理：
数据存储
介质-磁盘阵列、磁带和光盘 三级存储：在线存储-当前常用的科研数据；
近线存储-比较常用的数据； 离线存储-非常用数据
DATABANK文件管理系统--管理气候资料库
集借、鉴NCAR的DSS系统，在“八五”期间研制的网络型资料库。气候资料库由数据 数据子集、数据文件组成。其网络环境为TCP/IP，使用FTP支撑。在线数据份存储， 有一台网络节点机为主机，建立管理系统，用户在网络的任一节点检索数据时，会 向管理主机发出请求，主机发回数据存放位置后，向节点索取数据。
大气科学与环境数据库数据共享策略
大气科学与环境数据库发展过程--数据库建成：
初期-成立数据中心 ·收集、购买资料，统一管理 ·硬件、技术条件的限制-所有数据离线存储-半寸带 ·用户需申请才可使用数据
数据说明文件的编写-元数据的建立-数据共享-极其重要 ·缺少数据说明-无法使用 ·数据说明编写不够完整、清晰-使用困难、造成错误 申请使用磁带纪录、后期开发的用户记账系统统计数据
大气科学与环境数据库概况
气候资料系统：
数据总容量：1TB
在线数据容量：600GB
数据种类：温度、降水、大气环流、海洋、冰雪、辐射、植被、 大气化学等台站观测资料和格点在分析资料，120个数据集 逐日、逐候、逐旬、逐月以及多年气候平均的历史存档气象资 料以及前一阶段实时资料系统收集的气象数据。历史存档资料的年 代长度大部分在20-50年以上，最早的资料可追溯到1697年。资 料的空间范围包括了全球及中国地区，高度从深海到地面再到高空， 是不同数据种类而不同
大气科学与环境数据库概况
数据来源：
与国际、国内相关单位合作，进行数据交换、数据购买 国际：美国国家大气研究中心（NCAR） 美国国家宇航局（NASA）
欧洲中期预报中心（ECMWF） 日本气象厅 香港天文台 国内：国家气候中心 南京气象学院 国家气象中心 气象科学研究院
成都气象学院 国家水利部 寒旱所 兰州气象局 等 项目收集的观测数据、模式数据 网上下载的数据 自己收集整编的资料 卫星接收系统接收的数据
173.55
195.22
209.66
大气科学与环境数据库数据共享策略
大气科学研究-对数据、计算环境有很强的依赖性 大气科学与环境数据库发展过程--数据库建成之前：
数据掌握在个人手中—国外带回、课题购买、个人收集 信息闭塞、数据使用率低 重复收集数据、重复购买数据--浪费 数据不规范--使用不便 影响科研工作的进展 统一管理、数据共享
大气科学与环境数据库概况
气象数据的结构和特点： 格点数据
是一种气象要素形成一个数据文件，每个文件由若干个二维数组 （行、列上的要素值按一定的经度、纬度顺序排列)组成，一个数组为 某一层次上的某个区域的要素值。
台站数据
台站资料按台站来组织文件，每个台站的台站号及其同时次、同报 类（如地面观测、高空观测等）该台站的气象观测要素组成一个记录， 在此基础上，所有时次相同、报类相同的台站纪录组成一个台站数据文 件。
造成这种现象的原因主要是： ·网络传输费用较高 ·基于安全的考虑，系统对外基本是封闭的
大气科学与环境数据库
研究所的经费支持 国家重点开放实验室的合作 研究所数据中心与计算中心合并 丰富的计算机资源 网络技术的发展&网络环境的改善 科学数据库的支持 国家基金委的支持 大气科学与环境数据库全体工作人员的创造性劳动 大气科学与环境数据库-大气科学研究领域最重要的气象资料数据中 心：
实时气象资料系统：
网上实时下载当日4个时次、2.5度x2.5度以及1度x1度的格
点气象数据
通过卫星数据接收系统接收中国气象局发送的当日2个时次 的全球气象台站地面和高空观测数据、卫星云图、国内外数值预 报产品
以上数据实时提供用户使用，并在适当的时间（如一年后） 传递给气候资料系统存档
1-12月
2000 600 150 年
1-12月
2019 ~1000 600 年
1-12月
2019 1000 600 年
8227 7770 8667 17024
调用数 据集次 数（万 余次）
524
423
483
890
调用数 据个数 （亿个）
551
433
496
911
调用数据 的传输量 （GB）
132.24
大气科学与环境数据库 资源建设和数据共享策略
中国科学院大气物理研究所 徐予红
大气科学与环境数据库概况
大气科学与环境数据库包括以下几个子库：
实时资料系统 气候资料系统 算法库 大气科学文献库（正在建设） 气候模式库（即将建成） 图形软件库（即将建成）
大气科学与环境数据库概况
大气科学与环境数据库概况
调用数据方法之一－编程
有权限的用户通过编程、填置参数、连接专用库例程的方 式调用所需数据-调用大容量数据文件。
大气科学与环境数据库概况
调用数据方法之一－主页、数据查询界面
大气科学与环境数据库概况
调用数据方法之一－主页、数据查询界面
大气科学与环境数据库概况
调用数据方法之一－FTP服务
CDM通用气象数据管理系统--管理实时气象数据
件借鉴NCAR的LDM管理系统，2019年研制的新型网络型数据库。数据库由数据文 组多成，使用专用网络端口，TCP/IP通讯过程中加密，可以在UNIX/Linux/Window 平台上运行，可以方便地与Web及数据库连接。
数据库管理工具--管理少量的台站观测数据
调用小容量数据文件
大气科学与环境数据库概况
大气科学与环境数据库
数据 处理 模块
实时数据 历史数据
数据 管理 模块
数据 调用 模块
实时下载 和
接收数据
CDM通用 数据
管理系统
DATABANK 数据
管理系统
数据库 管理系统
用户
大气科学与环Biblioteka Baidu数据库概况
数据库服务的主要对象：
重大科研项目
国家重点基础研究发展规划－攀登项目 国家重中之重项目－短期气候预测 973项目－我国重大气候灾害的机理和预测理论研究 863项目 国家重大、重点基金项目 中科院重大、重点基金项目
大气科学与环境数据库数据共享策略
大气科学与环境数据库数据共享策略：
收费政策 ·所内用户使用大气科学与环境数据库资料一律免费
·免费向非营利性科研和教育机构从事的非商业型活动或公益活动提 供大气科学与环境数据库中的可共享数据，但要收取一定的成本费 （例如：介质费、数据传输费、适量的加工处理费）
存在的问题：
所内科研工作
所外合作科研课题
每年春季和夏季汛期天气会商
研究生论文
大气科学与环境数据库概况
数据库对外服务的单位：
院内有：
南海海洋所、海洋研究所、寒旱所、地理所
科研单位有：
国家气候中心、气象科学研究院、上海台风所、兰州气象局、 总参气象局、黄河委员会、河北气象局、国家海洋预报中心、 国家环保局
大气科学与环境数据库数据共享策略：
对数据的使用权分级：根据数据提供者的要求进行分级 ·可共享的数据 ·项目专用数据：某些项目收集的数据，常常要求在一段时间内只
能供项目成员使用，过了这个期限，才可提供大家使用。 ·受限制数据：有些数据被提供时即要求不能转让给第三方使用，
这些数据只能限本所使用，不得外传。 根据数据级别，制定相应的共享政策-例如：对不同的数据集设置 不同的使用权限，；使用受限制数据，用户必须注册申请单，并保证 数据不外传。
入库数据的压缩存储格式均采用国际通用的标准格式（如GRIB、 NetCDF等），为用户存取、解码、交换、分发数据提供方便 所有入库数据通过质量控制检验，保证用户得到可靠的资料 开发用户记账系统，了解各种数据集的使用情况，及时发现使用频率较 高的数据集，提高数据库的工作效率
大气科学与环境数据库数据共享策略
大气科学与环境数据库概况
大气科学数据库数据调用方式：
服务的用户： 普通用户－查询某些气象要素如温度等 科研用户－某个区域的气象数据或作图
数据调用方式： 编程－填参数－－调用数据 Web方式-主页、数据查询界面－填参数－－调用数据 Web方式-主页、数据查询界面－填参数－－实时画图
FTP服务 – 直接下载压缩数据，同时提供解压工具
中国科学院“科学数据库”中的专业子库 国家基金委大气科学北方数据中心
谢 谢！
大学有：
北京大学、南京大学、中山大学、北京气象学院、南京气象学院、 成都气象学院、兰州大学、中国科技大学、南京空军气象学院、 青岛海洋大学、华东水利学院
大气科学与环境数据库概况
大气科学与环境数据库运行情况：
数据 在线 总访问 总量 数据 次数 （GB） （GB） （人次）
2019 ~500 150 年
“八五”开始建立大气科学与环境数据库，2019年开始运行-至今 通过实践，在数据共享方面积累了一些经验。
大气科学与环境数据库数据共享策略
大气科学与环境数据库数据共享策略：
重视数据说明文件编写-方便用户使用，真正实现数据共享 ·完整的数据说明文件包含的条目-实践中摸索+借鉴他人、完善 ·数据说明文档：印刷版（定期出版技术报告）+随时发布资料快讯 电子版（随时更新）
海量数据
大气科学与环境数据库概况
数据管理：
数据存储
介质-磁盘阵列、磁带和光盘 三级存储：在线存储-当前常用的科研数据；
近线存储-比较常用的数据； 离线存储-非常用数据
DATABANK文件管理系统--管理气候资料库
集借、鉴NCAR的DSS系统，在“八五”期间研制的网络型资料库。气候资料库由数据 数据子集、数据文件组成。其网络环境为TCP/IP，使用FTP支撑。在线数据份存储， 有一台网络节点机为主机，建立管理系统，用户在网络的任一节点检索数据时，会 向管理主机发出请求，主机发回数据存放位置后，向节点索取数据。
大气科学与环境数据库数据共享策略
大气科学与环境数据库发展过程--数据库建成：
初期-成立数据中心 ·收集、购买资料，统一管理 ·硬件、技术条件的限制-所有数据离线存储-半寸带 ·用户需申请才可使用数据
数据说明文件的编写-元数据的建立-数据共享-极其重要 ·缺少数据说明-无法使用 ·数据说明编写不够完整、清晰-使用困难、造成错误 申请使用磁带纪录、后期开发的用户记账系统统计数据
大气科学与环境数据库概况
气候资料系统：
数据总容量：1TB
在线数据容量：600GB
数据种类：温度、降水、大气环流、海洋、冰雪、辐射、植被、 大气化学等台站观测资料和格点在分析资料，120个数据集 逐日、逐候、逐旬、逐月以及多年气候平均的历史存档气象资 料以及前一阶段实时资料系统收集的气象数据。历史存档资料的年 代长度大部分在20-50年以上，最早的资料可追溯到1697年。资 料的空间范围包括了全球及中国地区，高度从深海到地面再到高空， 是不同数据种类而不同
大气科学与环境数据库概况
数据来源：
与国际、国内相关单位合作，进行数据交换、数据购买 国际：美国国家大气研究中心（NCAR） 美国国家宇航局（NASA）
欧洲中期预报中心（ECMWF） 日本气象厅 香港天文台 国内：国家气候中心 南京气象学院 国家气象中心 气象科学研究院
成都气象学院 国家水利部 寒旱所 兰州气象局 等 项目收集的观测数据、模式数据 网上下载的数据 自己收集整编的资料 卫星接收系统接收的数据
173.55
195.22
209.66
大气科学与环境数据库数据共享策略
大气科学研究-对数据、计算环境有很强的依赖性 大气科学与环境数据库发展过程--数据库建成之前：
数据掌握在个人手中—国外带回、课题购买、个人收集 信息闭塞、数据使用率低 重复收集数据、重复购买数据--浪费 数据不规范--使用不便 影响科研工作的进展 统一管理、数据共享
大气科学与环境数据库概况
气象数据的结构和特点： 格点数据
是一种气象要素形成一个数据文件，每个文件由若干个二维数组 （行、列上的要素值按一定的经度、纬度顺序排列)组成，一个数组为 某一层次上的某个区域的要素值。
台站数据
台站资料按台站来组织文件，每个台站的台站号及其同时次、同报 类（如地面观测、高空观测等）该台站的气象观测要素组成一个记录， 在此基础上，所有时次相同、报类相同的台站纪录组成一个台站数据文 件。