基于气象大数据云平台的数据访问实现方法

DOI：10.15913/ki.kjycx.2024.04.018
基于气象大数据云平台的数据访问实现方法
陶睿
（内蒙古自治区气象数据中心，内蒙古呼和浩特010051）
摘要：随着气象观测系统的不断发展，气象数据类型、数量日益增长。

气象大数据云平台支持大数据汇聚交换、产品加工、共享服务和挖掘分析，实现了气象数据的高效服务。

通过介绍基于气象大数据云平台的Rest数据访问方式、脚本数据访问方式和文件目录数据访问方式的参数配置和具体应用，可以使气象工作人员对气象大数据云平台有更深入的了解，并自主高效获取数据，最大程度地发挥气象数据效能。

关键词：气象大数据云平台；数据访问；脚本；文件目录
中图分类号：TP311.13；P409 文献标志码：A 文章编号：2095-6835（2024）04-0069-04
随着信息化的快速发展，气象信息化也在快速适应时代变化。

以气象信息化驱动气象现代化，建设智慧气象，是落实创新驱动发展战略和国家信息化发展战略的重要举措，气象数据共享服务将在保证数据安全的前提下更加开放多样。

全国综合气象信息共享平台（CIMISS）是国家气象信息基础性建设的重要工程，是一套覆盖全国，集数据收集和分发、质量控制与产品生成、存储管理、共享服务于一体的气象信息共享业务系统，为部门内外用户提供地面、高空、海洋、辐射、农气、数值模式、大气成分、气象灾害、雷达、卫星、服务产品等气象观测数据和气象服务产品的共享服务。

但随着用户使用数据需求多样化，CIMISS平台出现了用户暴力检索、业务系统长时间序列数据服务效率低以及数据安全性差等问题[1]。

2019年国家气象局研发了“数算一体”的气象大数据云平台。

气象大数据云平台不仅可以解决全国综合气象信息共享平台服务接口现状问题，而且降低了存储技术开发难度，解耦应用与数据，直接支撑业务系统。

气象大数据云平台服务接口遵循CIMISS接口规范，并按需拓展，可以高效支撑天气预报服务、人工影响天气等多种气象应用，形成“云+端”的应用生态[2]。

1 气象大数据云平台总体架构
气象大数据云平台由5个系统和2个体系构成，即气象大数据管理系统、智能预报众创支撑系统、大数据服务众创支撑系统、基础设施资源池、业务监控系统和网络与信息安全体系、标准规范体系。

其中数据存储管理及共享服务子系统对外提供数据服务接口，该系统主要针对不同类型的数据确定相应的数据管理形态，支持结构化数据分布式关系型数据库存储、非结构化数据支持索引存储，对各类气象基础数据和产品开展高性能存储。

系统通过数据接口实现气象资料的在线访问，可以实现气象资料实时与长时间序列的访问，同时服务接口设计遵循气象数据统一服务接口（MUSIC）标准规范，对提升数据服务能力有较大作用。

2 气象大数据云平台数据接口简介
2.1 气象大数据云平台与CIMISS服务接口的关系
气象大数据云平台是CIMISS平台的全面升级，保留了CIMISS服务接口的基本功能，对数据环境、接口架构以及服务能力等方面都进行了全面改善和增强。

首先在数据环境方面，CIMISS平台的数据环境是ORACLE数据库，只有基础库和支撑库；气象大数据云平台的数据环境由虚谷分布式数据库、南大历史分析库和Cassandra实时应用库组成，可以根据业务需求及数据特点进行合理分配。

在系统架构方面，气象大数据云平台将CIMISS单体架构升级为分层架构，在资源紧张时，可以采用添加服务器拓展资源。

在接口服务能力方面，经多方面测试，相比原有CIMISS平台接口性能，查询性能整体提高了10倍。

在数据安全方面，设置了IP白名单以及验证功能，降低了用户信息泄露的风险，有效保障了数据安全。

2.2 气象大数据平台数据接口功能
气象大数据云平台接入的气象资料类型丰富，共计有地面资料、高空资料、辐射资料、农业气象资料以及灾害资料等14类。

上述资料分别根据数据类型存储至结构化数据库和非结构化数据库，针对资料结构化和非结构化的属性不同，气象大数据云平台设计开发了多种接口使用方式。

气象数据统一服务接口分别为14类气象资料设计
·
·69
了对应的接口，面向站点资料，相应接口具备检索和统计功能。

若用户使用检索功能，接口既可以返回结构体对象，也可以根据用户需求返回HTML、JSON、XML 和TEXT等格式资料进行保存；若用户使用统计功能，接口可以进行统计值范围限制，统计要素值范围内的最大值、最小值和平均值等；面向格点资料，相应接口具备解析、裁剪和抽取等功能。

若用户使用解析功能，接口可以按照时间序列进行抽取，然后进行平面场解析和区域裁剪；面向文件级资料，相应接口具备查询与下载功能。

若用户使用下载功能，接口可以根据用户选择的产品要素进行精准查询与定位，并实现文件单个获取和批量下载。

同时平台也提供了气象资料写入接口，支持算法融入气象大数据云平台，将产生的基础数据或产品写入、更新至气象大数据云平台[3]。

3 数据访问实现方法
气象大数据云平台的数据访问依托于气象数据统一服务接口（MUSIC）进行服务，面向气象业务和科研，提供全国统一的数据访问服务和应用接口，并为各类应用系统提供数据支撑服务。

依据现有数据安全管理办法，用户需要申请气象大数据云平台实名制账户才可以通过气象数据统一服务接口进行数据访问。

用户可以通过登录气象政务管理系统，在办公区的“账户资源”模块进行账户申请注册，完成相关信息填写，然后通过政务系统进行各个层级审核流转，审核通过后用户就可以使用数据访问服务。

随着各项技术的发展，用户针对数据使用的需求越来越细化，因此气象大数据云平台接入了多种类型、不同格式的资料。

对于数据使用量、数据类型不同的现状，现通过3种方式实现数据访问。

3.1 Rest数据访问方式
面向一部分科研用户，为了快速直观地查询到相应的气象资料，或者在下载数据量较少的情况，气象大数据云平台提供了Rest数据访问方式。

用户在登录接口账户后，进入到气象大数据云平台应用支撑网站，可以通过左侧任务栏中的“我的接口”下的“接口测试工具”进行数据访问。

3.1.1 接口参数配置
在应用门户网站，采用Rest数据访问方式，用户可以访问14类气象资料，结构化资料和非结构资料均可以获取。

同时，用户也可以针对不同类型资料和科研需求，在服务接口中选取检索、统计或抽取等接口进行定制化下载服务。

若使用检索类接口，以“按时间检索地面数据要素”服务接口为例，“字段代码；统计接口分组字段”为用户必须填写参数，针对地面资料包含要素字段较多的情况，平台可以依据用户选取字段进行快速查询筛选，实现毫秒级响应；“时间”参数也为必填参数，只要时间选取符合逻辑即可。

若用户想要更精准地调取数据和查看数据，可以通过“台站级别”“排序字段”“返回唯一值”参数进行设置。

具体参数配置如图1所示。

图1 检索类接口参数
其中“台站级别”支持同类不同级别台站选择，多个以逗号分割，地面观测站站网代码为01，包括基准站011、基本站012、一般站013、区域站014和其他015；高空气球探空仪探测站站网代码为04，探空站为041，测风站为042；辐射观测站站网代码为11，一级、二级、三级辐射站代码分别为111、112和113；农气站站网代码为12，一级站和二级站代码分别为121和122[4]。

“排序字段”支持已选取的要素字段进行升序或降序排列展示。

若使用统计类接口，以“按时间段统计中国地面逐小时气温”服务接口为例，“字段代码；统计接口分组字段”“时间段”为用户必填参数，其中“字段代码；统计接口分组字段”必须包含“气温”，统计接口就可以自动计算出时间段范围内的气温最高值和最低值，为用户使用带来极大便利。

具体参数配置如图2所示。

3.1.2 数据访问结果
针对结构化类型数据，用户直接执行“生成URL”，可以在用户空间直观地看到调取结果，返回结果最大数值为50条；若有将数据保存到本地的需求，用户可以通过设置返回类型，获取到XML、JSON、HTML、
TEXT ·
·70
和CSV等不同格式的数据，将生成的URL复制粘贴到浏览器，就可以下载到本地保存。

针对模式资料等文件级资料，Rest数据访问方式在用户空间的结果为查询数据的下载URL，用户只需将产生的URL复制粘贴至浏览器，就可以实现文件自动下载。

图2 统计类接口参数
3.2 脚本数据访问方式
脚本数据访问方式对于想获取较长时间序列的站点资料，并且需要保存到本地需求的用户是较为友好的方式，同时不需要编程或是特定的运行环境，仅需要将应用支撑网站生成的脚本复制到配置文件中，就可以实现资料下载。

3.2.1 接口参数配置
用户登录气象大数据云平台后，进入“服务与支持”模块下的“开发SDK”，选择开发语言为Script的开发包下载至本地进行解压，解压后的文件夹包含client. config、demo.ini、run.bat等文件。

3.2.2 参数配置
开发包中有2个配置文件需要用户下载后根据实际情况进行修改，分别是client.config客户端配置、demo.ini下载资料配置。

其中客户端配置仅需下载后配置即可，后续使用只需要修改下载资料配置。

client.config客户端配置如下：客户端配置是脚本开发包连接气象大数据云平台的关键信息，用户需要根据本省实际情况进行修改，具体参数如下。

#服务地址
music_server=**.**.**.**
#端口号
music_port=**
#连接超时，秒，可选
music_connTimeout=3
#数据读取超时，毫秒，可选
music_readTimeout=30000
#默认的服务节点ID
music_ServiceId=**
#是否为存储挂载方式，0文件将上传到服务端，1文件通过本地挂载盘写到服务端
music_store_backstage=0
#如果为true，必须填写挂载目录对应位置
music_local_mount=**
#如果为true，服务端挂载目录位置
music_server_mount=**
demo.ini下载资料配置如下：下载资料配置是用户根据需求进行的接口参数配置，配置脚本在应用支撑网站可以自动生成。

与Rest数据访问方式类似，用户前期在网站中的接口测试工具中进行要素字段定义，通过“自动生成脚本”就可以产生配置脚本。

配置脚本内容中包含如下基本信息。

#接口名称，用中括号[]括起来
[getSurfEleByTime]
#用户信息：用户名/密码
userinfo=**
#文件类型
dataFormat=html
#文件保存路径
savePath=**
#资料代码（单个）
dataCode=**
#要素字段代码；统计接口分组字段
elements=**
#时间
times=**
#最大返回记录数
limitCnt=10
3.2.3 数据访问结果
配置信息完成后，运行文件夹中的run.bat启动程序就可以实现定制化自动下载。

数据文件会保存到下载资料配置中设置的路径。

3.3 文件目录数据访问方式
文件目录服务是气象大数据云平台新增的一类数据服务协议，是针对气象文件类数据产品应用访问的一种方式。

通过部署文件目录服务客户端，
用户可以
··71
直接访问已授权的气象大数据云平台中的气象文件级产品，包含雷达、卫星、数值模式和服务产品等资料。

相较于Rest数据访问方式和脚本数据访问方式的文件下载，减少了下载和本地存储环节，有利于提升用户使用数据的效率。

文件目录服务与Rest服务、脚本服务等服务方式用户申请和权限管理要求一致。

权限管控包含用户口令的认证、用户IP地址的认证、资料访问权限的控制等。

3.3.1 文件目录服务客户端下载
用户登录气象大数据云平台后，进入“资源共享”模块下的“文件目录”，文件目录服务客户端分为Windows版本与Linux版本。

Windows版本客户端适用于科研用户，Linux版本客户端适用于算法模式等需借助服务器运行的系统。

3.3.2 参数配置
文件目录服务客户端Linux版本是连接Linux系统与气象大数据云平台文件目录的工具，与挂载存储盘原理基本相同。

客户端可以把物理服务路径直接映射到Linux系统的一个目录上，就可以实现数据的直接访问。

用户需要将下载后的客户端安装包上传至要安装的服务器，并在服务器上进行解压，解压后的文件夹包含bin、logs和conf等文件夹。

用户需要修改fs-env.sh 下的部分参数信息，才可以进行文件目录服务使用。

fs-env.sh中需要修改以下参数，其中账户信息即为用户申请的气象大数据云平台账户信息。

#本省文件目录服务地址
GW_IP="http://**.**"
#账户信息
username="**"
password="**"
文件目录服务客户端WINDOWS版本通过挂载WINDOWS客户端、虚拟网盘，用户即可直接在WINDOWS本地虚拟盘中进行文件目录访问，数据访问形式与直接访问本地盘类似。

用户将下载到本地的安装包进行解压，解压后的文件夹包含文件目录服务应用程序和config、logs等文件夹。

用户需要修改config文件夹中的cmafs.ini配置文件，修改参数如下。

将服务IP设置为本省文件目录服务IP即可。

serverip=**
discovery=true
readonly=false
httpRequestContext=
http2AsyncClientNumber=1
http2=false
3.3.3 数据访问结果
文件目录服务Linux客户端在部署服务器上启动客户端后，若安装成功就会显示挂载成功，进入设置的挂载目录，用户就可以直接访问申请过的文件级资料。

数据湖客户端如图3
所示。

图3 数据湖客户端
文件目录服务Windows客户端修改参数后，启动文件目录服务应用程序，输入气象大数据云平台账户信息后，就可以在本地电脑挂载的虚拟盘中访问申请过的文件级资料。

4 结束语
气象大数据云平台自2021年正式运行以来，在国家级和省级中均开展了全面业务应用，发挥了良好的支撑作用。

发挥气象数据效能是推进筑牢气象防灾减灾第一道防线的有力工具，那么如何高效合理地使用气象数据也是要积极探索的方向。

通过对气象大数据云平台的不断建设，考虑到用户的各类需求，数据访问方式也针对不同类型资料进行设计开发，逐步提高数据检索性能。

参考文献：
[1] 冯勇，李微，朱辉，等.云计算环境下山东省气象大数据云平
台的设计与实现[J].信息技术与信息化，2021（5）：147-150.
[2] 赵冰燕，郭彩莲，来志云.基于青海气象大数据云平台的数
据服务接口[J].青海科技，2021（1）：82-86.
[3] 国家气象信息中心.气象大数据云平台开发手册[M].出版
社不详，2021.
[4] 全国气象仪器宇观测方法标准化技术委员会.QX/T 485—
2019 气象观测站分类及命名规则[S].北京：中国质检出版社，2019.
————————
作者简介：陶睿（1995—），女，内蒙古呼和浩特人，硕士，助理工程师，研究方向为气象信息技术。

（编辑：王霞）
··72。