全国智慧农业气象服务平台数据存储规范
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
全国智慧农业气象服务平台数据存储规范
(试行)
中国气象局
2016 年11 月
全国智慧农业气象服务平台综合数据存储规范的制定以《气象结构化数据存储规范(初稿)》、《全国农业气象数据库环境技术规范(试行)》和《全国精细化气象格点预报数据规范》为基础,依托中国气象局CIMISS 云平台,是对《气象结构化数据存储规范(初稿)- 农业气象分册》、《全国农业气象数据库环境技术规范(试行)》的补充和完善,是全国智慧农业气象服务平台的数据参考规范。主要包括基础气象资料库、农业气象观测数据库、农业气象专题产品库、农业气象野外调查数据库、用户采集数据库、农业气象背景数据库。智慧农业气象数据库存储数据类型有站点数据、格点数据、Word 文档、图片数据和视频数据五类。
智慧农业气象数据存储规范
1. 范围
本规范规定了智慧农业气象数据存储规范,包括地面气象数据、土壤数据、农业气象观测数据、农业气象灾害数据、农业气象采集数据、农业气象数值产品、农业气象服务产品和台站信息等数据的表结构、索引、分区方式等内容。
本规范适用于气象结构化数据的存储管理。不论选用传统关系型数据库,还是选用分布式关系型数据库进行存储,都可使用该规范。
2. 术语与定义
(1)数据库meteorological database
数据库是按照预定结构组织成的气象信息的集合,本规范涉及气象、土壤、农业气象、农业气象灾害、农业气象产品和台站信息六类数据库。
(2)表结构table
表是数据库内部的数据存储机制。表含有一组固定的列。表中的列描述该表所跟踪的实体的属性。
(3)索引index 索引是对数据库表中一列或多列的值进行排序的一种结构。
(4)分区partition 分区是数据库基于性能和可扩展性等因素的考虑将一个
大
数据表分为独立的若干小表。
3. 规范技术说明
对于智慧农业气象数据的存储管理,不论是选用传统关系型数据库,还是选用分布式关系型数据库,都需要设计数据存储的三项最基本内容,即表结构、索引和分区。表结构用于定义数据的组成和要素存储类型,索引和分区用于优化
数据检索和管理性能。
(1)表结构
表结构定义数据包含的各要素字段,包括要素名称、字段编码、数据类型、约束(是否为主键、是否可空)、以及字段的赋值说明等。其中,字段编码源自BUF码,进行了适当扩展。数据类型主要包括NUMBERCHAR/VARCHAR2DAT三种。
要素字段包括用于辅助存储管理的管理型字段(如资料标识、入库时间、更新时间等)和气象要素数据字段(如温、压、湿、风、降水等)。
(2)索引
索引分为两种,即唯一索引和一般索引。
唯一索引,是为了避免数据表中存在重复的键值,一般设计为一个;唯一索引也具备与一般索引一样的加速检索能力。一般索引,是为了提高应用检索效率,将常用的检索字段设计为索引,可设计为一个或多个。
智慧农业气象数据的唯一索引,一般由站点、观测时间、层次等时空字段组成。一般索引,则由常用应用场景的检索字段组成。
(3)分区
气象数据具有时空密度高的特点,因此数据规模较大。为提
高存储管理性能,大部分数据表都需要进行分区。一般都按时间
范围进行分区,依据数据的规模大小,分区粒度可选择为月、日和小时。
4.基于站点的资料存储规范
4.1.中国地面气象资料
中国地面气象资料包含地面实况气象资料和预报气象资料两类,其中,实况
资料包括气象要素日值实况、小时值实况和气候标准值;预报资料为精细化城镇预报产品。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件1-中国
地面实况与预报气象资料表。
表清单
42 土壤资料
土壤资料包括土壤土壤水文物理特性、土壤相对湿度、土壤水分总储存量、有效水分储存量、土壤冻结与解冻、土壤地温小时值、土壤地温日值等。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件2-中国地面土壤资料表。
表清单
4.3.农业气象观测数据
农业气象观测数据包含作物生长发育、干物质与叶面积、灌
浆速度、产量因素与产量结构、关键农事活动、县级产量水平、
动(植)物物候期、牧草发育期、牧草生长高度、牧草产量、牧草盖度及草层采食度、家畜膘情等级与羯羊重调查等内容。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件3-农业气象观测数据表。
表清单
44 农业气象灾害要素
数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件4-农业气象灾害要素表。
表清单
4.5.农业气象采集数据(用户采集上传的数据)
农业气象采集数据包括农业气象灾害数据采集、作物生长发
育状况数据采集、产量数据采集、农事活动数据采集、牧草生长发育状况数据采集。数据表中文名、表格中文名称和说明见下表。具体表结构见附件5-农业气象采集数据表。
表清单
46 农业气象数值产品
站点农业气象数值产品是基于站点气象数据,通过农业气象算法,客观计算的农业气象指导产品,包括农业气象灾害等级监
测与预报、农业气象灾害影响预报与评估、农业气候适宜度、作物发育期预报、作物模型模拟等产品,见下表。表的要素名称、字段编码、数据类型、约束、说明等表结构见附件6-农业气象数值产品(站点)表。
表清单
4.7. 公共信息
主要包括省级单位代码表、台站信息表、用户信息表、台站
站网表、台站分级表、国内行政编码表等信息。表结构见附件7-
公共信息表(均为新建表)。
48 经济信息
主要包括主要农作物的港口价格和市场价格等信息。表结构见附件8-农产品经济信息表。
表清单
4.9. 互动信息
主要包括用户提问和作答信息。表结构见附件9-互动信息