海洋观测数据预处理系统设计与实现

观测仪器或平台 进口深水浮标 自动气象站 C 波段雷达 有缆潜标 波浪浮标 ADCP
CTD 深水潜标 RCM 单电海流计
表 1 海洋环境观测仪器说明 观测要素
风速、风向、气温、气压、湿度、水温等 风速、风向、气温、湿度等 波高、波向、谱密度等 流速、流向、水温等
风速、风向、气温、气压、湿度、水温等 流速、流向等
202
行极值控制，实现异常数据文件标定、异常要素显示等功能，最终形成数据质量控制报告。
4.1 数据标准化处理流程
数据标准化处理的整个流程是，首先要选择某一观测仪器或平台的数据来进行处理；其次根据不同仪 器或平台选择不同的数据标准化方法；最后对处理完成的数据进行规范化存储和管理并对系统日志文件进 行编辑和存储。具体数据标准化处理流程[3]图参见图 2。
1. 多线程方式自动数据标准化处理
201
为实现数据处理的时效性，依据数据文件的多源化，该系统采用多线程方式实现数据文件的数据标准 化处理，每一个观测仪器采用单一线程；定时扫描观测仪器数据文件夹实现观测数据文件的数据标准化处 理，并对处理完数据进行规范化存储和管理。
2. 数据源灵活配置 为了保障该系统的可扩展性，该系统能够灵活的增加数据源文件，增加线程实现该数据源文件的数据 标准化处理和数据质量控制。 3. 数据初步质量控制 该系统基于数据文件采用极值控制等方法实现数据质量控制、日志文件以及异常数据文件的规范化存 储和管理，处理的主要文件类型有 txt 和 xls 两种。 4. 阈值灵活设定 依据近几年历史数据获得各个观测要素的阈值，以后会灵活的根据数据质量控制的实际情况对阈值进 行更新和修改等。 5. 完整的日志文件 该系统能够进行完整的日志文件的存储和管理，日志文件内容主要包括所处理的数据文件的基本信 息、日常系统运行的信息、异常数据信息及异常数据文件的存储和管理信息等。 6. 人性化可视界面 该系统实现人性化可视界面，界面能够展现目前正在处理的数据文件的内容、已处理的数据文件的信 息、异常数据文件数据的表达等信息。
选择观测仪器或 平台和相应仪器
原始文件
选择数据标准化 处理方法
存储和管理系 统日志文件
对标准化处理后 文件进行存储和
管理
图 2 数据标准化处理流程图
4.2 数据质量控制流程
本论文所探讨的数据质量控制是基于数据文件的质量控制，数据质量控制的整个流程是，首先读取所 有的观测要素的阈值；其次要选择某一观测仪器或平台的数据来进行质量控制；再次根据不同仪器或平台 选择不同的数据质量控制方法这里主要采用极值控制方法；最后对控制完成的异常数据文件进行规范化存 储和管理并对系统日志文件进行编辑和存储。以上的四个阶段是对数据质量控制流程的简单概括，该系统 主要实现了数据文件数据的极值方法质量控制，更加深入的数据处理过程有待后期完善。具体数据质量控 制流程[1][2][4]见图 3。
4 海洋观测数据预处理系统流程设计
海洋观测数据集成系统主要包括数据通信与管理、数据预处理和数据共享服务三个子系统。数据通信 与管理子系统主要是实现多源海洋观测数据的收集、规范化存储管理等。数据预处理子系统是基于原始数 据开展异构数据标准化处理、初步质量控制等功能，为数据共享服务、信息产品制作等提供数据依据和统
CTD数据
科研院所
信息服务部门
图 1 实时数据预处理系统流程图
系统运行管理机构
数据预处理子系统主要包括数据标准化化处理和数据质量控制两个功能模块。数据标准化处理模块主 要是依据数据通信协议进行统一的数据格式的转化，通过对原始数据进行无效字符剔除、统一数据描述、 单位换算、观测时间换算等实现异构数据标准化处理；数据质量控制模块主要是对标准化处理后的文件进
参考文献
[1]史静涛. 海洋环境实时观测数据质量控制方法研究与软件实现.天津：国家海洋技术中心，2010 年 1-28. [2]史静涛，海洋站数据质量控制技术探讨.海洋技术.2011 年第一期. 114-117 [3]陈上及，海洋数据处理分析方法及其应用，海洋出版社，1991 年 8 月，23-36 [4]Walsh, J.E. and M.B. Richman, Seasonality in the associations between surface temperatures over the United States and the North Pacific Ocean, Mon.Wea.Rev.109, 1981, 767-783. [5]林平，基于.NET 的水文测站数据管理系统的研究与实现，硕士，河海大学，2007 年.
一接口。数据共享服务子系统负责为后端应用、用户提供共享数据。具体的系统流程[1]如图 1 பைடு நூலகம்示。
浮标监测数据 C波雷达监测数据 气象站监测数据 海流计监测数据
ADCP数据
传输方 式： 1.FTP
2.自容 3.网络传
输
海洋环境观测集成系统
数据通信与管 理
数据预处理
原始文件
数据处理后文件
数据及信息产品共享
2 海洋环境观测平台简介
本论文采用一个石油平台作为实例进行介绍，该石油平台主要是立体观测某一区域内的观测要素数 据，主要观测要素数据包括海平面以上的气象数据、海洋表层以及深层的水文数据等。表 1 详细列举了该 石油平台说涉及到的仪器、该仪器的观测要素以及数据文件类型等。
序号 1 2 3 4 5 6 7 8 9
1 概述[1]
进入二十一世纪以来，国家越来越重视对于海洋领域的开发建设，兴建了一大批海洋工程项目，这些 项目涉及海洋行政管理、海洋灾害预测、海洋环境保护、海洋维权、海域管理等各个方面，极大的提高了 我们利用海洋的能力。但是随着项目的逐步深入，业务领域的逐步拓宽，要求我们必须对海洋观测数据进 行标准化处理以及提高数据的质量，数据标准化和数据质量的提高能够更好的为我们的业务提供更加可靠 的支撑。
读取观测要素阈值
选择观测仪器或平台
质
和相应数据文件
量
控
质量控制方法选择和
系统日志文件规
制
处理
范化存储和管理
方
法
异常数据文件规范化
存储和管理
图 3 数据质量控制流程图
203
5 海洋观测数据预处理系统实现
依据目前主要操作系统采用的是 windows 操作系统，使用 C#开发语言采用 CS 架构设计研发了该系统 [5]的数据标准化处理子系统和数据质量控制子系统。下面简单介绍这两个子系统，数据标准化子系统能够 清楚的展示所处理的数据文件中的数据，该软件能够减少对非必要数据的存储这样有利于后期人员对该数 据文件进行数据入库、数据同化、数据模式等操作；数据质量控制子系统能够清楚显示正在处理的数据文
水温、深度、盐度等 流速、流向等
盐度、水温、流速、流向等
文件类型 csv dat csv csv csv cnv cnv xls txt
备注
3 海洋观测数据预处理系统功能设计
海洋观测数据预处理系统主要针对海洋观测数据文件格式多样化，实现数据标准化处理生成统一格式 的文件，并对观测数据各监测要素进行极值控制等初步质量控制，考虑系统的开放性、可扩展性及数据的 多源化，该系统主要具备以下功能[5]：
海洋环境观测技术和设备的进步和发展使得海洋环境数据的数据量也越来越大以及数据格式的多样 化，尤其是国内外的海洋观测仪器存储的数据格式和类型有很大不同，这就要求我们要对海洋数据进行标 准化处理和质量控制，并且现在许多技术和理论的研究和发展也为我们提供了基础。
本文中的海洋观测数据预处理系统是指针对海洋观测仪器产生的不同数据文件进行数据标准化处理 和基于数据文件的初级数据质量控制。
数据娄件 是型以 这及 两：正 个ＰＹ在 软３处 件０ 理的１的 主气数 界象据 面站文 。件的内容，数对据于异源常目数录据：进Ｅ行：存＼储气和象管站理并在日志浏文览件中显示。图 4统和图计5文分件别量
文件数量：
转化目录：Ｅ＝、一３０ １气｛ 浏览 转化
图 4 数据标准化平台
图 5 数据质量控制软件
204
海洋观测数据预处理系统设计与实现
史静涛，宋 坤
（国家海洋技术中心，天津 300112）
摘 要：基于目前海洋观测仪器和平台的多样化以及海洋观测仪器数据存储格式和类型的多样化，要求有必要对 海洋观测数据文件进行数据预处理。本文首先基于对现有的某观测石油平台上搭载的观测仪器、设备等所获得的 观测数据文件的主要观测要素及其文件类型的分析，开展了海洋观测数据预处理系统的主要功能及流程的分析、 设计。最后采用 C#实现海洋观测数据预处理系统的数据标准化处理子系统和数据质量控制子系统，并将这两个 子系统应用于该石油平台的观测数据。 关键词：数据处理；质量控制；海洋观测仪器
6 总结与展望
本文简单介绍了海洋观测数据预处理系统实现，对于更加深层的技术问题并没有展开，并且还有很多 数据预处理问题有待探讨。今后研究方向总结以下几点：
1）数据标准化过程中超大数据文件的处理技术； 2）数据质量控制方法的选取技术以及更加高层的数据质量控制方法研究； 3）数据预处理系统中数据的图形化描述等。