国产实时数据采集系统研究

国产实时数据采集系统研究

摘要：

文章以发电集团数据采集汇集的系统建设为背景，针对集团侧对管理范围内的发电厂数据监视的需求，结合完全自主知识产权的实时数据库与数据传输软件，阐述了基于国产实时数据库的数据采集系统的实现架构。根据OPC、104等现有国际主流规约，总部在集团下属各二级三级单位建立国产实时数据库，通过数据采集软件将数据汇集到数据库并最终上传到集团数据库中。文章简要阐述了系统实现过程中的体系架构、软件特点和接口类型，以便为后续集团大数据的应用打下坚实的数据基础。

关键词：

国产实时数据库；数据采集；数据汇集

因为传统的火力发电带来的环境问题，新能源发电目前处于蓬勃发展的时期。但是新能源电厂的分布较为零散，单个装机容量相对于

火电厂较小，新能源电厂建厂多，导致整个集团内的测点数量急剧膨胀，可能达到上百万测点规模。因此基于传统关系数据库的发电集团

生产监管信息系统已不能满足实时性的要求。随着大型发电集团信息

系统建设的逐步演进，尤其是新能源发电厂及其信息化系统的建设，

产生了大量的实时数据。这些数据是企业的重要财富。发电集团各二

级单位和三级单位前期已经建设了信息化系统，汇集了电厂各设备生

成的生产数据。因为缺乏统一的建设规范以及接口标准，不能完全满

足各信息化系统之间信息共享、统一监控的需求。因此发电企业各二

级单位迫切需要建立接入点数据平台，以满足集团化运作各业务应用

对实时数据按需存储、整合、共享及统一和标准访问的需求。系统主

要包括数据平台的搭建、数据的接入和上送。通盘考虑各二级单位、

三级单位各系统的特点，建设统一的数据抽取方式。

1系统结构和实现

根据多级部署的系统结构，在企业集团、二级单位和三级单位部

署以海迅实时数据库为核心的数据管理平台（见图1），形成应用集成环境，以达到统一维护、数据共享、支撑综合应用访问的目的。集信息、数据、模型、图形等为一体，建设具有信息共享、业务应用服务、数据统计挖掘等功能的信息一体化平台。整个系统结构与企业的管理

模式相适应，大致可以划分为3个层次，自上而下分别是：集团侧、

二级单位侧、三级单位（电厂）侧。三级单位（电厂）由各生产装置

中的DCS、PLC等控制系统组成，是整个数据采集系统的主要数据源。

二级单位测试整个系统的重要中间环节，主要由海迅实时数据库缓存

和二级单位应用组成。海迅实时数据库是具有自主知识产权的国产实

时数据库，通过接口程序最终将三级单位DCS、PLC中的实时数据汇集

上来，同时历史数据也被按需缓存一段时间，为二级单位的应用提供服务。集团侧是整个系统的重要应用环节，主要由海迅接口适配器、海迅实时数据库以及应用组成。海迅实时数据库从各板块的数据库服务器将生产实时数据采集上来，形成企业级的实时数据库系统，供集团各职能部门的用户使用，同时可做长时间的历史保存。

2数据采集系统组成部分

2.1数据管理平台数据管理平台是对电厂生产运行过程中生成的实时数据进行按需存储、集中、整合、共享和分析的场所，同时提供对数据进行统一标准访问的服务。平台以数据的标准化接入、历史数据的压缩存储、规范的实时数据访问服务、高效的查询统计分析等为核心内容。可以作为各应用的实时、历史数据公共存储和访问平台。可以通过平台提供的标准访问服务和各种工具实现跨专业跨部门的分析辅助决策类的综合应用。结合平台的建设，可以形成和制定实时数据管理的技术规范，包括数据接入规范、数据模型规范、数据存储规范、测点映射规范、访问接口规范等。数据管理平台中的核心—实时数据库，是一种专用的处理海量实时数据的基于测点模型的数据库，广泛应用于电力、石化、冶金等工业自动化领域，针对最新采集的具有时序特征的海量生产数据具有极高的事务处理能力、数据压缩比和查询检索速度。海迅实时数据库以测点模型组织数据并实现实时数据的高速写入与访问、历史数据的高效归档与访问以及历史数据的高效压缩。搭建数据数据平台包括建设集团侧和二级单位的数据平台。利用海迅实时数据库内部的数据链路，将二级单位数据管理平台的数据通过变化即上送的方式上传到集团侧的数据管理平台，存储生产运行实时数据（如汽轮机、水处理数据、锅炉数据、发电数据等），以获

取快速的响应数据和良好的用户体验。这样就实现了将分散的数据进行关联和整合，形成了数据的一致存储。打破了业务和部门间的数据壁垒，能够避免数据重复和不一致的问题。

2.2数据采集通过数据平台的标准的数据接入方法，结合不同二级单位以及三级单位的信息化系统建设实际情况，可分为实时数据库类、关系数据库类、控制系统类等数据源，以API、标准SQL、规约等方式，可将各系统的实时数据接入到数据平台中。如图2所示，在数据接入的整体结构图中，数据由三级单位的接口机获取原始生产实时数据，发送到二级单位的数据管理平台中，再通过海迅实时数据库内部的链路将数据传输到集团侧的数据管理平台中，最终为集团侧的应用提供数据服务，保证了数据的时效性。

2.2.1二级单位数据采集（1）部署实时数据库满足二级单位汇集点数据存储和访问需求，实现了数据缓存的功能，能够在二级单位缓存一定时间的数据，当网络中断时，可以从历史数据获取丢失的数据上送到集团，保证了整个系统数据的完整性。同时二级单位可以基于实时数据库做相对应的应用，为实时类应用打下了良好的基础。集团侧通过海迅数据库管理工具实现对汇集点的实时数据库的统一管理，包括测点维护、数据维护等。如图3所示，两台实时数据库服务器共享存储，通过故障转移群集保障了系统的运行稳定性，在其中一台故障时，可以将服务不间断的切换到备机上。（2）部署接口机通过HIA 获取二级单位原实时数据库的实时/历史数据，写入海迅实时数据库。对于二级单位侧无法访问厂站数据库的情况，可在厂站侧部署数据接口转发机，把厂站数据转发至二级单位。HIA接口程序采用C/S架构，可在集团侧通过客户端工具订阅所需二级单位测点数据，实现订阅测