试验设备采集系统设计方案

北京华天海峰科技股份有限公司
试验设备采集系统设计方案北京华天海峰科技股份有限公司
目录
1前言 (7)
1.1 项目背景 (7)
1.2 名称解释 (8)
2设备分析 (8)
3建设方案概述 (9)
3.1 系统功能概览 (9)
3.2 系统分层架构 (10)
4系统方案设计 (12)
4.1 试验设备网络化集成解决方案 (12)
4.1.1 网络拓扑结构 (12)
4.1.2 串口设备网络化集成 (13)
4.1.3 前端工控设备网络化集成 (15)
4.1.4 网口设备网络化集成 (17)
4.1.5 无接口设备网络化集成 (18)
4.2 设备数据采集解决方案 (20)
4.2.1 专测设备数据采集 (21)
4.2.1.1 实时监听采集 (21)
4.2.1.2 历史数据文件导入 (22)
4.2.2 标准仪器数据采集 (23)
4.2.3 温循箱数据采集 (25)
4.2.4 振动台数据采集 (26)
4.2.5 视频数据采集 (27)
4.2.6 麦克风集成 (29)
4.2.7 环境状态数据采集 (29)
4.3 数据存储解决方案 (31)
4.3.1 数据文件存储 (31)
4.3.2 数据实时入库 (32)
4.4 数据管理解决方案 (33)
4.4.1 试验回放 (33)
4.4.2 数据导入导出 (34)
4.4.2.1 数据导入 (34)
4.4.2.2 数据导出 (35)
4.4.3 数据查询 (36)
4.4.4 报告自动生成 (37)
4.5 设备管理解决方案 (38)
4.6 数据统计分析解决方案 (41)
4.6.1 综合报表生成 (41)
4.6.2 人员考核 (42)
4.6.3 设备使用率统计 (42)
4.6.4 任务查询统计 (43)
5系统硬件环境清单 (45)
图目录
图3-1系统功能架构 (10)
图3-2数据采集与监控系统层次结构图 (11)
图4-1物理拓扑结构图 (13)
图4-2串口设备网络化集成 (14)
图4-3 Moxa串口设备服务器 (15)
图4-4串口-网口转换线 (15)
图4-5前端工控机设备网络化集成 (16)
图4-6工控机网卡 (16)
图4-7 工控机数据流向图 (22)
图4-8选择待导入检测数据文件 (22)
图4-9选择待导入数据表格 (23)
图4-10检测数据导入预览 (23)
图4-11标准仪器扫描结果 (24)
图4-12标准仪器数据采集 (24)
图4-13数据采集设备列表界面 (25)
图4-14设备数据显示 (25)
图4-15数据上传界面 (26)
图4-16视频数据采集 (28)
图4-17实时数据显示 (28)
图4-18 数字化温湿度记录仪 (30)
图4-19 环境温湿度记录 (31)
图4-20 数据存储架构 (31)
图4-21采集数据存储 (32)
图4-22试验数据管理功能组成 (33)
图4-23试验视频回放 (34)
图4-24采集数据曲线回放 (34)
图4-25试验数据导入逻辑图 (35)
图4-26试验数据导入 (35)
图4-27试验数据导出 (36)
图4-28数据查询逻辑示意 (37)
图4-29数据查询 (37)
图4-30报告生成 (38)
图4-31设备列表图 (39)
图4-32 建立设备台账 (39)
图4-33 新增期间核查计划 (39)
图4-34设备检定提醒 (40)
图4-35柱状图显示 (40)
图4-36饼图显示 (41)
图4-37报表生成 (41)
图4-38 人员值班统计 (42)
图4-39人员考核 (42)
图4-40设备使用率统计 (43)
图4-41设备使用率看板 (43)
图4-42采集任务查询 (44)
图4-43试验任务统计 (44)
1前言
1.1项目背景
在当前试验过程中，针对试验现场的管理，尚处于分散式管理的状态。

测试工控机、示波器等标准仪器、温循箱、振动台等设备的状态监听、数据采集、数据管理等功能均依赖于设备自身提供的能力，必须在设备本地操作。

为了提升对试验现场和试验设备的管理能力，对设备数据进行实时、条理的组织管理与利用，规划建设“试验设备联网采集系统”，实现规范和统一的试验设备管理和数据采集。

系统建设将以整体规划和资源整合为原则，构建“远程集中式采集、分布式数据共享利用”的数字化协同设备监控与采集管理体系，为试验业务管理提供工具化和集成化支撑。

系统的管理需求主要包括以下几点：
(1)构建试验设备的网络化集成环境
⏹通过串口设备服务器将各类串口试验设备改造为网络化设备；
⏹少量特殊的、无接口的设备，可考虑外接传感器和采集器方式实现网络化集成；
⏹可连接试验室内的监控摄像头和麦克风，实时查看试验过程，与试验人员沟通。

(2)实现集中化试验设备数据采集
⏹可定时采集或接收设备所产生的试验数据，并将试验数据根据规则自动打包存
储在服务器中。

⏹可定时采集设备日志信息，并将设备日志信息根据规则存储在试验网服务器中。

(3)实现集中化设备和数据管理能力
⏹将打包存储在试验网服务器内的试验数据及设备日志信息拷入单位内网后，可
直接在内网的系统上分解展示。

⏹具备丰富的设备使用状况统计功能及图表展示。

⏹提供设备盘点、计量、维护、报修管理等功能。

⏹支持多种角色人员（试验总师、试验调度员、试验室主任、设备试验员、资产
管理员、系统管理员、用户等）使用，可根据角色展示不同功能界面。

1.2名称解释
⏹设备网络化集成：通过接口转换、设备改造等多种技术途径实现独立运行设
备的集中控制。

⏹试验数据：从环境试验设备箱、专测设备、振动台等设备实时获取的温湿度
等实时数据。

⏹数据采集：通过设备驱动接口，按照可自定义的采样频率，获取试验设备的
实时试验数据，并通过可视化控件进行显示。

⏹串口设备联网服务器：负责网络化集成连接1个到16个串口（RS232、RS422、
RS485）试验设备的硬件设备。

⏹主控程序：负责给所有采集程序发送各种命令，进行设备配置，接收采集程
序采集到的数据并进行统一入库。

⏹采集端：安装采集程序的计算机。

⏹主控端：安装主控程序的计算机。

⏹监视端：安装数据可视化控件，进行数据曲线、视频图像、报警信息的数据
实时浏览或回放。

2设备分析
当前需进行设备联网并进行集成化管控的设备共有7类，设备情况说明如下：
表1-待集成设备清单
3建设方案概述
3.1系统功能概览
通过对业务需求进行分析与整理，将试验设备联网采集系统的主要功能进行划分。

⏹系统提供适应设备监控和数据采集业务需求的功能模块和子系统，包括设备网络化、
设备数据采集、数据存储、设备管理、数据管理、统计分析等部分。

⏹所有功能模块均以一个统一集成的技术平台为支撑，提供符合试验信息化需求的系统
配置管理功能和系统平台化扩展能力，并通过标准化的Web Service接口与其它信息系统实现无缝集成。

功能架构图如下：
图 3-1系统功能架构
3.2系统分层架构
试验设备联网采集系统包括：设备、采集端、监控端、服务器、分析处理端五部分，这五部分之间存在逻辑上的层次关系，以及每部分之间需要通过不同的协议进行联系，数据采集层次结构图如下：
图 3-2数据采集与监控系统层次结构图
数据采集与监控系统可划分为五层：设备层、采集层、监控层、存储层、分析处理层。

(1)设备层包括设备网络化和全面设备连接，通过各种辅助设备实现设备网络化集成，通
过硬件实现设备全面物理联网，通过不同协议和接口实现软件通路。

(2)采集层在设备全面物理联网的基础上通过软件接口实现设备软件接入，通过各种数据
解析协议、文件解析协议实现设备状态、报警信息、实时数据的采集。

(3)监控层以采集层为基础实现设备状态、报警信息、实时数据的监视，并通过交互界面
实现设备控制。

(4)存储层通过WEB服务器和数据库服务器实现采集数据的存储、访问、管理。

(5)分析处理层通过WEB服务器获取数据库服务器中的数据通过调用各种算法实现数据
价值挖掘，并将处理的中间数据和结果数据保存到数据库服务器中。

4系统方案设计
4.1试验设备网络化集成解决方案
试验设备网络化集成是系统建设的基础。

本系统建设的前提条件是已经实现了网络互联，本系统需要完成对各类试验设备的网络化集成。

系统所需的电气、弱电部署按照用户方的相关规定进行施工。

同时针对部分不存在接口的老设备，需要根据实际情况对其进行设备改造。

4.1.1网络拓扑结构
为实现集成化和规范数据管理，前提条件是实现对当前各类试验设备和检测设备的网络化集成，因此所有试验设备、采集计算机、监控计算机、数据存储与管理服务器、管理计算机等都可纳入统一网络条件下管理。

试验设备网络化是通过各种辅助硬件将上述设备接入到统一的网络中，从物理上保持连通。

设备物理拓扑结构图如下：
图 4-1物理拓扑结构图
根据设备对外接口不同设备的网络化集成方案不同，各类设备集成的方式在下文分类详细描述。

4.1.2串口设备网络化集成
串口设备的接口主要包括RS232/RS422/RS485三种，通过串口-网口转换线、串口服务器、网络交换机等可以将串口设备转换成网络设备，具体如下：
图 4-2串口设备网络化集成
串口设备网络化集成步骤如下：
（1）使用串口-网口转换线将RS232/RS422/RS485转换成RJ45网口，绝大多数设备都采用标准串口，通过标准的串口头将串口转换成网口；如果设备接口头使用特殊的连线，可以根据实际情况进行串口线制作；如果出现RS232传输距离问题可以将RS232转换成RS485进行传输也可以通过添加无线数传、增加中继器等增加传输距离；
（2）通过串口转换线将串口设备连接到局域网；
（3）在局域网网线的另一端连接在MOXA串口服务器上，每个串口设备连接到一个MOXA服务器端口上，每个MOXA服务器对应一个IP地址，将串口设备转换成网络设备；
（4）将MOXA串口服务器使用一条网线连接到网络交换机上，实现串口设备接入网络。

网络化集成主要设备说明：
在本系统中，试验设备（RS232、RS485等）集成采用的串口设备服务器是较为主要的设备，根据实际情况不同，可采用1/2/4口RS-232/422/485串口设备联网服务器，也可采用8口或16口RS-232/422/485机架式串口设备服务器。

图 4-3 Moxa串口设备服务器
图 4-4串口-网口转换线
4.1.3前端工控设备网络化集成
前端工控设备在设备的前端有一台工控机，工控机通过网口、GPIB口、USB口、串口等接口与设备连接，通过它获取设备产生的数据，通过网卡、网线、网络交换机等实现前端工控设备网络化集成。

图 4-5前端工控机设备网络化集成
前端工控机设备网络化集成步骤：
（1）设备和前端工控电脑通过GPIB、RS232、RS422、RS485、UBS、RJ45等各种接口和连线组合在一起，一般由设备厂商完成；
（2）在前端工控电脑上安装一块网卡，设置该网卡的IP地址；
（3）通过网线将工控机连接到局域网交换机，实现前端工控机设备接入网络。

网络化集成主要设备：
图 4-6工控机网卡
(4)采集软件采集实现步骤如下：
（1）指定需要检查的文件路径；
（2）采集软件在指定的路径下自动搜索新产生的文件，并根据配置过滤当前软件需要解析的文件类型；
（3）通过C++文件句柄打开文件，如果文件可以共享打开则直接打开文件；如果文件不
能共享打开则需要通过搜索句柄的方式搜索出已打开文件的句柄，并通过文件复
制的方式将文件在内存中进行备份；
（4）根据软件产生文件的格式解析文件；读取文件中的数据；
（5）将读取到的数据保存本地或上传到数据库。

数据流向图：
图 4-7工控机数据流向图
4.1.4网口设备网络化集成
网口设备网络化集成通过网线、网络交换机直接将设备连接到网络。

图 4-8网口设备网络化集成
网口设备网络化集成步骤：
（1）给网口设备设置IP地址，通过网线将设备与局域网连接；
（2）局域网网线直接连接到网络交换机，实现网口设备接入网络。

4.1.5无接口设备网络化集成
无接口设备网络化集成通过使用传感器、信号线、变送器、采集盒、串口-网口转接线、串口服务器、网络交换机等实现设备网络化，无接口设备网络化不是直接将设备接入网络，而是采用第三方辅助设备采集设备产生的数据，将第三方辅助设备接入网络。

图 4-9无接口设备网络化集成
无接口设备网络化集成步骤：
（1）首先根据用户试验箱的需要测量的数据类型、量程等选择传感器，比如：温度、湿度、压力、电流、电压以及它们之间的组合等；
（2）根据测量的类型和量程选择需要的信号线；
（3）选用公司研制的采集盒（包括采集卡、变送器等），通过信号线将传感器接入到采集盒；
（4）通过串口-网口转换线将采集盒接入RJ45网口；
（5）RJ45网口另一端接入串口服务器将采集盒转换成网络设备；
（6）串口服务器与网络交换机通过网线连接，将无接口设备对应的采集盒接入网络。

主要设备：
图 4-10各种传感器
图 4-11采集盒
图 4-12耐高温信号线
4.2设备数据采集解决方案
试验设备网络化实现设备入网硬件连接，试验设备连接集成是在试验设备网络化的基础上，实现试验设备数据的采集。

本系统中，需要进行数据采集的设备包括：
(1)专测设备（工控机等计算机，windows系统）约10台；
(2)示波器等标准仪器约20台；
(3)温循箱1台；
(4)振动台1台；
(5)摄像头
(6)麦克风
(7)环境温湿度记录仪
不同设备的数据采集方案不同，但是汇总而言，数据采集包括直接采集和转接采集两种方式。

图 4-13设备采集方式
4.2.1专测设备数据采集
4.2.1.1实时监听采集
专测设备数据采集以设备网络化改造为基础，将需要采集的专测设备工控机接入局域网中，在工控机上安装数据采集软件，工控机数据采集软件监听工控机中测量软件产生的数据文件，并根据文件格式解析数据文件，不同的测量软件产生的文件格式不同，但采集方式相同，采集软件采集实现步骤如下：
（1）指定需要检查的文件路径；
（2）采集软件在指定的路径下自动搜索新产生的文件，并根据配置过滤当前软件需要解析的文件类型；
（3）通过C++文件句柄打开文件，如果文件可以共享打开则直接打开文件；如果文件不
能共享打开则需要通过搜索句柄的方式搜索出已打开文件的句柄，并通过文件复
制的方式将文件在内存中进行备份；
（4）根据软件产生文件的格式解析文件；读取文件中的数据；
（5）将读取到的数据保存本地或上传到数据库。

数据流向图：
图 4-7工控机数据流向图
4.2.1.2历史数据文件导入
已有历史数据也可采用批量导入方式实现入库。

1）需要本地待导入的数据文件。

图4-8选择待导入检测数据文件
2）选择从数据文件内读取到的待导入的表格。

图4-9选择待导入数据表格
3）在数据正式导入上传前，可以在本地查看到需要导入的数据内容。

图4-10检测数据导入预览
4）点击上图中的“下一步“，即可完成数据内容的导入上传。

4.2.2标准仪器数据采集
通过“搜索仪器”，便可搜索出与计算机相连的仪器与GPIB地址，也可手动添加系统中
的仪器仪表，扫描结果如下图：
图4-11标准仪器扫描结果基于GPIB协议，从标准仪器采集数据：
图4-12标准仪器数据采集
4.2.3温循箱数据采集
温循箱数据采集除负责对设备进行数据采集外，还可实现数据显示、数据本地存储、数据上传等功能。

温循箱数据采集能够按设备状态进行管理和显示：
图 4-13数据采集设备列表界面
选择某个运行中的温循箱，即可实时查看其设备的数据曲线，并可进行相关操作。

图 4-14设备数据显示
（4）数据上传
数据上传提供两种模式：实时数据上传和事后文件上传，通常情况下都采用实时数据上传，在出现网络异常、设备异常等情况，实时数据无法上传时，可采用事后文件上传。

实时数据上传：在数据采集过程中一边采集一边上传，上传操作在采集软件后台自动完成。

事后文件上传：当一次采集完成以后可以将该设备采集的TDMS文件上传到数据管理服务器该设备的数据管理模块中，选中该工程，右键选择“文件上传”菜单，弹出上传界面，上传界面如下：
图 4-15数据上传界面
“选择文件”按钮表示可以手动从磁盘中选择任意的数据文件进行上传。

“自动搜索”按钮表示搜索本工程下所有设备产生的数据文件。

4.2.4振动台数据采集
通过安装在振动台控制计算机上的软件，监听获取振动台频谱曲线数据并实现数据上传。

实时监控信息：
数据：开关机时间，设备是否运行
模式：通过监控试验软件是否运行判断试验箱是否开机与运行情况
数据：振动参数
模式：振动试验完成后，截取相应软件界面图形作为记录。

4.2.5视频数据采集
视频设备数据采集主要对视频摄像机或视频服务器进行数据采集。

视频服务器数据采集是从前端摄像机采集输送过来的模拟信号转换成数字信号，经过 H.264编码规范编码，同时开启网络服务端口，接收网络采集端的命令，将编码后的视频数据发到采集端。

视频摄像机数据采集通过TCP/IP协议实现对视频摄像机的访问，然后通过调用该类摄像机数据包解析协议解析从摄像机返回的数据包，实现对摄像机数据的采集。

图 4-16视频数据采集
在采集过程中可以通过视频、数字、曲线、表格显示等可视化方式实现试验设备、检测设备实时数据的显示。

图 4-17实时数据显示
4.2.6麦克风集成
通过调用麦克风（要求对讲发起方和接收方都具备麦克风设备），可实现远程的语音对讲，实现与现场试验人员的沟通。

双向语音对讲流程图
4.2.7环境状态数据采集
根据“设施与环境条件控制程序”规定，检测/计量人员对开展检测/计量时的环境条件进行监控并记录。

因此通过数字化温湿度记录仪，可实现周期性记录试验现场的温湿度情况。

图 4-18数字化温湿度记录仪
一方面用户可随时浏览每天的环境温湿度情况，另外在生成试验报告的时候，可根据检测任务的时间范围，自动统计计算出环境条件情况（如温度：15℃ ~ 17 ℃ 湿度：64%~80%）。

1）首先定义需要进行环境温湿度记录的实验区域；
2）系统自动采集各个区域的环境温湿度、气压数据；
3）检测和试验人员可查看当前及历史的环境温湿度记录和曲线，并可生成“温度、湿度记录表”。

图 4-19环境温湿度记录
4.3数据存储解决方案
系统提供基于文件系统和数据库的数据存储方案。

系统的存储架构符合自动化与测量系统标准协会推出的开放式数据存储ASAM ODS（Open Data Service）标准。

图 4-20数据存储架构
4.3.1数据文件存储
数据采集过程中，后台将实时采集到的数据存储成TDMS文件，存储的路径在工程路径的“D ata”文件夹下，并在该文件夹下产生一个该设备名称的文件夹比如“重庆银河设备1”，再在该文件夹下产生一个时间文件夹入“20140528”，最后在该时间文件夹下每次采集产生
一个新的TDMS文件。

为了防止数据丢失，只要设备启动，采集服务器启动，采集服务器上就会一直存储启动设备产生的数据。

图 4-21采集数据存储
4.3.2数据实时入库
采集数据入库采用批量入库的策略，每次都是在采集端即进行数据的预处理，将数据转换成一个大小可调整的参数数组，在真正写入数据库传递给入库服务的参数时就是该数组，这样实现在一条数据库的Command指令中可以处理多个数据的写入或者更新。

使用这种方法，利用了数据库对批量数据操作的优化机制，极大提高了数据操作效率。

具体实现步骤为：首先，客户端通过调用服务器端提供的Web Service来动态创建数据表，通过Web Service传递参数扫描表来创建数据表，同时创建对该表插入数据操作的存储过程。

然后，客户端再调用服务器端提供的Web Service传递数据包到服务器端，当数据由客户端传入服务器时，要求客户端传入的数据包中包含批量的数据，即把N秒的数据打成包一次传输，然后由服务器解析该数据包，调用存储过程批量插入到数据库中，实现数据的整体入库。

采用这种入库策略，可以有效的提高实时入库效率，假如一次试验有300个通道，数据以100hz的频率产生，每10秒钟的数据在客户端打包发送给服务器，在服务器端入库的效率为3~6秒，这说明这种方法的入库时间远远小于数据的产生时间，足以实现试验数据的实时
入库。

4.4数据管理解决方案
数据管理负责对试验全过程数据及相关信息的管理，即包括从试验设备中采集的实时试验数据，也包括测试过程的人员、设备、任务数据。

系统将试验数据按一定的结构进行组织、浏览、查看、查询，并可以将试验数据进行对比、分析等操作。

系统将试验数据包括结构化和非结构化两种数据方式。

结构化数据是指系统将采集的试验数据等进行解析处理，形成数据库表的数据成为结构化数据，可以方便的进行后续编辑录入查询分析等操作；非结构化数据是指图片、声音、录像、试验报告、综合报表等不需要分解或无法分解的文件，系统通过非结构化的方式进行管理。

对于大数据量的原始数据文件，通过非结构化的方式进行管理。

图 4-22试验数据管理功能组成
4.4.1试验回放
试验回放对试验现场的视频和采集数据曲线的回放，对试验记录和值班记录的追溯。

当试验过程中出现关键试验或出现关键试验步骤需要视频记录时，可点击视频记录按钮进行该
段视频与试验记录的关联。

在试验结束后，即可实现试验过程记录、数据曲线、试验视频的过程回放。

图 4-23试验视频回放
图 4-24采集数据曲线回放
4.4.2数据导入导出
4.4.2.1数据导入
系统首先可通过数据转换服务，定义不同转换模板，实现各类试验数据的导入入库。

数据导入规则：
⏹选择待导入的一个或多个文件，查找对应转换模板；
⏹根据源文件、转换模板，调用数据格式转换服务，得到转换后数据文件；
⏹源文件、转换后文件同时入库。

图 4-25试验数据导入逻辑图
打开数据导入控件的界面：
图 4-26试验数据导入
4.4.2.2数据导出
数据导出提供对数据的导出和下载功能，也能将结构化数据进行格式转换导出成指定的格式，以文本文件、Excel文件等格式导出。

系统针对结构化数据和非结构化试验数据的导出策略不同。

针对结构化试验数据的导出策略如下：
⏹系统提供格式转换工具支持将结构化数据导出成Excel、txt、dat文件格式；
⏹支持导出原始数据，不对数据进行格式转换；
⏹在导成Excel格式数据时，如果超过最大行数限制，自动导出为多页；
⏹系统支持批量导出操作。

系统中的非结构化试验数据，如文档类数据、试验描述性文件，导出时不做任何转换，只将原始的数据、文档进行导出。

有权限的用户可以对系统中的非结构化数据进行导出。

在数据浏览界面选中多个或一个文件，点击“导出”按钮，此时通过调用文件导出OCX控件实现文件导出，文件导出可以导出单个文件，也可以同时导出多个文件，后台将调用WEB服务器提供的Web Service文件导出函数进行文件导出。

图 4-27试验数据导出
4.4.3数据查询
系统能够对试验数据做单条件关键字查询、多条件组合查询；查询所涉及的信息可以关联的存储在多个数据表中，查询功能具备跨表查询、关联显示查询结果的能力。