数据采集系统设计思路

数据采集系统设计思路

基本功能

将各采集点，如医院，药店等数据库（或其它数据载体）中的数据按照一定的

规则提取，生成适合传输和存贮的文件，通过互联网将文件上传到服务器，

服务器对数据进行分析处理，并按照一定的配置条件进行数据告警处理，最

后把数据存贮于数据库服务器中，提供给其它应用系统进行数据查阅。

基本架构

主要包括前端数据采集和后台数据存贮两大功能。前端采集负责把各种数据源

中的数据按要求存为文件上传到后台服务器；后台服务主要将上传的文件进行

分析和存贮，如下图。

W e b服务器

采集结果存贮设

备I n t e r n e t

数据采集服务器

数据查询

专用网络

便携电脑

I n t e r n e t

采集设备

采集设备

采集对象采集设备

数据

采集设备

数据数据

功能组成模块

⏹前端采集系统功能模块：

前端采集系统主要包括配置服务、数据查询、文件上传、日志、错误处理、自动更新服务、安全服务、网络服务等模块，各模块主要功能如下：

1. 配置服务模块

●配置模块至少提供二类接口，一是本地配置接口，本地可以通过配置

界面进行相关参数设置；二是远程配置接口，远程服务器可以通过此

接口下达配置命令，实现远程配置，方便以后前端系统的维护。

●需要实现的基本配置项：

✓服务器相关，包括服务器地址，端口，使用长连接还是短连接等。

✓文件传输相关，自动上传时间；文件在服务器上存贮的相对位置；

多个文件传输时使用单连接还是多连接传输。文件上传失败的重

传间隔等。

✓数据库访问相关，数据库连接相关配置，包括数据库类型，连接串，用户名，密码；获得查询结果的相关SQL查询语句和查询条

件；数据定时采集的时间；多条采集命令的优先级等。

✓程序升级更新相关，包括手动还是自动更新，自动更新的时间等。

✓其它配置，包括是否记录日志文件，日志文件存放的路径，单个日志文件的大小，日志文件最长存放的时间，采集文件存放路径，是

否删除已经上传的采集文件，是否对可用磁盘空间进行监控和剩

余空间不足告警；登录相关配置等

注：招唤采集不提供单独的配置，招唤采集其实就是定时采集，由服

务器下达一个优先级较高并立即执行的采集配置命令即可。

● 配置数据读取功能，读取配置数据，提供给其它模块使用。

2. 3. 4. 5. 6.数据查询模块

● 针对不同的数据库，根据配置条件或接收的命令，查询数据库，生成

查询结果记录集，系列化为二进制文件，使用高效压缩算法对文件进行压缩，按照文件命名规则存贮于指定位置。

文件上传模块

● 按照配置条件或接收到的命令，上传文件，包括需要的任何文件，如

采集的二进制结果文件，日志记录文件等。

日志模块

● 提供日志记录功能，其它模块可以通过本模块提供的接口进行日志

记录。以及日志查询功能。

错误处理模块

●包括输出程序出错信息，向服务器提供出错信息，便于程序排错升级。自动更新服务

●提供手动或自动更新服务，或者为服务器强制更新提供服务。

7.

8. 安全服务

● 提供前端系统登录认证服务，防止非法使用系统。 网络服务

● 提供与服务的连接服务，维护与服务的连接，与服务进行信息传输和

文件传输，接收命令，将命令分发给相应的模块，转发各模块向服务 器发送的服务请求。

⏹ 前端采集系统模块之间的层次关系

各模块功能独立，通过各自提供的服务接口进行关联。实现网络，业务逻辑， 界面分离。

⏹ 后台存贮系统功能模块

1. 基本参数配置功能，包括网络相关配置，告警参数配置，存贮配置,登

录用户配置等，如网络参数配置:

网络服务,提供网络连接，数据收发

命令分发,解析数据，根据不同的数据分发给不同的

模块;并将前端请求信息转发给服务器

数据配置模块 自动更新 数据采集 文件上传

日 志 记 录

登录 用户界面(UI)

2. 3. 4. 5. 6. 7.网络服务模块，提供socket 连接的服务端，为前端系统提供连接服务。接收前端系统发送的数据，解析数据，分发给其它模块；转发各种命令给前端采集系统。

数据分析处理模块，如更新服务请求，招唤采集命令等的执行结果，文件传输。

数据告警模块，告警模块提供各种告警服务，每种服务对自己关心的数据进行告警；根据告警的优先级，最高级的告警服务先接收数据分析模块传来的数据，判断是否告警，然后传给下一级的告警服务，直到配置的所以告警类型全部处理完毕。

数据存贮服务模块，将采集结果写入数据库。

提供升级更新服务的模块。为前端提供手动，自动，和强制升级服务，包括升级程序和配置。

日志服务和前端登录认证服务。

⏹ 后台存贮系统模块之间的层次关系

网络服务,提供网络连接服务，数据收发

命令分发,解析数据，根据不同的数据分发给不同的模块;下达各种命

令。

参数配置 更新服务 告警服务 日 志 记 录

数据存贮服务

用户界面(UI)