概要设计-数据共享交换平台

沧州智慧城市建设办公室城市大数据中心建设项目
-数据共享交换平台概要设计文档
V1.0
版本修订历史
目录
1 引言 (4)
1.1 文档概述 (4)
1.2 引用文档 ................................................................... 错误!未定义书签。

1.3 标识 ........................................................................... 错误!未定义书签。

2 项目概述 (4)
2.1 项目背景 (4)
2.2 建设目标 (5)
3 概要设计 (5)
3.1 系统功能架构 (5)
执行流程 (7)
3.2 系统技术架构 (8)
总体技术架构 (8)
前端开发框架 (8)
服务端开发框架 (9)
微服务架构 (9)
ETL技术 (10)
数据采集技术 (10)
3.3 项目部署设计 (11)
系统硬件环境 (11)
系统软件环境 (11)
系统部署说明 (11)
3.4 性能设计 (12)
4 安全设计 (13)
4.1 数据安全 (13)
4.2 应用安全 (14)
4.3 物理安全 (16)
4.4 网络安全 (16)
4.5 平台安全 (17)
4.6 终端安全 (17)
4.7 管理安全 (18)
1引言
1.1文档概述
本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支持。

本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。

2项目概述
2.1项目背景
2013年，沧州市政府就已明确“智慧城市”发展方向和信息化需求，通过完善城市规划，为“智慧城市”的基础建设预留空间；协调各信息化主体关系，化解信息化推进过程的管理障碍；通过进一步加强“智慧城市”信息化基础建设，为智慧城市建设奠定了坚实的基础。

2015年10月，沧州市政府委托国内知名专家规划制定了《沧州市智慧城市建设顶层设计》，以国家智慧城市试点建设为契机，综合运用物联网、云计算、大数据等现代科学技术手段，发挥沧州市资源、港口、交通、特色文化及产业经济优势，通过3-5年努力，完善城乡基础设施，促进资源共享，实现基础设施智能化；建立完善的现代城市管理、产业融合发展体系，创新城市管理与发展，提升城市管理水平；以人为本，提升公共服务水平，促进社会事业进步与发展，城乡人民物质文化生活水平显著提高；遵循“优一强二增三”的产业发展思路，做强支柱产业，培育发展战略性新兴产业和现代服务业，促进产业结构调整，提升提高经济发展水平；形成智慧城市运营和服务体系，保障城市人口、经济、资源、环境和社会全面协调可持续发展。

2017年9月，沧州市委、市政府成立了沧州市统筹推进信息化建设领导小组，统筹推进全市信息化建设工作，促进数据资源整合、共享、开放，提高社会治理能力和公共服务水平，同时推进我市实体经济数字化、网格化、智能化，推
动网络信息技术产业健康快速发展。

2017年，沧州市委市政府先后出台一系列政策文件，推动全市信息化建设和信息产业发展，加快沧州市城市大数据中心建设正是进一步推进新型智慧城市建设，落实市委市政府决策的有力抓手。

2.2建设目标
利用交换平台实现异构系统的数据采集、信息传输，通过原系统提供接口或市统一开发接口等多种方式打通“数据孤岛”，将各部门的业务数据汇总到沧州市大数据中心，再通过适配器实现对数据的抽取、加载、格式转换等操作，最终实现信息资源在全市范围内的交换与共享。

应支持ESB、ETL、API 等多种形式的数据共享交换。

包括与省共享交换平台对接、与市直部门信息系统对接、与一体化在线服务平台等对接。

要求平台系统基于微服务架构进行模块化设计，模块支持热插拔，系统可视化部署，支持版本配置管理，诠释充分；能够实现ESB、ETL、API 等多种形式的数据共享交换，消息交换、服务交换体系结构合理、功能项应对准确，诠释充分；系统功能体要现良好的设计理念及用户体验，与用户需求保持高度契合。

要基于用户／角色／用户组／用户的多层级系统用户管理，基于用户／资源（系统、菜单、按钮、图标等）／权限的统一平台系统授权体系。

3概要设计
3.1系统功能架构
数据共享交换平台主要包括两大核心功能模块：管理中心、交换节点。

1、管理中心
包含了统一配置管理和统一监控管理两个子模块。

统一配置管理：统一配置管理提供了交换基础信息配置，交换业务配置，及系统管理，所有的交换基础信息例如交换节点、交换通道、交换拓扑、
交换任务、交换流程等都在此模块统一配置管理。

●统一监控管理：包含交换环境监控、交换业务数据监控，有了这个监控
管理模块，用户能更好的监控整个交换环境及数据交换的情况。

2、交换节点
交换节点提供了从交换数据处理、传输、入目标库等整个交换环节的处理能力。

交换节点可分为前置交换和数据传输两个模块。

●前置交换：包括数据抽取、流程触发，数据处理等模块，这里主要包
含了不同的数据抽取模式、触发模式、及数据处理等；
●数据传输：数据传输链接，可根据业务需要配置为长链接和短链接，同
时支持断点续传，对数据安全可靠传输提供了有力的支持。

功能架构图
执行流程 流程,任务开发流程,任务配置资源配置
平台安装平台配置流程,任务初始化流程,任务调度流程,任务部署
任务以及流程控
制,运行,停止资源初始化
平台信息统计流程日志统计资源情况统计
平台监控平台
安装配置
流程
开发配置
平台
运行
期平台参数调整
监控
和维
护
任务,流程监控
平台安装开发人员发人员和业务分析人员平台维护人员平台维护人员和开发人员流程,任务发布
流程,任务订阅订阅审批
3.2系统技术架构
总体技术架构
技术架构图
平台架构是分布式设计，各系统之间松散耦合，便于灵活扩展。

平台由一个交换管理中心和多个前置交换节点组成，通过交换传输模块实现节点间的数据传输。

前置交换采用ETL技术实现从部门业务系统抽取数据到前置库。

前置库通过交换传输模块将数据上报到数据中心。

前端开发框架
前端框架采用ReactJS，界面元素采用组件化方式开发，兼容chrome和Firefox。

服务端开发框架
服务端采用SpringMVC+iBatis框架，通过SpringMVC的Controller发布rest api，与前端react js框架交互。

微服务架构
平台各子系统独立开发部署，采用dubbo微服务架构实现消息和数据的传递。

ETL技术
ETL使用数据管理平台数据集成子系统，实现组件复用，无需重复开发。

数据采集技术
数据采集支持四种方式：
●数据库：通过连接业务系统数据库，直接对表数据进行采集，技术上通
过数据管理平台数据集成子系统实现。

●接口API：通过调用业务系统API接口的方式获取数据，支持soap和rest
接口方式。

●手工上报：业务系统人员通过数据共享交换平台的数据上报页面，上报
业务数据。

●系统访问：对于省、国家系统，部门提供访问账号，平台通过抓去页面
数的方式获取数据。

技术上通过燕云Daas平台实现。

3.3项目部署设计
系统硬件环境
名称推荐硬件指标数量Web服务器32G内存，8核CPU，1T存储空间2
应用服务器32G内存，8核CPU，1T存储空间2
数据库服务器64G内存，8核CPU，2T存储空间2系统软件环境
名称版本
Mysql 5.6.x以上
DM数据库7.0以上
操作系统器CentOS6.5，64位
JDK Oracle JDK8，64位
数据共享交换平台 1.0.0
系统部署说明
1、部署人员要求
安装人员应具备以下技能：
●熟练使用Linux常用命令，了解shell脚本；
●懂得使用SSH工具连接到Linux环境进行应用程序的部署；
●对网络知识有一定了解。

2、部署网络拓扑
数据交换平台支持多级部署架构，在省数据交换中心部署一级交换中心。

一级交换中心管理所有省厅局交换节点。

市级信息中心可以部署二级交换中心，二级交换中心管理对应的下级交换节点。

如上图所示，在省数据中心部署1台交换平台管理中心，原共享平台交换前
置机分别安装新平台的交换节点，硬件资源原则上利旧，对于数据共享比较多的
厅局，建议配置高性能的前置机，对于新接入的单位，需要按照要求提供新的硬
件环境。

图中绿色服务器表示可以利旧，红色服务器表示需要新增，其中包括新增一
台服务器作为共享平台企业法人、人口基础数据接口发布的服务器，目前共享平
台门户应用和接口发布在同一台机器上，随着共享平台的推广，接口的使用也逐
渐广泛，因此对服务器的负荷也越来越大，为了不影响共享平台门户应用的使用，
建议将接口发布迁移到新的硬件服务器上进行发布。

公共节点是作为省共享交换平台为其他没有专项服务器的交换应用或者委
办局提供的运行资源，支持按需部署和数量扩展。

2 3.4性能设计
系统平均响应时间能够满足系统并发压力负载性能需要。

在中等负载及网络
环境许可下，各种操作的响应时间要求如下：
（1）平台要求提供标准的API 接口规范和消息接口规范，支撑外部业务应
用系统的统一接入；
（2）查询基础数据库（精确匹配）的响应时间不大于5秒；
（3）查询单个数据主题（百万级）的响应时间不大于5秒；
（4）目录数据的本地查询响应时间不大于3秒；
（5）查询统计报表（非实时统计）的响应时间不大于5秒；
（6）数据服务系统的本地响应时间不应超过4s，应用服务系统的响应时间不应超过10s。

4安全设计
4.1数据安全
1、数据完整性
能够检测到系统管理数据、鉴别信息和重要业务数据在传输过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。

能够检测到系统管理数据、鉴别信息和重要业务数据在存储过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。

2、数据保密性
采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据传输保密性。

采用加密或其他保护措施实现系统管理数据、鉴别信息和重要业务数据存储保密性。

3、数据备份与恢复
1)提供本地数据备份与恢复功能，完全数据备份至少每天一次，备份介
质场外存放。

2)提供异地数据备份功能，利用通信网络将关键数据定时批量传送至备
用场地。

3)采用冗余技术设计网络拓扑结构，避免关键节点存在单点故障。

4)提供主要网络设备、通信线路和数据处理系统的硬件冗余，保证系统
的高可用性。

4.2应用安全
1、身份鉴别
1)提供专用的登录控制模块对登录用户进行身份标识和鉴别。

2)对同一用户采用两种或两种以上组合的鉴别技术实现用户身份鉴别。

3)提供用户身份标识唯一和鉴别信息复杂度检查功能，保证应用系统中
不存在重复用户身份标识，身份鉴别信息不易被冒用。

4)提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动
退出等措施。

5)启用身份鉴别、用户身份标识唯一性检查、用户身份鉴别信息复杂度
检查以及登录失败处理功能，并根据安全策略配置相关参数。

2、访问控制
1)提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体
的访问。

2)访问控制的覆盖范围应包括与资源访问相关的主体、客体及它们之间
的操作。

3)由授权主体配置访问控制策略，并严格限制默认帐户的访问权限。

4)授予不同帐户为完成各自承担任务所需的最小权限，并在它们之间形
成相互制约的关系。

5)具有对重要信息资源设置敏感标记的功能。

6)依据安全策略严格控制用户对有敏感标记重要信息资源的操作。

3、安全审计
1)提供覆盖到每个用户的安全审计功能，对应用系统重要安全事件进行
审计。

2)保证无法单独中断审计进程，无法删除、修改或覆盖审计记录。

3)审计记录的内容至少应包括事件的日期、时间、发起者信息、类型、
描述和结果等。

4)提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。

4、剩余信息保护
1)保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到
完全清除，无论这些信息是存放在硬盘上还是在内存中。

2)保证系统内的文件、目录和数据库记录等资源所在的存储空间被释放
或重新分配给其他用户前得到完全清除。

5、通信完整性
采用密码技术保证通信过程中数据的完整性。

6、通信保密性
1)在通信双方建立连接之前，应用系统应利用密码技术进行会话初始化
验证。

2)对通信过程中的整个报文或会话过程进行加密。

7、抗抵赖
1)具有在请求的情况下为数据原发者或接收者提供数据原发证据的功
能。

2)具有在请求的情况下为数据原发者或接收者提供数据接收证据的功
能。

8、软件容错
提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的数据格式或长度符合系统设定要求。

提供自动保护功能，当故障发生时自动保护当前所有状态，保证系统能够进行恢复。

当应用系统的通信双方中的一方在一段时间内未作任何响应，另一方应能够自动结束会话。

能够对系统的最大并发会话连接数进行限制。

能够对单个帐户的多重并发会话进行限制。

能够对一个时间段内可能的并发会话连接数进行限制。

能够对一个访问帐户或一个请求进程占用的资源分配最大限额和最小限额。

能够对系统服务水平降低到预先规定的最小值进行检测和报警。

提供服务优先级设定功能，并在安装后根据安全策略设定访问帐户或请求进程的优先级，根据优先级分配系统资源。

4.3物理安全
1、环境安全：场地、机房的温度、湿度、照明应满足一定条件，供电系统24小时运转，并有防盗系统、防静电、防辐射的相关保护。

2、设备安全：设备防火、防水、物理损害措施；设备防火灭火正常检查；设备定期检查火灾隐患；供暖系统、空调等保障；设备电源保障；数据传输线路维护与保障；主机等设备保障；可移动数据保障；存储介质维护；磁盘磁带库访问的介质的维护等。

3、媒体安全：信息消除技术、介质的消毁技术需达到国家相关标准。

4、容灾备份：计算机系统分布在不同的地理位置，当灾难发生时，不会使整个系统失效。

4.4网络安全
1、内网和外网间的边界防护
在条件允许的情况下，实现保密内网与外网的物理隔离，从而将攻击者、攻击途径彻底隔断。

即使在部分单位，内网、外网有交换数据的需求，也必须部署安全隔离和信息交换系统，从而实现单向信息交换，即只允许外网数据传输到内网，禁止内网信息流出到外网。

2、对核心内部服务器的边界防护
内网中常包括核心服务器群、内网终端两大部分，核心服务器保存着大部分保密信息。

为避免内网终端非法外联、窃密者非法获取核心服务器上的保密数据，就要实现核心服务器与内网终端间的边界防护。

感染木马时，核心服务器的边界安全网关能够阻止终端的越权访问，并检查是否含有木马，然后进行清除。

3、防止不安全的在线非法外联
内网与外网的连接点必须做到可管、可控，必须有效监控内网是否存在违规拨号行为、无线上网行为、搭线上网行为，避免内用户采取私自拨号等方式的访问互联网而造成的安全风险。

4、防止离线非法外联或不安全的接入行为
要限制终端设备，如PC机、笔记本，直接接入并访问内网区域，对于不符合安全条件的设备(比如没有安装防病毒软件，操作系统没有及时升级补丁，没有获得合法分配的IP地址或离线外联过)，则必须禁止进入。

5、木马病毒的查杀和检测能力
由于内部网络中的计算机数量很多，要确保网络中所有计算机都安装防木马软件，并实施实施统一的防木马策略。

防木马软件至少应能扫描内存、驱动器、目录、文件和Lotus otes数据库和邮件系统；具备良好的检测和清除能力；支持网络远程自动安装功能和自动升级功能。

6、系统自身安全防护
木马在主机中的隐藏、执行和攻击最后都是体现在操作系统层面。

要确保操作系统及时升级，防止漏洞被木马和病毒利用。

在及时升级操作系统的基础上，要实时对计算机进程、访问端口的进行监控，以及时发现异常与木马；同时要有注册表防护手段，保障木马不能修改系统信息，从而使木马不能隐藏与自动运行。

4.5平台安全
系统将应用于多种平台系统，需对不同的操作系统具备可运行性和可兼容性。

系统需建立安全机制，采用安全技术建立防火墙、防止网页篡改、防止病毒入侵。

4.6终端安全
为了防止不安全的在线非法外联、离线非法外联或不安全的接入行为，必须把终端防护系统与其它网关防护技术结合起来。

1、通过终端防护系统的统一策略配置的主机防火墙和主机IDS，能实现对桌面系统的网络安全检测和防护，当IDS检测到威胁后，能与主机防火墙进行联动，自动阻断外部攻击行为。

2、通过终端防护系统，可对桌面系统的远程拨号行为、无线上网行为、搭线上网行为进行控制，发现存在违规外联的主机，给出报警，通过防火墙切断该主机与网络的连接，避免导致内网遭到更大的破坏。

3、通过终端防护系统的安全状态检测策略，可监测进入内网的终端设备，对于不符合安全条件的设备，可不允许其接入内网。

4、通过终端管理系统监管桌面行为，对桌面系统上拨号行为、打印行为、外存使用行为、文件操作行为的监控，通过策略定制限制主机是否允许使用外存设备，确保机密数据的安全，避免了内部保密数据的泄漏。

5、通过终端管理系统，收集的事件进行详尽的分析和统计，支持报表功能，实现分析结果可视化，以满足安全审计的需求。

4.7管理安全
制定运行维护管理制度，依据制度对人员、物理环境与设施、设备与介质、信息安全保密等方面进行规范。

人员管理包括：系统维护、人员授权、自身行为受控。

系统管理人员管理，系统使用人员管理。

防止非授权使用、非法自主访问知悉系统信息的系统受控等。

建立规范的运维体系，建立不同的运维小组，在发现问题故障按运维体系，第一时间处理，并记录；定期巡检，做好汇报。

建立日常标准运维流程，系统用户遇到问题请求支持时，判断事件等级，评定分析事故原因，由工程师现场或远程解决。

系统运维方需提供7×24小时电话支持和响应，在1小时内对提出的维护要求做出实质性反应，提供应急策略。

维护方式包括电话咨询、远程在线诊断和故障排除、现场响应等。