智慧校园建设方案!高校统一数据中心解决方案

智慧校园建设方案！高校统一数据中心解决方案
1.项目背景
随着办学规模的扩大，高校对信息化建设的要求越来越高，各种管理系统先后建成并投入使用。

在工作效率提高的同时，问题也逐渐显现：由于受系统使用或开发时间、经费、目的等限制，各部门之间的业务系统处于相互独立的状态，彼此之间不能实现数据交换，从而导致部门间形成“信息孤岛”，造成数据无法有效共享、应用缺乏有效集成以及冗余数据无法处理的现象，同时，高校信息化过程当中由于缺少行之有效的顶层设计，以及没有统一的信息化建设标准，导致各种业务系统数据不标准、不统一、质量差、冗余化。

且同样的数据在不同部门的使用过程当中产生越来越大的分歧。

因此，学校专属的信息化建设标准、可持续迭代的数据交换、共享、治理平台、可靠的本地化服务团队显得尤其关键。

因此，构建数字化校园，将全校范围内的各个业务系统进行高效整合，以实现管理的一体化和资源共享，已成为高校信息化的建设重点。

2.统一数据平台概述
统一数据平台基于高校管理信息标准体系，结合考虑学校的管理业务域，构建学校的数据中心，提供数据交换平台、共享数据管理及数据服务平台，支持第三方应用系统数据集成，实现信息的顺畅交换和共享；提供基于主题的综合查询服务，并可按照学校的具体需求扩展业务主题及查询服务；提供基于共享数据的灵活报表，利用现代的数据可视化工具，可以灵活生成各类报表，为学校各级用户提供便利、多样的数据使用服务。

统一数据平台适合于各种规模、各种性质的高等院校以及其他教育管理机构。

3.技术核心
ETL（Extraction-Transformtion-Loading），即数据的抽取、转换与加载，是将分散、零乱、标准不统一、码制不一致的数据整合到目标数据库中的技术。

它从各种原始的业务系统中提取数据，按照一定规则进行数据转换，最后将转换的数据按计划导入目标数据库中。

4.统一数据平台内容
4.1统一数据平台架构
如上图所示，各层次之间在逻辑上相对独立。

不同的用户可以根据自己的实际情况，在总体规划下，分阶段建设。

高校如果需要建设一个完整的开放式的IT生态体系，实际上是包括了从开发生态、运行生态、应用服务生态到运营生态的全生命周期的建设过程，并最终以服务的方式向最终用户进行业务展现。

每个阶段的建设思路和模式都对整体信息化建设起着至关重要的影响。

开发生态：
通过组件化开发平台，形成应用和组件，应用和组件挂载到校园服务总线，可为校内应用服务池和业务应用管理服务平台调用。

并将其通过资源库的方式积累为行业资源库，为日
后资源复用提供储备。

同时开发平台能够对外部的第三方应用进行服务化的封装，同样形成新的应用或组件，挂载到校园服务总线。

基于组件化开发平台的可视化开发过程，校内的广大师生和社会人士也可以通过该工具完成简单的应用服务开发，并通过发布工具发布到校内，增强信息化建设整体参与面的广度和深度。

●运行生态：
以校园服务总线、应用管理服务平台以及包括主数据管理、身份认证管理、统一通讯、移动支撑平台等在内的公共应用组件，为学校提供统一的、高交互性、高开放性的服务应用运行环境。

其提供的服务都是通过校园服务总线进行统一发布的服务，通过业务应用管理服务平台将其编排成符合学校需要的业务逻辑，提供给用户使用。

校园服务总线负责整个学校信息化建设各个平台间服务交互和信息传递，通过服务治理工具管理服务运行，通过基于校园服务总线的服务集成工具完成服务的集成和交互，通过服务标准管理工具保障各服务间调用的规范性。

被服务调度总线封装的，除了组件化开发平台提供的应用和组件外，还包括校内很多的基础应用组件，如主数据管理、统一身份认证、统一支付等，都以服务的方式在服务调度平台上进行挂载，并借由服务调度平台完成同其它平台的集成。

●应用服务生态：
改变原有的行政化、管理化信息系统使用模式，以类互联网的模式，形成校内的应用超市，包括校内师生综合服务平台和校外的服务应用池，有效接入，实现应用服务的动态分配和按需使用。

并对服务使用进行全面监控和管理，对业务过程和服务质量做到有效评估。

●运营生态：
改变现有的分散管理模式，通过服务调度平台的高集成度，将校内所有的软硬件进行统一的监控，随时了解校内全局信息化状况，极大的增加了校园信息化的响应程度和处理速度。

对于学校来说，依托于服务商的运维只是一部分。

更多的运维、优化和升级工作需要学校内部人员的参与。

基于开放平台的体系架构，依托于外部服务提供商形成线上/线下的专业训练营和项目管理培训课程，帮助学校师生了解、掌握运营方式方法，让全校师生一同参与到学校信息化运营之中。

形成良性的运营体系。

综上所述，开发生态、运行生态、应用服务生态与运营生态是环环相扣，密不可分的。

每个部分都有其具体的作用与价值，只有发挥出每个环节的价值，才能最大化高校信息化建
设的效果。

4.2统一数据平台构成
从数据内容角度看，统一数据平台可由以下几方面组成：
4.2.1元数据
元数据（meta-data）是描述高校数据的相关数据，指在IT系统建设过程中所产生的有关数据定义，目标定义，转换规则等相关的关键数据，包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。

我们采用的体系如下图：
这种体系结构是分布式体系结构的变体，根存储库实现了元模型的公共部分（横跨整所高校），叶子存储库实现了一个或多个特定的公共元模型子集，并只保存这些自己所对应的元数据实例。

特定客户可以主要访问其感兴趣的元数据所在的叶子存储库，也可以访问其它叶子存储库和根存储库。

大数据治理系列
4.2.2主数据
主数据（MD Master Data）指系统间共享数据。

HEMI由以下11个子集组成：
GXXX学校概况数据子集：组合了学校概况数据类的数据元素定义；
GXXS学生管理数据子集：组合了学生管理数据类的数据元素定义；
GXJX教学管理数据子集：组合了教学管理数据类的数据元素定义；
GXJG教职工管理数据子集：组合了教职工管理数据类的数据元素定义；
GXKY科研管理数据子集：组合了科研管理数据类的数据元素定义；
GXCW财务管理数据子集：组合了财务管理数据类的数据元素定义；
GXZC资产与设备管理数据子集：组合了资产与设备管理数据类的数据元素定义；
GXBG办公管理数据子集：组合了办公管理数据类的数据元素定义；
GXWS外事（港澳台事务）管理数据子集（简称：外事管理数据子集）：组合了外事（港澳台事务）管理数据类的数据元素定义；
GXDA档案管理数据子集：组合了档案管理数据类的数据元素定义；
GXGZ高职院校专用数据子集：组合了高等职业院校管理专用数据类的数据元素定义。

全量数据
全量数据（All measured data），是指高校日常产生的所有数据。

其包含元数据，主数据。

我们依据高校的实际业务情况，结合主数据修订出符合高校实际情况的校标数据。

一般包含一卡通数据、网络数据、公共代码库、虚拟文件库等;
4.2.3用于数据交换任务的创建和维护的客户端工具
4.2.4任务及数据的一体化呈现及管理的数据管理系统
5.使用客户端工具创建数据交换任务
统一数据平台实现学校内以多种形式存在的数据介质间的数据交换，包括各种异构数据库、文件等。

数据交换平台架构如下图所示：
数据交换平台逻辑结构图
在数据交换平台中，包含工作流引擎、调度引擎、任务引擎、清洗转换引擎、消息引擎、元数据管理等。

5.1数据交换
数据交换是数据中心建设的基础。

将异构系统的数据交换到数据中心，可使用多种技术手段。

根据数据提供方式的不同，相应有不同的数据交换方案。

实际中通常采用：WebService
接口方式、数据库视图方式和文件方式。

使用图形化的客户端工具可以方便的通过免开发的方式，对各种数据进行交换和存储。

另外，根据时效要求，数据交换任务可以设置为定时或随时，提供手动执行与自动执行多种方式，在数据中心的管理端进行统一的管理。

5.2建立用于数据交换的转换和作业
5.2.1建立转换
转换为一个数据交换任务集（作业）的最小单元。

例如：教务处要定期从学生处获取全量或最新的学生数据，然后将整合好的教务数据发布给第三方使用，这为一个任务集。

这里学生处同步数据至教务处可为一个转换；数据整合可为一个转换（可不在此处完成）；将整合好的数据共享给一个第三方应用可为一个转换（多个应用需求对应多个转换。

）
5.2.2使用转换组件
数据转换的建立可以使用的平台提供的多种组件。

现在所列的为组件分类，每个分类之下都包含若干组件。

平台提供的常用组件可以解决日常百分之90的转换任务：
5.2.3建立作业
作业为一个数据交换任务集。

是一系列转换组成的完成的数据转换与共享流程。

例如：教务处要定期从学生处获取全量或最新的学生数据，然后将整合好的教务数据发布给第三方使用，这为一个任务集。

建立作业用后，可使用数据中心的WEB管理系统进行作业的统一部署及管理。

6.任务和数据的管理（使用数据中心管理系统）
统一数据中心是基于Web的数据交换任务监控管理系统。

ETL工具虽然生成数据交换和共享等任务非常便捷。

但其在任务的日常管理存在没有统一管理的弊端（例如：日志和监控）。

在高校动辄几十个甚至上百个交换任务，根本不能够使用ETL工具进行有效的管理。

为了能够更加便捷的进行日常数据交换任务的管理，我们在ETL工具的基础上研发了统一数据中心。

在建设过程中，使用管理系统可以实现任务、数据、接口的一体化管理和运维。

6.1管理创建的交换任务
6.1.1设定任务执行周期
任务可以被设定为手动或自动执行，为了数据的整合性和及时性，在数据中心建设过程中推荐使用定时执行的方式来管理任务。

数据中心管理系统提供了多种设定方式，能够管理数据数据采集、清洗、共享任务的自动运行时间。

包含是否重复执行，执行时间能灵活指定到某月，某周，某天，最小能精确到秒。

6.1.2使用日志监控任务执行
在日常数据的交换过程中，可使用日志来记录和监控任务的执行情况。

平台提供了自动监控出错任务的日志信息功能。

日志和响应的出错信息，可以在线查看，可以下载分析，也可以通过自动发送的邮件来提醒管理人员。

6.2建立并发布校级数据标准
数据中心内置了符合《JYT1002_教育管理基础信息》,《JYT1006_高等学校管理信息》等
规范的数据字典。

结合交换后的数据，可以进一步形成校级数据规范
6.3展示并管理数据
在数据中心的管理界面中，可以基于配置展示和维护交换后的数据。

数据源是展示的基础，数据表是具体数据存储的实体。

使用数据源和数据表管理功能，可以灵活配置、展示、管理数据中心的数据
6.3.1管理数据源
数据源管理中，设定了统一数据中心可以直接访问的数据源。

当配置好数据源之后，可以直接在数据中心的管理界面访问具有对应权限的所有表。

6.3.2管理数据表
主数据和元数据所展示的数据均在此处进行管理。

通过表配置的方式，可以将需要展示和管理的数据配置到管理界面。

6.3.3浏览数据集
数据集预览提供了免配置的全量数据浏览功能。

将数据库的全部表、字段、内容以页面的形式进行了展示，方便了用户体验同时，使数据库内容可视化。

6.4共享数据
6.4.1使用接口方式进行共享
在实际建设过程中，根据需要，可使用数据中心管理平台对共享接口进行配置和管理。

共享接口的配置管理功能可对接口名、授权的用户、接口的授权时间、共享的数据内容进行灵活的设定，以满足建设需求。

6.4.2使用在线导出方式提供数据自助服务
为了方便数据的可视化，数据的可用性，可以使用数据的在线导入导出功能，以数据源页面为例，可导出本页，和导出所有的数据以excel的形式存储到本地。

6.5数据平台的个性化设定
6.5.1身份认证
管理平台支持CAS登陆和本地登录两种方式。

可选择其中一种进行平台用户的验证CAS认证：
本地认证：
6.5.2平台监控
平台监控页面为登录后的主页面内容，显示当前数据中心应用服务器和数据库服务器的关键摘要信息；显示数据库的关键信息，如PGA/SGA，进程数，会话数，数据表文件健康状态；显示数据中心的交换任务的摘要信息，如任务启停状态，数据源分类等。

使用监控功能，可以对系统、任务、服务器的总体情况进行方便的掌握。

6.5.3界面的个性化设定
平台维护主要管理菜单列表以及每个菜单内部都有那些功能项。

此部分功能主要由实施人员进行维护。

其功能如红框所展示的菜单项。

6.5.3.1菜单及按钮
菜单管理决定在如下如红框内能够展示那些菜单项。

菜单和按钮的定制，可以使管理平台的界面功能高度定制化，便于满足建设过程中的各种需求。

6.5.3.2系统LOGO、标题
系统的LOGO、标题等信息也可以通过界面方便的进行定制。

6.6系统管理
系统管理主要维护系统的用户和角色，并能够进行权限分配。

其功能如红框所展示的菜单项。

6.6.1角色管理
角色管理如下图，可以新建角色，并进行权限分配。

权限分配如下图，当选中一个角色时候点击权限分配按钮就进入权限分配界面。

权限分配可以细化到页面增删改查。

如果一项都不选择，则默认为放弃该菜单使用权限。

选择完成后点击右下角确定按钮进行保存。

6.6.2用户管理
用户管理如下图，点击新建用户设置昵称，账号，密码，角色。

然后进行保存即可。

6.6.3辅助工具
辅助工具提供了在本系统操作时可能会使用到的常用工具。

Druid是Java语言中最好的数据库连接池，Druid能够提供强大的监控和扩展功能；Cron是连接到/的一个定时时间转换器，其作用是将我们需要的定时时间转成Cron表达式；JSON是将JSON 表达式转成JS对象，同时检测JSON的准确性。

6.6.4邮件管理
邮件管理可自定义配置基本信息。

6.6.5项目管理
项目管理主要对项目信息进行基本的操作。

6.6.6系统日志
查询日志情况，监控整个系统是否健康运行。