可视化大数据管理系统的设计与应用

可视化大数据管理系统的设计与应用

摘要：决策主体结构简单、仅凭直观经验等是传统教育决策的不足之处.促进决策科学化是提升教育水平的重要方向.本文建立了可视化大数据管理系统的架构设计和模型，提出了基于用户需求的建设目标，为建设大数据决策系统提供设计思路，以进一步提升教育决策科学化信息化

■文/李莹姚郑潘晶晶

设计背景

随着各校教育信息化的建设初见成效，网络保障条件日趋成熟，教育信息管理系统等各类基础信息数据库建设工作的逐渐完善，决策主体的数据意识得到了一定提升。

随着技术的普及，大数据已逐渐成为国家基础性战略资源叫近年来，各校均建设了大量的教育教学信息管理系统，如学籍系统、就业系统、资产系统、报道系统、培养系统、招生系统、教师系统等，累积了大量的数据资源,但是因为设计维度和管理角度均不统一，各业务系统基本都是各自独立运行、数据不互通，所以无法整合数据，无法为上层校领导提供统一化整体化的直观学校信息。而大数据技术作为信息技术对于教育变革的推动力，为教育决策科学化提供了新思路和新方法|2l o大数据技术的发展是提升教育决策科学性的优质驱动力，但数据汇聚与综合应用仍是促进科学决策的一大门槛冋。教育决策的制定往往会参考一定的数据资源，但数据大都源于决策者的直观经验、印象，并不能全面、系统地反映事实，使决策的科学性受人质疑冋。为了更好的为决策者提供有力的数据支持，特建立可视化大数据管理系统。

系统简介

可视化大数据管理系统通过对高等院校教育基础数据持续、动态、标准化的采集、清洗、转化，实现高等院校教育数据纵向贯通和互联，为准确掌握全校教育基本情况（包括学生、师资、学科、课程、学位、就业等），为科学制定高等院校教育政策、教育资源配置合理化，提供全方位、实时、精准的重要决策数据支撑。在此基础上，面向校领导及科研院所提供本校学生、教师、课程、学科的基本数据查询、统计报表和各类排行服务，并将可公开数据向社会发布，允许公众通过统计数据了解本校教育基本情况，传播高等院校教育理念和成果。

系统特点

可视化大数据管理系统利用云计算基础设施，整合高等院校各类教育基础数据，建立起全校教育信息通用分类标准和基础数据中心，通过基础数据融合和大数据可视化技术，全面掌握全校教育基本状况，全面支持高等院校教育质量评估、教育决策，实现智慧教育管理，促进全校教育资源共享，

系统架构

1.数据层，系统使用数据库集群存储数据.在数据库中，主要分为两部分，一部分是系统的逻辑数据，另一部分是可视化大数据管理系统所需要的业务数据"而业务数据只用作可视化展示,所以为了避免误操作，此部分数据设置为只读权限

H

匕

心

权

限展小左报表展示HTML

▼

业务层

VjMWfl1统计W何决

▼

ftifiQJS••••••

___J_

服务器层报衣服务器系统服务器

▼▼

读数据读写数据

权

限

控

制

图1系统架构

66中国教育网络2019.2-3

■I 应用系统2. 服务器层，本系统展示的报表和图表较多，根据此需求特 点，将服务器层分为两部分，一部分是系统运行的服务器.另一 部分是提供报表服务的报表服务器

3. 业务层，系统本身业务主要包括访问管理、统计访问次数、 系统设置、日志记录、用户权限管理等业务功能：系统根据用户 的角色展示相应的数据报表

4. 展示层，系统中展示的报表都由报表服务器生成.并将

生产的报表嵌入到系统的展示页面中本系统的展示部分，均由

HTMI.5技术实现，PC 和移动终端都可以正常访问

系统功能

可视化大数据管理系统功能包括三大方面：数据采集；数据

管理；统计分析。

1. 数据采集

可视化大数据管理系统涵盖各分校的各类教育基础数据其 从各分校相关教育业务系统中自动抽取数据，或者由各分校按约

定的数据模板及时上传数据,在此基础上对数据进一步清洗、转化 应用层系统获取这些经过预处理的基础数据，基于可视化技术，

实现教育指标的综合分析、评价和决策支持。系统建设初期，主

要采取人工上传方式采集各分校的教育基础数据，在后期推广应 用阶段，逐步实现自动方式（开放API.平台定时抽取）采集数据

2. 数据管理

（1 ）数据处理，可视化大数据管理系统作为底层服务平台， 严格遵守一数一源.按照预先定义好的数据模型，将数据加载到

数据库中，实现整个智慧教育数据的规范化、系统化、一体化管

理，提供数据导入导出、数据备份、元数据管理、数据交换等后 台功能，对教育基础数据进行计算、处理，为上层应用提供更加 便利的数据服务，包括ET1.（数据抽取、转换、装载与清洗）.

MapReduce 以及计算等方式。

数据导入导出：把相关的教学数据采用合适的模式/标准对

数据进行统一储存.方便利用智能算法进行分析和操作，将经过

系统分析处理后的数据导出.方便浏览查询或者打印

数据备份：只要产生了数据传输、数据存储以及数据交换，

就有产生数据故障的可能性。本系统采取定时进行数据备份、提

供数据恢复等手段，防止数据的丢失，避免造成损失.

元数据管理：包括各个业务表的发展，数据元素和实体的定 义，表格规则和算法以及数据的特征.最基础的管理是管理业务

元数据的收集、组织和维持：对技术型元数据的应用以及主数据 管理和数据治理项目的成功至关重要|5'o

数据清洗：数据来源各不相同.数据形式多元化.使得数据 质量存在较大的差异.不正确或者不一致的数据可能会严重影响

数据的分析效果。本系统使用如统计分析、预定义规则等相关技 术将“脏数据”转换为满足数据质量要求的数据。

数据集成：整合來自多个数据存储的数据，为数据分析、处

理、挖掘提供完整的数据源。

数据交换:将数据变换或统一成适合于数据分析挖掘的形式

数据校验：在数据交互中.由于各种硬件、软件、网络等问

题可能会导致数据的丢失、异常等不一样的情况，为了解决这种

情况，系统内建立相关校验机制和处理功能，以便对异常情况做

art

显示字股

* »51»*发黑€文

1»

*SCI

一离人才

二矣人才

2018 » 大*

• HrKtW •

HI 帥

»91»

* 外

STVHWCD

•人才

am ▼ • ttW • 如 I

SCIM

1WR>

______________

-----------------------

MB | ttl«|

««£文■SCI El

一寅人才HA 才

«11* 专仲

图3按需查询与数据导出

图2统计分析2019,2-3 申国*[St 网第

67