教育大数据平台建设方案

教育大数据平台建设方案

2016年7月14日

1. 教育大数据平台建设 (3)

1.1数据采集与治理系统建设 (3)

1.2日志管理中心建设 (4)

1.3元数据管理系统建设 (5)

1.4数据建模系统建设 (6)

1.5数据可视化系统建设 (7)

2. 大数据平台建设 (8)

2.1权限管理中心建设 (8)

2.2仪表板系统建设 (9)

2.3分析报告系统建设 (9)

2.4用户画像系统建设 (10)

2.5智能预警系统建设 (10)

2.6学生/教师发展中心系统建设 (11)

2.7统一门户系统建设 (11)

3、功能参数列表 (12)

1.教育大数据平台建设

教育大数据平台的建设，无需学校现使用的各种软件系统的开发商，通过开发接口的方式进行数据采集或对接，从而实现学校各系统之间数据无感知采集。并完成数据治理，最终实现数据融合，解决数据孤岛问题，为各个平台提供自动化数据支撑。

通过对数据进行采集和治理，包含学校结构化数据、半结构化数据和非结构化数据，保证数据的完整性和全面性，实现数据融合。根据分析的目标和需要解决的问题结合全面的数据，才能完成全面的数据挖掘与分析，从而实现数据多维度、有深度的应用，让数据不仅仅是作为结果输出，而是形成业务流程闭环，全方位应用于学生培养和学校日常工作，为学校建设提供重要的依据。将学校各应用系统的数据进行采集和整合，打破数据孤岛，实现数据的共享和应用，为大数据分析打好基础。

1.1数据采集与治理系统建设

提供可视化界面进行数据源接入的配置操作；采集方式不影响数据源所属服务器/设备/数据库/Web服务的正常运行。支持不同网络之间的数据同步功能；支持不同类型数据源之间的数据同步功能；提供可视化的数据集成功能，实现自动化的任务调度，并智能化监控数据集成的过程。

在满足数据库的数据采集同时，学校老师也可自行导入数据。本数据采集工具优于一般数据仓库或非大数据厂家的采集方式，可以让学校各系统在正常运行的情况下，进行无感知全量或增量采集。

一般当前数据包含结构化数据、半结构化数据和非结构数据，且学校数据在使用不同的系统时，数据多存储在不同的数据库，无法将数据进行集合处理为学校管理做出数据支撑，也无法有效追溯数据问题。教育大数据平台的数据采集功

能正好可以解决学校数据集合处理的难题。

1.2日志管理中心建设

随着大数据和教育规模的不断发展，教育应用系统时时都在产生日志数据，不同类型、不同格式的日志数据散落在各个地方，只有在系统或应用出现问题时才会一步步去查找日志数据，不仅查找耗时耗力，还无法挖掘日志数据中隐藏的价值。日志数据最需要的就是可以真正集中管理日志数据，定位日志数据问题，提高效率，做到日志数据界面化、可视化。

日志管理就是简单、易用的日志分析、管理工具，用于整合各类日志数据（结构化、非结构化和复杂的应用系统日志），提供搜索、存储、分析及可视化等一站式服务。日志管理主要在于应用性强，接入服务进行使用即可采集日志，日志数据及时采集及分析，高性能存储，且稳定、数据安全、高可用。对于高校，日志管理中心可以帮助其搭建完善的网络日志，进行校园网络日志数据的应用及监控，深度挖掘日志的大数据价值，辅助学校管理。

1.3元数据管理系统建设

元数据管理支持学校用户查看数据库及数据表的分布情况且可下钻查看具体详情；可查看每日数据的增长情况；可查看元数据的详细信息；同时支持用户查看数据流向世袭图(表级或字段级)，以图形化的方式展示数据间的血缘关系和影响关系。

数据血缘图清晰明了地描绘了数据是如何从底层一层层汇上来的，都用了哪些接口，哪些数据表。由当前数据节点向下树形扩散，让学校进一步对于整体数据存

储情况、增长情况一目了然。数据影响图展示了某实体表向上用于生成哪些实体（直接和间接），影响哪些数据汇总程序（直接和间接），由当前数据节点向上树形扩散。

1.4数据建模系统建设

数据已成为一种重要的生产要素，在完成数据的收集和存储之后，数据的再组织和分析建模就是下一步能把隐藏在数据中的重要价值及规律逐渐展现出来的重要步骤，所以数据建模是大数据应用的核心和重要基础。另外，对于现阶段教育，传统的数据报表、即席查询等简单分析手段已无法满足学校对于深层次信息的挖掘需求，务必要进行进一步的数据深层次剖析和应用。

数据建模让数据处理不再需要求助于程序员和数据分析师，拖拽式操作，不会SQL、Excel也能搞定数据处理。原始数据更新，数据模型随之更新，数据同步更新，及时掌握最新数据动态，这在很大程度上简化了学校对于教育数据的处理，让学校教育人员不需要编程，通过简单的拖拽操作即可完成惊艳的数据建模。可对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据。

数据建模支持多文件夹存储不同数据模型，支持建立两张或多张表的关联数据模型，且建立的数据模型可用于数据可视化的图表构建；用户也可灵活进行拖拽数据表至表关联区、移除数据表、拖拽移除数据表，对数据表字段进行重命名、隐藏字段、取消隐藏、删除字段、显示隐藏字段等等功能；支持模型预览、查看血缘，灵活好用，大大减轻教育层面的数据处理难度及操作难度。

1.5数据可视化系统建设

数据处理最重要的目的是可视化，即能够向用户显示信息，这不仅仅是枯燥地罗列条目，也不仅仅是显示数字甚至图表，而是生动地显示图表、图形和可视化。

数据可视化可以轻松实现各类报表、仪表盘、统计图、计量图、地图分析、分析报告、多维分析等。不需要编程，通过简单的拖拽操作即可完成惊艳的效果，可对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据。数据可视化让学校教育人员不再需要求助于程序员和数据分析师，进行拖拽式操作，不会SQL、Excel也能搞定数据处理，大幅度降低使用门槛。原始数据更新，图表随之更新。只需更新数据，即可迅速完成报表，工作效率成倍提升；让学校观察各类数据更清晰化、精准化。

数据可视化支持多文件夹存储不同数据图表，支持多字段多维度的数据生成图表，且可引用建立的数据模型进行数据可视化的图表构建；用户也可灵活进行拖拽数据表的字段至X轴、Y轴、筛选器，移除数据表字段，对数据表字段进行排序、聚合等操作，也可进行数据表内容的筛选配置；支持图表样式切换、图表颜色配置设计，图表预览等，灵活好用，将中学教育数据清晰展示在用户面前，能够实现数据的精准化，让学校能因材施教，进一步提升教育层次和水平。