高校大数据平台解决方案-高校智慧校园解决方案

高校大数据平台解决方案、高校智慧校园解决方案1.项目概况近年来，随着信息技术产业的蓬勃发展，高校的信息化建设工作也受到了广泛关注。

推进高校信息化建设，打造数字化校园已成为各高等院校的普遍共识。

由于信息化建设初期缺乏统一规划，数据标准各异，业务系统各自为政，导致数据非集成化并形成了许多的信息孤岛，这使得大量数据无法共享和利用，获得更大价值。

数据共享交换平台是整个数字化校园建设的重要组成部分，利用平台对校园内散乱分布的数据进行集成化整合，同时将原来分散、利用率低下的信息资源进行数据挖掘，对于学校的发展战略和决策支持具有重要意义。

另外，数据共享交换平台的建设是高校信息化建设下一阶段——智慧校园建设的工作基础。

完成对学校内大数据有机的整合和继承管理，掌握学校各项活动中发生的庞大、海量数据，并利用大数据处理技术对这些信息资源进行挖掘、整理、分析，为学校的发展提供决策支持，是大数据时代下支撑学校改革、发展的重要手段。

2.智慧校园建设方案！高校统一数据中心解决方案平台设计目标及思路大数据时代的教育带有“大教育”的特性，具有全员（从全日制学生到全民，面向所有人）、全程（从学前教育到终身教育，服务各个教育阶段）、全方位（家庭、学校、社会三位一体教育，无所不在的教育，虚实结合的教育）等特点。

随着在线平台的推广和普及，越来越多的老师将自己的授课视频放上网。

互联网上的眼睛将使所有错误无所遁形，在无数人的编辑之下，知识传播的形式将不断优化、效率会不断提高。

在数据的不断累积当中，视频将会沉淀下来，成为经典的学习材料。

目前，建设以全局数据为基础的数据共享交换平台已成为各高校信息化建设的核心内容。

通过其建设可以有效消除信息孤岛，节约人力、物力、财力成本，提高工作效率。

各职能部处可以通过该平台获取其他业务部门的数据信息，通过对数据的交换、共享、分析、挖掘，为广大师生提供更加完善的服务，为高校建设以及科学管理提供重要的依据。

3.需求分析及概述3.1产品架构3.1.1概述教学大数据平台包含4个部分：第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。

第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具Kettle。

第三部分是数据计算。

MPP采用分析型分布式数据库，存储高价值密度的结构化数据；Hadoop存储非结构化/半结构化数据和低价值密度结构化数据。

计算结果都存到数据仓库，数据仓库中的数据可直接用于分析和展示。

数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。

第四部分数据服务，包括：机器学习、数据挖掘、数据检索、数据可视化、即席分析、SQL和API，为应用层提供服务和中间件调用。

3.1.2数据处理对于大数据管理平台，应该建立一套标准化、规范化的数据处理流程，例如：如何采集内部和外部数据、结构化和非结构化数据；如何清洗采集来的脏数据和无效数据；如何对不同来源的数据进行打通；如何对非结构化的数据进行结构化加工；如何在结构化数据的基础上进行商业建模和数据挖掘等等。

大数据管理层在一条数据总线上构建了一条完整的大数据处理流水线。

这条流水线从数据的采集、清洗到加工处理，把原始杂乱无章的数据加工成结构化的数据组件，供上层的大数据应用来拼装调用，让企业拥有创造数据资产的能力。

3.1.3数据分层（1）ODS层：数据来源于各生产系统，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。

未来也可用于准实时数据查询。

（2）轻度汇总层：主题域内部基于明细层数据，进行多维度的、用户级的汇总。

（3）明细数据层：主题域内部进行拆分、关联。

是对ODS操作型数据按照主题域划分规则进行的拆分及合并。

（4）信息子层：报表数据、多维数据、指标库等数据来源于汇总层。

汇总层：主题域之间进行关联、汇总计算。

汇总数据服务于信息子层，目的是为了节约信息子层数据计算成本和计算时间。

（5）应用层：应用系统的私有数据，应用的业务数据。

精细化营销做为大数据平台的一个上层应用，由大数据平台提供数据支撑。

3.1.4数据交换没有集成后台的内容就没有所谓的一站式、个性化服务，因此后台系统的集成和互连是建立公共技术支持服务平台的重中之重。

由于公共技术支持服务平台各类应用系统在应用范围、构建方式、系统结构、数据资源等方面存在一定的差异，因此也需要建立统一的数据交换平台，采用Web Services和SOA技术，实现各业务系统之间、数据中心和开发域之间的数据交换、数据整合。

数据整合平台，可提供应用之间的信息交换，提供数据格式定义、数据转换、数据路游、业务规则定义和业务流程编辑等具体业务服务。

数据交换平台需要解决的是系统整合问题，要求系统间的异构接口、异构数据、和系统间的流程调度。

3.2数据服务与使用3.2.1ashboard-数据大展应用大数据平台Dashboard依靠不同样式的图例报表来可视化收集到的大量数据，良好的仪表板设计可以提供数据的相关性，用于帮助决策。

Dashboard需确保仪表板显示的数据相关和简洁，并且在显示方式上经过深思熟虑后用于数据大展应用。

下图是我们为东北财经大学制作的教学大数据分析平台的Dashboard页面。

3.2.2数据展现3.2.2.1学生基础分析将学生基础信息有关的数据整合并通过合理的图例进行展示，便于相关教师及学生查看和分析。

当前我们完成了近40个关于学生基础信息的图例，分别是：民族分布情况、性别分布统计、年龄段分布统计、政治面貌分布统计、违纪处分统计、户口性质比例统计、来源统计、学制统计、学历分布统计、奖学金统计、学习形式统计、状态分布、学籍状态统计、生源地统计、助学金统计、科类统计、入学年级统计、招生类别统计、招生批次统计、勤工俭学统计、入学方式统计、欠费分析/横向对比、来源学校分析、贷款统计、历年各学科学生数量、数分布统计、历年学生年龄分布、历年生源地分布、历年学生民族分布、学费减免统计、历年录取分数分析、招生计划完成情况分析、历年各专业学生数量和就业分析等。

下图将展示大数据分析平台中的部分学生基础信息图例。

3.2.2.2科研基础分析将科研基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个学校科研水平的分析和研究。

当前我们完成了近30个关于科研基础信息的图例，分别是：科研机构概况统计、科研人员性别组成、科研人员年龄分布、科研人员学历组成、科研人员职称组成、科研人员民族组成、科研人员政治面貌、科研人员学位组成、科研人员类别组成、科研人员变化趋势、各机构科研成果统计、各机构成果获奖统计、经费使用分布、科研经费使用趋势、各机构排名统计、个人排名统计、进行项目预警、近两年获得省级以上的科研项目成果情况、高级人才近五年科研产出、各机构科研人员比对、各机构下项目情况和各机构人员对比等。

下图将展示大数据分析平台中的部分科研基础信息图例。

3.2.2.3教学基础分析将教学基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个学校学生水平以及毕业情况的分析和研究。

当前我们完成了近40个关于教学基础信息的图例，分别是：成绩详细统计分析、各学院学霸统计分析、各学院学年总学时变化趋势、各专业中不同科目成绩排名及趋势分析、学校开设课程情况统计、网络学习统计分析、按教学课时量对教学部门排名、各专业中科目成绩排名及历年趋势、教职工教学任务统计、各院系成绩情况对比、教师数据与结构统计、各专业中不同科目挂科率排名及趋势、学生就业情况分布、学生考研情况分布、全校领导年龄分布、各专业中不同科目挂科率排名及趋势、校领导在职年限分析、教师培养培训统计、教职工教学任务统计、学生获论文奖统计分析、实践教学统计分析、专业建设统计分析、教学管理队伍统计分析、新生录取变化规律分析、学风建设统计、新生录取情况统计、不同学历的入党率分析、经费的投入与利用情况统计、教学基本设施统计、课程与教学统计分析、教育教学水平统计分析、学生就业率及其变化趋势分析、质量监控统计分析和各类学生监控报告分析等。

3.2.2.4人事基础分析将人事基础信息有关的数据整合并通过合理的图例进行展示，便于进行整个教职工基本情况的分析和研究。

当前我们完成了近20个关于人事基础信息的图例，分别是：教职工专业及科类统计、教职工人员类别统计、教职工年龄段统计、教职工职称统计、教职工民族统计、教职工性别统计、教职工政治面貌统计、教职工学历统计、教职工学位统计、教职工来源统计、教职工总量情况分析、教职工职称详细分析、教职工人事调动统计、教职工考核结果统计、教职工奖励结果统计、教职工地缘关系分析、各院系师资建设水平和教职工学院结果分析等。

3.2.2.5一卡通消费分析将校园一卡通消费信息有关的数据整合并通过合理的图例进行展示，便于进行学生消费和其他动态情况的分析和研究。

当前我们完成了近20个关于一卡通消费信息的图例，分别是：学生消费习惯分析、学生低消费预警分析、消费点统计分析、就餐学生人数统计、学生消费趋势分析、学生每餐消费额分析、学生月消费分析、学生消费按购物点排序、餐厅学生月消费分析、各购物点学生人数统计、学生就餐时间段分析、学生人均消费额分析、各卡机消费情况分析、学生消费按餐厅排序和学生一卡通充值分析等。

3.2.2.6资产基础分析将学校资产信息有关的数据整合并通过合理的图例进行展示，便于进行学校资产信息查看和管理分析。

当前我们完成了近15个关于资产基础信息的图例，分别是：资产总体基本情况、设备来源统计分析、设备类型统计、设备情况全方位统计分析、设备仪器维修统计、5W，10W，40W以上大型仪器清单、5W，10W，40W以上贵重仪器清单、对比统计全校设备价值生均投入比、分院系持有大型仪器价值横向对比、对比统计各院系设备价值生均投入比、分院系持有大型仪器数量横向分析、5W，10W，40W以上大型仪器清使用单位信息、设备购置统计和5W，10W，40W以上贵重仪器使用信息等。

3.2.2.7图书馆基础分析将图书馆基础信息有关的数据整合并通过合理的图例进行展示，便于进行图书馆藏书借书等信息查看和管理分析。

当前我们完成了近15个关于图书馆基础信息的图例，分别是：生均图书册数、按书类统计图书利用率、按借书量对各院排名、各院系专业图书馆借阅对比排名、对藏书按照图书分类进行分类统计、历年书资金投入统计分析、对藏书按照馆藏类别进行分类统计、借阅频次高的书进行排名、按书类统计图书流通率、借书高峰时借书多的书类分析、借书高峰分析、借阅人员排名、每月借阅TOP10、图书资产投入及各藏书类别占比和图书馆出入高峰期分析等。

3.2.2.8宿舍基础分析将宿舍基础信息有关的数据整合并通过合理的图例进行展示，便于进行宿舍管理分析。