智慧校园大数据可视化分析平台综合解决方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人类社会已经迎来“大数据时代”。培养大数据人才、利用高校大数据深化高校管理促进高校改革发展、使用大数据平台提高高校 科研水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。
校园大数据建设趋势
OA系统
报表系统
后勤系统
本科教务 系统
学生管理 系统
合同管理 系统
审计系统
校友系统
研究生系 统
人力资源
课程信 息 档案信息
……
监管部门 高教委 教育局 ……
非结构化数 据
……G/天 学习资料
等 邮件/消息/视频/咨询
……
流式数据
交易 教学等
…………
新增系统
舆情系统 科研项目 微校园系统 健康管理系统
……
实时流数据 银行圈存
一卡通消费 服务消费 ……
13
高校大数据建设方向与产品
管
理
大
数
据
校领导驾驶舱
数据源
结构化 数据
非结构 化数据
实时数 据
非实时 数据
学校业 务系统
互联网 数据
智慧校园-大数据平台-现有业务数据
现有系统
教务系统 学籍系统 一卡通系统
……
兄弟单位
合作院校 省市招生办
……
结构化数据 ……T+
教务信息 课程与试题库
成绩/消费/服务信息
教职信息
学籍信息
……
半结构化数据 …….G+/天
2020
智慧校园大数据可视化分 析平台综合解决方案
目录
CONTENTS
1 校园大数据概述 2 校园大数据顶层设计 3 校园大数据解决方案 4 校园大数据应用案例分析
1 校园大数据概述
高校大数据开发背景
战略机遇：培养大数据人才、利用高校大数据深化高校管理促进高校改革发展、使用大数据平台
提高高校科研水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。
XXX科技
应用层
智慧课室
云平台
智慧教学
大数据应用
API接口
第三方BI工具
学校管理
学校安全
学校教学
学校服务
学校科研
学生大数据竞赛
结果层
数据管理平台
分布式结构化存储集群 支持通用数据库软件
搜索引擎
缓存
计算层
机器学习
基础算法
基础模型
应用模型
实时流计算
存储层
交互式接口
数据计算接口
开发语言支持全面
原始数据保全备份
大数据正在逐渐成为社会基础设施，成为每一家组织机构的标配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用” 的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，并让很多常态化的认知、判断、思维 定式、产品形态、服务模式，形成全新的面貌和演进方向。
大数据已经引起国际社会的高度重视，世界各国都在加快推进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到 经济发展和社会生活的方方面面。2015年9月5日，国务院发布《促进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略 资源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出要建设教育文化大数据。
接口不完善
• 数字校园系统产生数据 • 数据的维度少来源不足
• 数据量百GB到几TB • 结构化数据为主
• 部分数据源有错误 • 接口与结构不规范
校园大数据建设困境——用户多样
校领导
院领导
校工会
校医院
图书馆
设备处
老师
本科生/研 究生
就业处
校园大数据的特征
智能终端广泛应用 集体知识共生共享 业务应用智能融合
人事大数据分析
学生大数据分析
资产大数据分析
学工大数据分析
信息化大数据分析
财务大数据分析
行 为 画 像
轨
学
迹合 预
警
大 数 据 报 告
教 学 大 数 据
选修课
课程
消费
爱好
习惯
自习
借阅
成绩
高分
活动
科
研
科
就 业
大
指数
研 大 数
导据
据
高校大数据建设内容
学
大 数数 据据
生 微 观 数 据 仓
教 务 分 析
学 业 分 析
析
资 产 分 析
学 校 信 息 化 管 理 分 析
科 研 分 析 与 横 向 对 比
智慧校园-大数据平台-分析纬度
成
长
实
身
学践 生
学
体
基础信
业
素
息
进
质
步
16
智慧校园-大数据平台-分析纬度
个
人
经
教
教历师
专
学
基础
业
能
信息
发
力
展
17
智慧校园-大数据平台-分析纬度
18
智慧校园-大数据平台-分析纬度
系统
科研管理 信息平台
多而数 孤据 岛不精 共享困难
重数个工 复据性作
财务资源
业务举步维艰
建共服协
平台
孤岛
设享务同
设备与实验• 系统繁多
管理系统
• 兼容性不够
服务孤岛
严不不受 重足深阻
迎新系统
•
用户体验不好
审议系统• 分析挖掘难度 大
下一步 怎么办？
……
校园大数据建设困境——数据源
数据来源受限
分析数据量少
19
智慧校园-大数据平台-分析纬度
设备 处
校工 会
服务 机构
图书 馆
校医 院
20
智慧校园-大数据平台-知识图谱
知识图谱
知识图谱本质上是语义网络，由 节点(Point)和边(Edge)组成。知识 图谱是关系网络的最有效的表示
综 合 行 为 画 像
异 常 预 警
行 为 轨 迹 分 析
群 体 行 为 分 析
精 准 就 业 推 荐
学 工 分 析
人 事 分 析
实 验 室 分 析
科 研 分 析
管采 库
理集
软与 教
件清 洗
师 微 观
智 慧 校
数
园
据
推
仓
荐
库
心 理 健 康 预 警
学 生 个 人 大 数 据 报 告
互
联 网 舆 情 分
教育大数据已经上升到国家战略层面，引起社会各界的广泛关注和高度重视。教育大数据将首先破解传统教育面临的六大难题（发 展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题），助推教育的全方位变革与 创新发展。
确立教育大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。教育大数据是重要的国家战略资产、 教育领域综合改革的科学力量与发展智慧教育的基石。
互联网络高速泛在 外部智慧融会贯通 团队协作便利充分
校园大数据的组成
智慧 环境
智慧 资源
智慧 管理
智慧 服务
2 校园大数据顶层设计
XXX科技
大数据平台总体逻辑图
架构 | 前后分离，可高效率并行开发 前端| 基于FaceBook开源框架React 后端 | 基于 SpringMVC+Mybatis 管理 | 强大的集群管理，监控 安全 | 支持IP白名单，SQL黑名单，SQL注入攻击拦截 扩展 | 支持水平扩展，纵向分库分表
数据采集层 存量和增量
结构化采集工具
标准化数据 Hadoop数据仓库
聚合建模数据
文本/接口/FTP 数据解析工具
实时数据 流式实时处理工具
数据统一管理平台 DataHouse 数据安全管理 库表权限分配
应用服务存储管理 DBManager
服务节点监控管理
Hadoop集群管理
自动化安装部署
采集工作流管理
校园大数据建设趋势
OA系统
报表系统
后勤系统
本科教务 系统
学生管理 系统
合同管理 系统
审计系统
校友系统
研究生系 统
人力资源
课程信 息 档案信息
……
监管部门 高教委 教育局 ……
非结构化数 据
……G/天 学习资料
等 邮件/消息/视频/咨询
……
流式数据
交易 教学等
…………
新增系统
舆情系统 科研项目 微校园系统 健康管理系统
……
实时流数据 银行圈存
一卡通消费 服务消费 ……
13
高校大数据建设方向与产品
管
理
大
数
据
校领导驾驶舱
数据源
结构化 数据
非结构 化数据
实时数 据
非实时 数据
学校业 务系统
互联网 数据
智慧校园-大数据平台-现有业务数据
现有系统
教务系统 学籍系统 一卡通系统
……
兄弟单位
合作院校 省市招生办
……
结构化数据 ……T+
教务信息 课程与试题库
成绩/消费/服务信息
教职信息
学籍信息
……
半结构化数据 …….G+/天
2020
智慧校园大数据可视化分 析平台综合解决方案
目录
CONTENTS
1 校园大数据概述 2 校园大数据顶层设计 3 校园大数据解决方案 4 校园大数据应用案例分析
1 校园大数据概述
高校大数据开发背景
战略机遇：培养大数据人才、利用高校大数据深化高校管理促进高校改革发展、使用大数据平台
提高高校科研水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。
XXX科技
应用层
智慧课室
云平台
智慧教学
大数据应用
API接口
第三方BI工具
学校管理
学校安全
学校教学
学校服务
学校科研
学生大数据竞赛
结果层
数据管理平台
分布式结构化存储集群 支持通用数据库软件
搜索引擎
缓存
计算层
机器学习
基础算法
基础模型
应用模型
实时流计算
存储层
交互式接口
数据计算接口
开发语言支持全面
原始数据保全备份
大数据正在逐渐成为社会基础设施，成为每一家组织机构的标配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用” 的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，并让很多常态化的认知、判断、思维 定式、产品形态、服务模式，形成全新的面貌和演进方向。
大数据已经引起国际社会的高度重视，世界各国都在加快推进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到 经济发展和社会生活的方方面面。2015年9月5日，国务院发布《促进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略 资源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出要建设教育文化大数据。
接口不完善
• 数字校园系统产生数据 • 数据的维度少来源不足
• 数据量百GB到几TB • 结构化数据为主
• 部分数据源有错误 • 接口与结构不规范
校园大数据建设困境——用户多样
校领导
院领导
校工会
校医院
图书馆
设备处
老师
本科生/研 究生
就业处
校园大数据的特征
智能终端广泛应用 集体知识共生共享 业务应用智能融合
人事大数据分析
学生大数据分析
资产大数据分析
学工大数据分析
信息化大数据分析
财务大数据分析
行 为 画 像
轨
学
迹合 预
警
大 数 据 报 告
教 学 大 数 据
选修课
课程
消费
爱好
习惯
自习
借阅
成绩
高分
活动
科
研
科
就 业
大
指数
研 大 数
导据
据
高校大数据建设内容
学
大 数数 据据
生 微 观 数 据 仓
教 务 分 析
学 业 分 析
析
资 产 分 析
学 校 信 息 化 管 理 分 析
科 研 分 析 与 横 向 对 比
智慧校园-大数据平台-分析纬度
成
长
实
身
学践 生
学
体
基础信
业
素
息
进
质
步
16
智慧校园-大数据平台-分析纬度
个
人
经
教
教历师
专
学
基础
业
能
信息
发
力
展
17
智慧校园-大数据平台-分析纬度
18
智慧校园-大数据平台-分析纬度
系统
科研管理 信息平台
多而数 孤据 岛不精 共享困难
重数个工 复据性作
财务资源
业务举步维艰
建共服协
平台
孤岛
设享务同
设备与实验• 系统繁多
管理系统
• 兼容性不够
服务孤岛
严不不受 重足深阻
迎新系统
•
用户体验不好
审议系统• 分析挖掘难度 大
下一步 怎么办？
……
校园大数据建设困境——数据源
数据来源受限
分析数据量少
19
智慧校园-大数据平台-分析纬度
设备 处
校工 会
服务 机构
图书 馆
校医 院
20
智慧校园-大数据平台-知识图谱
知识图谱
知识图谱本质上是语义网络，由 节点(Point)和边(Edge)组成。知识 图谱是关系网络的最有效的表示
综 合 行 为 画 像
异 常 预 警
行 为 轨 迹 分 析
群 体 行 为 分 析
精 准 就 业 推 荐
学 工 分 析
人 事 分 析
实 验 室 分 析
科 研 分 析
管采 库
理集
软与 教
件清 洗
师 微 观
智 慧 校
数
园
据
推
仓
荐
库
心 理 健 康 预 警
学 生 个 人 大 数 据 报 告
互
联 网 舆 情 分
教育大数据已经上升到国家战略层面，引起社会各界的广泛关注和高度重视。教育大数据将首先破解传统教育面临的六大难题（发 展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题），助推教育的全方位变革与 创新发展。
确立教育大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。教育大数据是重要的国家战略资产、 教育领域综合改革的科学力量与发展智慧教育的基石。
互联网络高速泛在 外部智慧融会贯通 团队协作便利充分
校园大数据的组成
智慧 环境
智慧 资源
智慧 管理
智慧 服务
2 校园大数据顶层设计
XXX科技
大数据平台总体逻辑图
架构 | 前后分离，可高效率并行开发 前端| 基于FaceBook开源框架React 后端 | 基于 SpringMVC+Mybatis 管理 | 强大的集群管理，监控 安全 | 支持IP白名单，SQL黑名单，SQL注入攻击拦截 扩展 | 支持水平扩展，纵向分库分表
数据采集层 存量和增量
结构化采集工具
标准化数据 Hadoop数据仓库
聚合建模数据
文本/接口/FTP 数据解析工具
实时数据 流式实时处理工具
数据统一管理平台 DataHouse 数据安全管理 库表权限分配
应用服务存储管理 DBManager
服务节点监控管理
Hadoop集群管理
自动化安装部署
采集工作流管理