智慧高校大数据云平台建设和运营方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据采集层 存量和增量
结构化采集工具
数据计算接口 标准化数据 Hadoop数据仓库
文本/接口/FTP 数据解析工具
开发语言支持全面 聚合建模数据
实时数据 流式实时处理工具
数据统一管理平台 DataHouse
数据安全管理 库表权限分配 应用服务存储管理
DBManager
服务节点监控管理
Hadoop集群管理
自动化安装部署
采集工作流管理
数据源
结构化 数据
非结构 化数据
实时数 据
非实时 数据
学校业 务系统
互联网 数据
智慧高校-大数据平台-现有业务数据
智慧高校大数据云平台建设和运营方案
现有系统
教务系统 学籍系统 一卡通系统
……
兄弟单位
合作院校 省市招生办
……
结构化数据 ……T+
教务信息 课程与试题库
成绩/消费/服务信息
2 教育大数据顶层设计
XXX科技
智慧高校大数据云平台建设和运营方案
大数据平台总体逻辑图
架构 | 前后分离，可高效率并行开发 前端| 基于FaceBook开源框架React 后端 | 基于SpringMVC+Mybatis 管理 | 强大的集群管理，监 控 安全 | 支持IP白名单，SQL黑名单，SQL注入攻击拦截 扩展 | 支持水平扩展，纵向分库分表
2020
智慧高校大数据云平台建 设和运Βιβλιοθήκη Baidu方案
智慧高校大数据云平台建设和运营方案
概述
随着信息技术的迅猛发展，教育领域中学习方 式、教学模式发生了重大变革，以云计算、移动互 联、物联网、大数据为特征的智慧高校产品和解决 方案悄然兴起。智慧高校解决方案，重点解决：减 少重复建设、提高教学质量、提升管理效率、促进 教育均衡、彰显教育公平等问题。
大数据已经引起国际社会的高度重视，世界各国都在加快推进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到 经济发展和社会生活的方方面面。2015年9月5日，国务院发布《促进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略 资源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出要建设教育文化大数据。
XXX科技
应用层
智慧课室
云平台
智慧教学
大数据应用
智慧高校大数据云平台建设和运营方案
API接口
第三方BI工具
学校管理
学校安全
学校教学
学校服务
学校科研
学生大数据竞赛
结果层
数据管理平台
分布式结构化存储集群 支持通用数据库软件
搜索引擎
缓存
计算层
机器学习
基础算法
基础模型
应用模型
实时流计算
存储层
交互式接口 原始数据保全备份
教育大数据建设方向与产品
人类社会已经迎来“大数据时代”。培养大数据人才、利用教育大数据深化教育管理促进教育改革发展、使用大数据平台提高教育 科研水平和效率，既是教育面临的重要任务，也是教育发展的战略机遇。
教育大数据建设趋势
智慧高校大数据云平台建设和运营方案
OA系统
报表系统
后勤系统
本科教务 系统
学生管理 系统
合同管理 系统
战略机遇：培养大数据人才、利用教育大数据深化教育管理促进教育改革发展、使用大数据平台
提高教育科研水平和效率，既是教育面临的重要任务，也是教育发展的战略机遇。
大数据正在逐渐成为社会基础设施，成为每一家组织机构的标配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用” 的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，并让很多常态化的认知、判断、思维 定式、产品形态、服务模式，形成全新的面貌和演进方向。
教育大数据已经上升到国家战略层面，引起社会各界的广泛关注和高度重视。教育大数据将首先破解传统教育面临的六大难题（发 展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题），助推教育的全方位变革与 创新发展。
确立教育大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。教育大数据是重要的国家战略资产、 教育领域综合改革的科学力量与发展智慧高校的基石。
设备处
老师
本科生/研 究生
就业处
教育大数据的特征
智慧高校大数据云平台建设和运营方案
智能终端广泛应用 集体知识共生共享 业务应用智能融合
互联网络高速泛在 外部智慧融会贯通 团队协作便利充分
教育大数据的组成
智慧高校大数据云平台建设和运营方案
智慧 环境
智慧 资源
智慧 管理
智慧 服务
智慧高校大数据云平台建设和运营方案
教职信息
学籍信息
……
半结构化数据 …….G+/天
课程信 息 档案信息
……
监管部门 高教委 教育局 ……
非结构化数 据
……G/天 学习资料
等 邮件/消息/视频/咨询
……
流式数据
交易 教学等
…………
新增系统
舆情系统 科研项目 微校园系统 健康管理系统
……
实时流数据 银行圈存 一卡通消费 服务消费
……
14
智慧高校解决方案体系如同一棵大树，基础设 施集成服务是“土壤”，教育云平台是“根”;教育 大数据平台是主干;教育管理服务平台、智慧学习服 务平台、教育资源服务平台、家校互动平台是枝干; 每个枝干上的树叶是各类教育应用系统，这些枝叶 是可以随着技术和需求的变化而更新;根、枝干、树 叶间充满了信息、数据流的交互。
审计系统
校友系统
研究生系 统
人力资源
系统
科研管理 信息平台
多而数 孤据 岛不精 共享困难
重数个工 复据性作
财务资源
业务举步维艰
建共服协
平台
孤岛
设享务同
设备与实验• 系统繁多 管理系统 • 兼容性不够
服务孤岛
严不不受 重足深阻
迎新系统
•
用户体验不好
审议系统• 分析挖掘难度 大
下一步 怎么办？
……
教育大数据建设困境——数据源
智慧高校大数据云平台建设和运营方案
智慧高校大数据云平台建设和运营方案
目录
CONTENTS
1 教育大数据概述 2 教育大数据顶层设计 3 教育大数据解决方案 4 教育大数据应用场景分析 5 教育大数据应用案例分析
智慧高校大数据云平台建设和运营方案
1 教育大数据概述
教育大数据开发背景
智慧高校大数据云平台建设和运营方案
数据来源受限
分析数据量少
智慧高校大数据云平台建设和运营方案
接口不完善
• 数字校园系统产生数据 • 数据的维度少来源不足
• 数据量百GB到几TB • 结构化数据为主
• 部分数据源有错误 • 接口与结构不规范
教育大数据建设困境——用户多样
校领导
院领导
智慧高校大数据云平台建设和运营方案
校工会
校医院
图书馆
结构化采集工具
数据计算接口 标准化数据 Hadoop数据仓库
文本/接口/FTP 数据解析工具
开发语言支持全面 聚合建模数据
实时数据 流式实时处理工具
数据统一管理平台 DataHouse
数据安全管理 库表权限分配 应用服务存储管理
DBManager
服务节点监控管理
Hadoop集群管理
自动化安装部署
采集工作流管理
数据源
结构化 数据
非结构 化数据
实时数 据
非实时 数据
学校业 务系统
互联网 数据
智慧高校-大数据平台-现有业务数据
智慧高校大数据云平台建设和运营方案
现有系统
教务系统 学籍系统 一卡通系统
……
兄弟单位
合作院校 省市招生办
……
结构化数据 ……T+
教务信息 课程与试题库
成绩/消费/服务信息
2 教育大数据顶层设计
XXX科技
智慧高校大数据云平台建设和运营方案
大数据平台总体逻辑图
架构 | 前后分离，可高效率并行开发 前端| 基于FaceBook开源框架React 后端 | 基于SpringMVC+Mybatis 管理 | 强大的集群管理，监 控 安全 | 支持IP白名单，SQL黑名单，SQL注入攻击拦截 扩展 | 支持水平扩展，纵向分库分表
2020
智慧高校大数据云平台建 设和运Βιβλιοθήκη Baidu方案
智慧高校大数据云平台建设和运营方案
概述
随着信息技术的迅猛发展，教育领域中学习方 式、教学模式发生了重大变革，以云计算、移动互 联、物联网、大数据为特征的智慧高校产品和解决 方案悄然兴起。智慧高校解决方案，重点解决：减 少重复建设、提高教学质量、提升管理效率、促进 教育均衡、彰显教育公平等问题。
大数据已经引起国际社会的高度重视，世界各国都在加快推进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到 经济发展和社会生活的方方面面。2015年9月5日，国务院发布《促进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略 资源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出要建设教育文化大数据。
XXX科技
应用层
智慧课室
云平台
智慧教学
大数据应用
智慧高校大数据云平台建设和运营方案
API接口
第三方BI工具
学校管理
学校安全
学校教学
学校服务
学校科研
学生大数据竞赛
结果层
数据管理平台
分布式结构化存储集群 支持通用数据库软件
搜索引擎
缓存
计算层
机器学习
基础算法
基础模型
应用模型
实时流计算
存储层
交互式接口 原始数据保全备份
教育大数据建设方向与产品
人类社会已经迎来“大数据时代”。培养大数据人才、利用教育大数据深化教育管理促进教育改革发展、使用大数据平台提高教育 科研水平和效率，既是教育面临的重要任务，也是教育发展的战略机遇。
教育大数据建设趋势
智慧高校大数据云平台建设和运营方案
OA系统
报表系统
后勤系统
本科教务 系统
学生管理 系统
合同管理 系统
战略机遇：培养大数据人才、利用教育大数据深化教育管理促进教育改革发展、使用大数据平台
提高教育科研水平和效率，既是教育面临的重要任务，也是教育发展的战略机遇。
大数据正在逐渐成为社会基础设施，成为每一家组织机构的标配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用” 的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，并让很多常态化的认知、判断、思维 定式、产品形态、服务模式，形成全新的面貌和演进方向。
教育大数据已经上升到国家战略层面，引起社会各界的广泛关注和高度重视。教育大数据将首先破解传统教育面临的六大难题（发 展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题），助推教育的全方位变革与 创新发展。
确立教育大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。教育大数据是重要的国家战略资产、 教育领域综合改革的科学力量与发展智慧高校的基石。
设备处
老师
本科生/研 究生
就业处
教育大数据的特征
智慧高校大数据云平台建设和运营方案
智能终端广泛应用 集体知识共生共享 业务应用智能融合
互联网络高速泛在 外部智慧融会贯通 团队协作便利充分
教育大数据的组成
智慧高校大数据云平台建设和运营方案
智慧 环境
智慧 资源
智慧 管理
智慧 服务
智慧高校大数据云平台建设和运营方案
教职信息
学籍信息
……
半结构化数据 …….G+/天
课程信 息 档案信息
……
监管部门 高教委 教育局 ……
非结构化数 据
……G/天 学习资料
等 邮件/消息/视频/咨询
……
流式数据
交易 教学等
…………
新增系统
舆情系统 科研项目 微校园系统 健康管理系统
……
实时流数据 银行圈存 一卡通消费 服务消费
……
14
智慧高校解决方案体系如同一棵大树，基础设 施集成服务是“土壤”，教育云平台是“根”;教育 大数据平台是主干;教育管理服务平台、智慧学习服 务平台、教育资源服务平台、家校互动平台是枝干; 每个枝干上的树叶是各类教育应用系统，这些枝叶 是可以随着技术和需求的变化而更新;根、枝干、树 叶间充满了信息、数据流的交互。
审计系统
校友系统
研究生系 统
人力资源
系统
科研管理 信息平台
多而数 孤据 岛不精 共享困难
重数个工 复据性作
财务资源
业务举步维艰
建共服协
平台
孤岛
设享务同
设备与实验• 系统繁多 管理系统 • 兼容性不够
服务孤岛
严不不受 重足深阻
迎新系统
•
用户体验不好
审议系统• 分析挖掘难度 大
下一步 怎么办？
……
教育大数据建设困境——数据源
智慧高校大数据云平台建设和运营方案
智慧高校大数据云平台建设和运营方案
目录
CONTENTS
1 教育大数据概述 2 教育大数据顶层设计 3 教育大数据解决方案 4 教育大数据应用场景分析 5 教育大数据应用案例分析
智慧高校大数据云平台建设和运营方案
1 教育大数据概述
教育大数据开发背景
智慧高校大数据云平台建设和运营方案
数据来源受限
分析数据量少
智慧高校大数据云平台建设和运营方案
接口不完善
• 数字校园系统产生数据 • 数据的维度少来源不足
• 数据量百GB到几TB • 结构化数据为主
• 部分数据源有错误 • 接口与结构不规范
教育大数据建设困境——用户多样
校领导
院领导
智慧高校大数据云平台建设和运营方案
校工会
校医院
图书馆