联想高教行业大数据解决方案

联想大数据解决方案

高教行业

目录

1背景概述 (4)

2需求分析 (5)

2.1大数据是什么 (5)

2.2深度学习是什么 (6)

2.3从数据角度看大数据 (7)

2.4从技术角度看大数据 (7)

2.5从行业和社会效益角度看看大数据 (8)

3联想大数据解决方案 (9)

3.1功能架构 (10)

3.2技术架构 (12)

4联想大数据平台 (14)

4.1数据采集 (14)

4.1.1数据采集 (14)

4.1.2数据抽取 (15)

4.1.3数据转换 (15)

4.1.4数据加载 (16)

4.2数据采集管理 (16)

4.2.1数据校验 (17)

4.2.2统一调度监控 (18)

4.3分布式架构支持 (19)

4.4数据计算与存储 (19)

4.5数据能力开放 (20)

4.5.1数据在线挖掘工具 (21)

4.5.2数据挖掘建模 (21)

4.5.3多租户管理 (21)

4.6数据分析应用套件 (23)

4.6.1可视化查询分析 (23)

4.6.2数据快速查询 (24)

4.7数据资产管理 (25)

4.7.1元数据管理 (26)

4.7.2数据模型管理 (27)

4.7.3数据标准管理 (27)

4.7.4数据质量管理 (28)

4.7.5数据安全与隐私管理 (30)

4.8系统运维管控 (31)

4.8.1监控告警 (34)

4.8.2监控指标 (34)

5联想深度学习平台 (38)

5.1主要功能特点 (39)

5.2系统架构及运行环境 (40)

5.3系统特性 (41)

6联想大数据分析应用样例 (44)

6.1学生异常行为检测报警系统 (44)

6.1.1应用对象及价值 (44)

6.1.2应用场景方案 (45)

6.1.3异常行为检测报警 (48)

6.2大数据智能点名系统 (48)

6.2.1应用对象及价值 (48)

6.2.2应用场景方案 (48)

6.2.3深度学习图像识别 (50)

6.3贫困生智能检测系统 (52)

6.3.1应用对象及价值 (52)

6.3.2应用场景方案 (52)

6.3.3贫困等级评价系统 (55)

6.4其他分析应用概述 (56)

7大数据展现 (57)

8硬件平台方案 (58)

8.1拓扑结构 (58)

8.2配置清单 (59)

9联想优势 (61)

10案例 (62)

1背景概述

目前，我国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势，大数据部分关键技术研发获得突破，涌现出一批互联网创新企业和创新应用，很多党政机关、企事业单位和教育教学机构已启动大数据相关工作,并带来很好的社会效益和经济效益。坚持创新驱动发展，加快大数据部署，深化大数据应用，已成为各行各业信息化发展的内在需要和必然选择。

我国高校信息化始于上个世纪八十年代，前期十多年主要是校园网络、CAI课件和分散独立的管理信息系统建设。进入二十一世纪，高校数字校园建设得到快速发展，几乎所有的高校在这十多年都经历了一至两轮的数字校园建设，提升了高校信息化的整体水平。然而，最近两年，以管理信息化为核心的高校数字校园建设遇到了多方面的挑战，随着云计算、物联网、移动互联、大数据、以及知识管理与社交网络等新型信息技术的广泛应用，高校信息化建设和管理也需要通过大数据技术带来新的变革。

高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类搜索点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。

大数据使得查探学生表现和学习途径信息成为可能，学生通过在线学习平台进行学习，其学习行为数据将被记录，系统后台根据不断积累的行为数据对学生进行评估，分析学生的思考习惯和思维模式，创建心理测量图，根据学生的学习进展调整之后的学习内容和重点。实时记录学生的量化学习过程(上课、读书、记笔记、作业、讨论、考试、考评等)和实验的过程结果等，这些数据将作为课程最后考评的重要参考依据。通过聚焦于数据分析，教师可以用更有效的方式研究学生学习状况和学习效果。

本着加强学校管理能力和学生管理的目标，联想提供大数据平台、深度学习平台、以及分析应用层面的建设。利用大数据和深度学习技术，提高学校的教学、科研以及管理水平，并且逐步开展在各学科关联的行业领域的大数据技术、应用层面的研究。

2需求分析

2.1大数据是什么

什么是大数据？可用3 个特征来定义大数据：数量、种类和速度（如下图所示）。这些特征相结合，定义了所谓的“大数据”。它创造了一种需求，那就是使用一类新功能来改善当今的做事方式，提供对我们现有的知识领域和驾驭其能力的更有效控制。

图1 大数据定义的三个特征

相对于3个特征维度的技术定义，大数据则是一个更为广泛的概念，并没有一个标准限定多大规模的数据集合才是大数据。传统的BI（商业智能，Business Intelligence）分析关注单个领域或主题的数据，这造成了各类数据之间强烈的断层。而大数据分析则是一种总体视角的改变，是一种综合关联性分析，发现具有潜在联系之间的详细。注重相关性和关联性，并不仅仅局限于因果关系，这也是大数据应用于传统数据仓库和BI技术的关键区别之一。

2.2深度学习是什么

深度学习（deep learning）是机器学习的一个分支，它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

表征学习的目标是寻求更好的表示方法并建立更好的模型来从大规模未标记数据中学习这些表示方法。表达方式类似神经科学的进步，并松散地建立在类似神经系统中的信息处理和通信模式的理解上，如神经编码，试图定义拉动神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。

至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神经网络已被应用计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。