智慧教学科研大数据平台建设方案

智慧教学科研大数据平台

解决方案

目录

1. 概述 (4)

1.1.背景 (4)

1.2.建设目标 (4)

1.3.建设的步骤和方法 (4)

2. 教学科研大数据平台概要 (5)

2.1.架构设计 (5)

2.2.教学科研大数据平台优势 (7)

2.2.1. 应用优势 (7)

2.2.2. 未来发展优势 (9)

3. 教学科研大数据平台设计 (9)

3.1.大数据资源池 (10)

3.1.1. cProc云计算 (10)

3.1.1.1. cProc云计算概述 (10)

3.1.1.2. 数据立方 (11)

3.1.1.3. 混合存储策略 (16)

3.1.1.4. 云计算核心技术 (16)

3.1.1.4.1. 数据处理集群的可靠性与负载均衡技术 (16)

3.1.1.4.2. 计算与存储集群的可靠性与负载均衡 (20)

3.1.1.4.3. 计算与存储集群的负载均衡处理 (22)

3.1.1.4.4. 分布式文件系统的可靠性设计 (24)

3.1.1.4.5. 分布式数据立方可靠性设计 (24)

3.1.1.4.6. 分布式并行计算可靠性设计 (26)

3.1.1.4.7. 查询统计计算可靠性鱼负载均衡设计 (26)

3.1.1.4.8. 数据分析与数据挖掘 (28)

3.1.1.4.9. cProc云计算优势 (36)

3.1.2. cStor云存储 (37)

3.1.2.1. cStor云存储介绍 (37)

3.1.2.2. cStor云存储架构 (39)

3.1.2.3. Stor云存储关键技术 (44)

3.1.2.4. 数据安全诊断技术 (45)

3.1.2.5. cStor云存储优势 (46)

3.2.大数据教学基础平台 (47)

3.2.1. Hadoop架构 (47)

3.2.2. Hadoop关键技术 (48)

3.2.3. Hadoop优势 (52)

3.2.4. Hadoop教学 (52)

3.3.教学科研私有云 (54)

3.3.1. Minicloud迷你云 (54)

3.3.1.1. Minicloud迷你云介绍 (54)

3.3.1.2. Minicloud迷你云特点 (55)

3.3.1.3. Minicloud迷你云优势 (55)

3.3.2. 网盘 (58)

3.3.2.1. 网盘系统设计 (58)

3.3.2.2. 文件同步管理系统 (60)

3.3.2.3. 文件分析系统 (65)

3.3.2.4. 网盘优势 (66)

4. 产品配置 (68)

1.概述

1.1. 背景

随着教学资源的飞速增长，海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足等问题，利用大数据处理平台已成当务之急。大数据处理平台是建立在云数据库基础上针对海量的数据的集中计算。建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的数据计算平台。

在高校开发云计算科研平台、建立云计算科研实验室、创设云计算教学培训等，实现高校教学科研一体化流程。海量教学资源存储平台的实现使高校中海量教学资源数据能够有效存储和共享，对今后数字化校园的建设有了更加深渊的意义。为高校实现信息化教学和科研管理奠定良性基础，增加高校学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才。

1.2. 建设目标

建设一个大数据教学科研实验室，做成大数据平台。即可以为高校科学研究提供技术支持，也可以满足高校的教学内容，做成高校大数据的标杆。

1.3. 建设的步骤和方法

大数据平台建设以硬件平台搭配软件为基础，支撑实验室电子数据信息的存储和处理。

1.首先需要建立初步的大数据存储资源池和计算资源池，通过cStor、cProc、Minicloud来实现存储资源池和计算资源池，搭配Hadoop和网盘达到教学任务和科研任务，可以提供初步的大数据平台教学科研效果，实现高校教学科研一体化。

2.对初步大数据存储资源池和计算资源池进行扩容，建立虚拟化平台，深层次进行高端教学和高精尖科研的大数据平台。

3.对大数据存储资源池和计算资源进一步挖掘，实现基于云存储、云计算、虚拟

化等技术的进一步科研。

2.教学科研大数据平台概要

2.1. 架构设计

建立初步的大数据存储资源池和计算资源池,通过大数据教学基础平台、初步的大数据资源池(包括计算资源池和存储资源池)以及科研私有云建设来实现。

1.教学科研大数据资源池主要是计算资源池和存储资源池的设计和建设：

a)cProc云处理平台建立计算资源池；

b)cStor云存储系统建立存储资源池；组合成大数据资源池。

2.大数据教学基础平台通过Hadoop大数据平台建设来达到

使用Hadoop一揽子解决方案建设。

3.教学科研私有云建设：使用Minicloud搭配云盘设计学院私有云，辅助教学科

研，丰富教学科研多样化。

教学科研大数据平台架构图

高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类搜索点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。

通过实际需求的判断，将科研教学大数据平台设计分为3个层次IaaS、PaaS、SaaS。

IaaS层：利用云存储技术和云计算技术，将计算机存储和网络等硬件资源以逻辑方式形成基础资源池，通过这样的形式为实验室的各业务模块提供资源服务；同时提供统一监控管理。同时后期可以加入虚拟化技术再将资源池提供给虚拟机、虚拟存储或虚拟端口组等经过二次封装与组合、调度使用，形成一个个面向用户的虚拟服务器、虚拟桌面或者云存储系统。提供物理资源和虚拟资源的统一监控管理，进而提供全生命周期资源服务。

PaaS层：在IaaS层基础上，采用分布式数据库--数据立方来解决海量结构化数据的管理和数据交互，云存储集群来存储结构化数据和非结构化数据。提供标准SQL接口、JDBC接口、webservice接口、集群管理接口、负债均衡接口等接口与前台所有应用进行无缝对接。同时预留了其他接口如提供海量任务并行调度引擎接口等接口极大的方便了大数据平台的扩展。能够实时处理任务的负载均衡和任务分发，做到所有任务实时分发处理，不堆积，做到高度可靠性，任何任务处理过程中不会丢失，保障所有任务都能够处理完。

SaaS层：大数据平台能够支撑完善的科研教学任务运行，所有科研教学任务数据统一管理，根据权限做到绝对安全访问，同时能够支撑云盘功能，为未来其他业务系统也留存了对接接口。