xx大学大数据实验教学方案(含深度学习一体机)

xx大学

大数据与信息工程学院

大数据实验教学平台建设方案

XX大数据科技股份有限公司

XXXX年11月

目录

1 概述 (2)

1.1 背景 (2)

1.2 建设目标 (2)

2 科研教学大数据平台概要 (3)

2.1 总体架构设计 (3)

2.2 大数据教学科研平台配套资源 (4)

2.2.1 内容充实的课程体系 (4)

2.2.2 多元化的大数据资源包 (5)

2.3 科研教学大数据平台优势 (7)

2.3.1 安全可靠的实验环境，大幅度提升大数据技能 (7)

2.3.2 桌面虚拟化平台架构 (8)

2.3.3 增加高校硬实力和影响力 (8)

3 科研教学大数据平台详细设计 (9)

3.1 桌面虚拟化 (9)

3.1.1 平台整体架构 (9)

3.1.2 平台组件解析 (10)

3.2 大数据实验一体机 (10)

3.2.1 架构设计 (11)

3.2.2 大数据资源池建设 (12)

3.2.3 大数据教学基础平台 (17)

3.3 教学云盘 (21)

3.3.1 网盘系统设计 (21)

3.3.2 文件同步管理系统 (24)

3.3.3 文件分析系统 (27)

3.3.4 XX网盘特点 (28)

3.4 深度学习 (30)

3.4.1 深度学习一体机 (31)

3.4.2 准系统 (33)

3.4.3 GPU (34)

1概述

1.1背景

全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020 年，全球将总共拥有35ZB的数据量，是2010年的近30倍。大数据的需求趋势越来越多。大数据科学研究也在不断壮大，美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立大数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了大数据科学课程。

目前全球都面临大数据人才荒，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%，因此在高校开发云计算大数据科研平台，建立云计算大数据科研实验室、创设云计算大数据教学培训，实现高校教学科研一体化流程，将为高校增加学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。

1.2建设目标

xx大学大数据与信息工程学院着眼于未来，着手从全球的技术重点难点-大数据的科研和教学出发，拟打造中国大数据教学科研的标杆，建设新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据科研教学平台，教学平台具体建设目标如下：

1.建设桌面虚拟化平台，解决普通PC电脑在教学过程中产生的维护难、易

感染病毒、数据易丢失等问题。

2.建立大数据实验教学一体化平台，供高校师生进行日常的大数据教学以

及上机实验等活动。

3.大数据实验教学配套教材，实验手册以及高清视频教程。

4.建设配套网络云盘系统，实现教学资源、相关资料的备份和共享。

5.建立大数据深度学习一体机，进行高校深度学习的科研平台。

2科研教学大数据平台概要

2.1总体架构设计

大数据教学科研整体解决方案架构图

针对高校大数据实验教学过程中产生的问题，XX大数据为各大高校量身定制了大数据软硬件一体化教学科研平台，平台以大数据实验一体机为核心，通过应用容器技术，在容器中可根据需求部署Hadoop、Spark、Hbase等等进行相应的实验教学活动，平台以少量机器虚拟大量实验集群，供大量学生同时拥有多套集群进行实验，而每个学生的实验环境不仅相互隔离，方便高效的完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。

同时为了易于管理、保证数据安全，实验室中全部采用虚拟化桌面系统，用户的操作系统和应用环境是在平台上虚拟出来的，通过网络将图像传输到终端上显示，因此应用的执行全部在服务器上，终端只作为一个输入输出设备，更加安

全和可靠。

目前，高校大数据的教学、科研不仅缺少相应的实验设备，同时对于具体实验内容和实验步骤等也缺少相应的经验，对此XX大数据实验教学整体方案提供一套完整的实验教案，一方面通过大数据教材、讲义PPT、视频课程等理论学习，帮助学生建立从大数据监测与收集、存储与处理、分析与挖掘直至大数据创新的完整知识体系，另一方面，搭配教学组件安装包及实验数据、实验手册、专业网站等一系列资源，使高校可在36个大数据实验中任意挑选并轻松完成实验，大幅度降低大数据课程的学习门槛。

同时实验室的教学材料、实验手册等教学资源通过网络云盘进行共享，XX 网络云盘系统是基于XXcStor云存储系统上构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务，提供在线预览、断点续传、文件自动同步、局域网加速、自动备份、外链管理、预览权限等功能。

2.2大数据教学科研平台配套资源

作为一个可供大量学生完成大数据与云计算实验的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。具体资源如下：

2.2.1内容充实的课程体系

在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下，大数据实验一体机解决方案涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。