高校大数据专业教学科研平台建设方案

高校大数据专业教学科研平台建设方案

i。芝诺容器分布式实时数据库:支持结构化、半结构化和非结构化数据的存储；采用分布式存储，支持海量数据存储，支持高并发和快速查询。

2。Zeno Monitor服务器监控套件:服务器监控使用Ganglia和Nagios 来监控集群机的资源，包括中央处理器内存、硬盘、网络资源等，以方便用户实时掌握集群机资源的利用情况通过典型算法展示和算法实现，结合大数据分析的应用场景和案例，对学生进行数据分析的综合训练，从而实现专业实验教学从点到面、从理论到应用的多层次实验体系，包括原理验证/综合应用/自主设计和创新，以满足不同学校的实际需要。

3 . Zen Ming数据挖掘工具包:支持各种数据挖掘工具的组合，并支持Mahout和MLlib提供的并行化高性能机器学习算法库；同时，还提出了基于R定制的编程算法。还有强大的主流数据统计图形语言和网络图形开发界面

4v。芝诺分析数据分析套件:Sqoop和Flume用于支持数据迁移和收集；多计算框架模型可以满足不同数据的计算要求。它还支持Hadoop 离线大数据计算、流实时流处理和Spak内存快速计算。支持多语言数据分析、SQL、Java、Python、Scala等

v zenocopp协作管理引擎:基于Zookeeper的协作服务机制，采用Sweet 的管理模式，支持同时运行多个计算框架，可以同时部署Hadoop、

Storm、Spark等计算框架

第6页，共40页

ZDM平台工作流程:

②平台优势:易于安装

友好的图形安装界面使用户能够在一小时内基于

Hadoop/Spark构建一个大数据存储、分析、监控和可视化平台。确保100%成功安装

ⅱ功能齐全

提供一站式大数据开发环境和工具，解决从数据源收集/清理/存储/分析/挖掘/机器学习到数据流处理/可视化/集群监控等问题流分布式实时流处理引擎提供强大的流计算能力，支持复杂的实时处理逻辑，满足企业实时报警、风险控制、在线统计和挖掘的应用需求。

ⅲ性能保证

计算速度比传统关系数据库快50-100倍例如，一个集群包括13个Spark节点，每个节点256G内存服务器，以及一个计算任务，用于在30秒内处理XXXX 15年级教师培训，提供免费教师培训机会(每套产品提供2个免费名额)提供真实的大数据项目实战案例，并不断完善和补充提供有商业价值的数据，每年更新10%为大型数据项提供

技术支持2006-1 6案例支持1 7数据提供1 8项目众包1年教学与实验支持系统由芝诺数据综合分析ZDM平台和芝诺数据教学与培训平台组成。教学实验支持系统部署在大数据教学科研一体机中

2、项目建设的目标和内容

1、项目建设的目标

1)平台建设可以使高校大数据专业与实际应用相结合，提高学生的学习、实践和创新创业能力，可以培养应用型人才所需的职业能力，提高教学效果和就业率，为“大数据时代”创新型人才的培养做出贡献2)平台的建设将支持大数据去冗余、降噪、大数据融合、大数据可视化等关键技术的研究。它可以为学校的教学和科研服务，为大数据和自主创新的发展做出贡献，培养创新团队，积累高水平的研究成果，提高教师的教学和科研水平，促进教学和科研团队的建设

3)平台的建设可以充分发挥学校产业优势，体现学校特色，促进与国内外高校、科研机构和企业的产学研合作，开展项目合作研究和人才培养，促进科研成果转化，促进产学研合作创新。

4)平台的建设有利于促进学科交叉和整合

第3页由40页

2和项目建设内容

1)模块1:平台相关硬件建设

本模块主要包括:大数据教学与研究一体机

技术参数:

为

第4页和40页

第

页提供教学组件的安装、配置、教材、实验手册和其他具体应用的一站式服务，有助于高校更好地满足课程设计、课程计算机实验、实训、科研和培训等各种需求，并在一定程度上缓解大数据教师的短缺。对于大学来说，即使没有大数据的实验基础，该平台也能帮助他们轻松开展大数据的教学、实验和科学研究。

2)模块2:教学与实践支持系统

芝诺大数据教学与研究平台由芝诺数据综合分析ZDM平台和芝诺数据教学与培训平台共同构建通过典型算法展示和算法实现，结合大数据分析的应用场景和案例，对学生进行数据分析的综合训练，从而实现专业实验教学从点到面、从理论到应用的多层次实践教学体系，包括原理验证/综合应用/自主设计与创新。

(1)芝诺数据综合分析ZDM平台

芝诺数据综合分析ZDM平台是一个基于Apache Hadoop和ApacheSpark计算框架的高性能大数据分析平台。它提供了一站式大

数据开发环境和工具，包括一整套对数据存储、分布式计算、分析挖掘和数据可视化的支持用户可以在大数据综合分析处理平台上收集、存储、分析和挖掘海量数据及其内在价值。

ZDM平台包括Hadoop生态组件:

①平台组成:

第5页，40页

ⅱ系统管理界面

在系统管理界面中，在“用户管理”和“角色管理”中，您可以定义角色(管理员、操作员等)。)，添加用户，修改用户密码等。此外，在“资源管理”页面上，您可以指定允许每个用户安装哪些组件或模块。

ⅲ组件安装界面

在“组件安装”界面具有以下功能:基本信息配置(主机名映射)、Hadoop 组件安装、Spark组件安装、数据挖掘工具安装、集群监控和HUE 安装下面逐一介绍。

ⅰ基本信息配置

基本信息配置，即主机名映射，需要在首次安装Hadoop集群之前配置每台服务器的IP地址和主机名的映射点击“配置”按钮后，系统将在后台完成以下配置

修改每台服务器的主机名以完成映射服务器之间完全的SSH相互信

任为每台服务器完成java JDK环境配置。

第11页由40页

ⅱHadoop基本组件

组成在Hadoop基本组件页面上，您可以点击每个Hadoop基本组件的图标来完成相应组件的安装和配置

描述:由于组件之间的相互依赖，如果组件的预依赖组件没有安装，系统会提示用户安装预依赖组件。

ⅲ火花基础组件安装

第12页共40页

在火花基础组件页面上，您可以单击火花基础组件图标。完成Spark 集群的安装和配置(包括Spark SQL、Spark Streaming、MlLib、GraphX) ⅳ数据挖掘工具安装

在数据挖掘工具安装页面上，可以点击每个数据挖掘工具的图标来完成相应工具的安装和配置