大数据处理与云计算教学大纲20170704

《大数据处理与云计算》教学大纲

课程类别：专业教育课程课程名称：大数据处理与云计算

开课单位：信息与通信工程学院课程编号：B03050503

课程性质：必修

总学时：44(实验12学时) 学分：2.5

适用专业：信息工程

先修课程：C语言程序设计

大纲编写（修订）时间：2017年5月

一、课程在教学计划中的地位、作用

《大数据处理与云计算》是信息工程专业高年级学生开设的一门专业教育课，也是学生了解大数据和云计算基本原理，掌握高性能并行计算的入门课程。通过本课程的学习，使学生掌握大数据和云计算技术基本原理及其系统的基本架构，使学生从应用角度掌握基于MPI的高性能并行计算基本原理和Hadoop分布式文件存储、分布式数据处理技术。培养学生具有高性能计算集群的开发设计、搭建和应用的基本能力，同时为后续大数据与云计算相关课程的学习奠定扎实的基础。

二、课程目标

1. 理解大数据和云计算技术基础，掌握高性能并行计算的工作原理和技术基础，使学生具有将高性能并行计算技术用于工程的能力；（支撑毕业要求1）

2. 学会高性能计算相关的软件、硬件的配置方法，能够针对工程问题提出以MPI高性能并行计算为核心的解决方案，培养学生的系统设计与开发能力；（支撑毕业要求2、3、5）

3. 了解大数据及云计算的研究热点和发展趋势。（支撑毕业要求12）

三、课程内容及基本要求

第1章云计算与大数据基础

1. 了解云计算的意义，了解云服务的定义和分类；

2. 理解云存储、云桌面、云安全等云技术的技术架构和技术特点；

3. 了解了解大数据的定义和大数据处理的基本流程，了解主要的大数据处理系统；

4. 了解云计算与大数据的发展历程。

第2章云计算与大数据的相关技术

1. 了解云计算与大数据；

2. 了解云计算与物联网；

3. 掌握一致性哈希算法；

4. 了解关系型数据库和非关系型数据库；

5. 了解集群高速通信标准InfiniBand；

6. 理解云计算大数据集群的自组织特性。

第3章虚拟化技术

1. 了解虚拟化技术的发展、优势和劣势及其分类；

2. 掌握VirtualBox，了解VMware Workstation 和KVM等常见虚拟化软件；

3. 理解系统虚拟化，理解服务器虚拟化、桌面虚拟化和网络虚拟化。

第4章集群系统基础

1. 了解集群系统的基本概念和分类；

2. 理解单一系统映射和Beowulf集群；

3. 理解集群文件系统的概念；

4. 掌握分布式系统中计算和数据的协作机制（重点）。

第5章MPI——面向计算的高性能集群技术

1. 掌握Linux 操作系统基本操作；（重点）

2. 了解MPI的定义、架构和特点；

3. 掌握MPICH并行环境的建立方法；（重点、难点）

4. 熟练掌握MPI分布式程序设计；（重点、难点）

5. 掌握MPI消息组成和通信模式；（重点、难点）

6. 掌握并行计算中的规约Reduce操作。（重点、难点）

第6章Hadoop——分布式大数据系统

1 了解Hadoop发展历程；

2掌握HDFS文件的基本结构和存储过程；

3 掌握MapReduce编程框架和基本工作过程。

实验一linux基本操作（2学时）

实验内容：

1. 在PC机上安装linux虚拟机；

2. 在用户主目录下对文件进行操作和管理：复制一个文件、显示文件内容、查找指定内容、排序、文件比较、文件删除等。创建和删除子目录、改变和显示工作目录、列出和更改文件权限、链接文件等；

3. 对vi编辑器进行基本操作。

基本要求

1. 掌握虚拟机的安装；

2. 熟悉linux图形化界面和命令窗口界面；

3. 掌握linux中cd、date、pwd、cal、who、clear、passwd等常用命令；

4. 学习使用vi编辑器建立、编辑、显示及加工处理文本文件。

实验2：在虚拟机环境下搭建3个节点的MPI集群（2学时）

实验内容：

掌握MPI的运行原理，完成在传统计算机上，拥有3个节点的虚拟集群系统搭建，安装配置MPICH并测试程序安装的正确性。

基本要求：

1. 掌握linux下集群网络的配置；

2. 掌握NFS文件系统设置；

3. 掌握MPI的安装及运行的基本命令。

实验3：有消息传递功能的并行程序（2学时）

实验内容：

掌握MPI中点对点的通信原理，由其他进程通过MPI消息传递机制向0进程发送“Hello World”字符串数据，非0进程采用MPI_Send()函数发送数据，0进程通过循环语句分别通过MPI_Recv()函数接收来自其他进程的字符串数据。

基本要求：

1. 理解MPI并行函数执行的具体过程；

2. 掌握MPI编译和运行方法。

3. 理解MPI中进程和总进程数的含义；

4. 掌握消息传递函数及其各参数的意义；

实验4：基于蒙特卡洛方法求π（2学时）

实验内容：

根据蒙特卡罗方法的思想，以坐标原点为圆心作一个直径为2的单位圆，再作一个正方形与此圆相切。在这个正方形内随机产生n个点，根据概率理论，判断是否落在圆内，采用这一方法计算π的近似值。

基本要求：

1. 理解蒙特卡罗方法的思想内涵；

2. 掌握MPI中点对点通信

3. 掌握MPI中的规约操作Reduce函数；

实验5、Hadoop系统的安装配置和MapReduce功能的实现（4学时）

实验内容：

1. 在集群系统中安装并配置Hadoop；

2. 利用MapReduce程序对五个文件中的各个单词出现频率进行统计并输出统计结果。基本要求：

1. 了解Hadoop系统基本架构和工作原理；

2. 学会安装、配置和运行Hadoop系统；

3. 理解Map-Reduce的实现方法。

四、学时分配

表4.1学时分配表

五、课程目标达成的途径与措施

1、考核方式及评价依据

表5.1 各考核方式对不同课程目标评价的比例分配表

表5.2 各考核方式的评价依据