“云计算”课程的教学设计与实验安排

16
实验安排
• 云计算实验需要达到的目标 • 云计算实验应包含的内容 • 已开展的实验方案简介 • 正在进行的一些新的尝试
17
云计算实验应包含的内容
• 云计算的两大使能技术
– 虚拟化 – 面向服务的体系结构
• 云计算本身的特点
– 通过软件把能力划分或整合，充分利用资源
18
云计算实验应包含的内容
• Linux操作系统环境的熟悉
– 几乎所有开源云计算平台都基于Linux系统，在没有Linux系统的 环境里搭建云计算系统是难以想象的 – 大多学生对Linux系统并不熟悉
• 集群技术
– 把众多商用服务器联合起来，虚拟成一个整体，对外统一提供 “超级”的服务能力
19
云计算实验应包含的内容
• 虚拟机
13
实验安排
• 云计算实验需要达到的目标 • 云计算实验应包含的内容 • 已开展的实验方案简介 • 正在进行的一些新的尝试
14
云计算实验需要达到的目标
• 理解云计算的基本工作模式
– 多个计算、存储结点“绑”在一起 – 通过虚拟化提高利用率 – 面向服务的基本体系结构
• 理解云系统的特征
– 大量结点一起 – 适合处理大任务或大量任务 – 通过软件松散的耦合系统要素
云计算技术教学专题
“云计算”课程的教学设计与实验安 排
解放军理工大学 胥光辉 (xu_guanghui@126.com)
教学设计
• 教学对象 • 教学内容 • 实验内容 • 课时安排
2
教学设计
• 教学对象 • 教学内容 • 实验内容 • 课时安排
3
云计算课程教学对象
• 本科生（面向全校学员开放的公共选修课，限定100人）
虚拟化技术
2.15 Amazon的弹性计算云EC2 2.16 VMWare的云战略架构 2.17 VMWare的云管理平台vCenter 2.18 VMWare的网络和存储虚拟化技术
* * ○ ○
** * ** **
** * ○ *
序号
知识分类
课程内容
知识点
学员分类
本科生
2.19 Google的分布式锁服务Chubby 2.20 Google应用程序引擎AppEngine 2.21 Google大规模分布式系统的监控基础架构 Dapper 2.22 Amazon的简单队列服务SQS 2.23 Windows Azure AppFabric 2.24 Hadoop的协调器ZooKeeper 3.1 Google云计算开源实现Hadoop 3.2 Amazon云计算开源实现Eucalyptus 3.3 Cassandra 3.4 Hive 3.5 VoltDB 3.6 基于VMWare虚拟机的Hadoop集群运行环境 搭建 3.7 HDFS存储环境搭建与可用性实践 3.8 基于MapReduce的大数据排序编程实践 3.9 基于MapReduce的圆周率计算实践 4.1 云计算体系结构研究 4.2 云计算关键技术研究 4.3 云计算支撑平台研究 4.4 云计算应用技术研究 4.5 云安全技术研究 4.6 经典云计算学术论文研读 4.7 最新云计算前沿论文研读与交流 ○ * ○ ○ ○ ○ * * ○ ○ ○ * * ○ ○ ○ ○ ○ ○ ○ ○ ○
24
已开展的实验方案简介
• 全分布式的Hadoop搭建（10学时）
– 进行单词计数(Wordcount)应用的实验 – 进行单机C语言程序的单词计数实验 – 比较小数据（几兆字节）、大数据（几百兆字节或更大）用两种 方式计算的效果差异 – 理解Hadoop是成熟、完备的分布式处理框架的概念 – 有余力的同学可仿照例程自行设计分布式处理程序
• 面向研究生
– 注重系统架构、技术原理和实现细节分析，提高学员的动手实践 能力，培养其并行思维。研究生云计算课程为40学时，其中理论 课时28学时（含2学时前沿论文研读讨论），实验课时12学时。
• 面向轮训学员
– 在课程知识体系上，轮训学员掌握的知识比本科学员深入，同时 移除了研究生学员的前沿论文研读部分，使其将重点聚焦到云计 算的概念、体系架构、技术原理和应用场景中。在课时设置上， 轮训学员云计算课程为30学时，其中理论课时12学时，实验课时 18学时。
– 隔离：用户角度是一台完全独立的计算机系统 – 共享：可向进程一样共享CPU资源、共享统一的存储资源、在虚 拟网络实体网络间共享网络资源 – 高度可配置：用户需要的资源可方便的配置和更改，资源不足时 可进行在线的虚拟机迁移
• 虚拟网络
– 灵活高效连接虚拟机的保证 – 虚拟网络与实体网络共同构建通信环境
– – – – 1. 通过libvirt将KVM的数据采集后存储到nova的db中 2 修改KVM主机名 可以通过dashboard管理KVM 修改主机名的过程需要重启KVM
28
OpenStack简介
• OpenStack的重要构成部分：
– – – – – Nova - 计算服务 Swift - 存储服务 Glance - 镜像服务 Keystone - 认证服务 Horizon - UI服务
实验 一：OpenStack的安装与部署
实验二：OpenStack镜像管理
– – – – Linux基本操作实践 基wenku.baidu.com虚拟机搭建Hadoop云计算运行环境 云存储系统搭建与应用实践 基于MapReduce的海量数据处理技术应用实践
教学设计
• 教学对象 • 教学内容 • 实验内容 • 课时安排
9
云计算课程课时安排
• 面向本科生
– 强调云计算基础知识普及教育和云计算基础应用实践，对于专业 性较强或前沿知识涉及较少。课程为20学时，其中实验课程占10 学时。
27
正在进行的一些新的尝试
• 虚拟化实验
– 新的实验室条件：新的对虚拟化支持较好的服务器 • 8 Cores x 8CPUs • 128G RAM • 100TB集中存储 – 一台主机足以支持至少50人同时实验 – 通过虚拟化嵌套 • 可做出虚拟机创建、删除、迁移等实验 • 学生可开设更多虚拟机 • 虚拟机资源可共享
4
云计算的 研究热点 与发展趋 势
云计算的研究热点
云计算的发展趋势
【注】在学员分类下，*表示该知识点为该类学员了解内容，**为该类学员重点掌 握内容，○表示该知识点不需要该类学员掌握。
实验安排
• 云计算实验需要达到的目标 • 云计算实验应包含的内容 • 已开展的实验方案简介 • 正在进行的一些新的尝试
• 云计算基础概念与理论知识
– 什么是云计算、云计算的分类与特点、云计算的竞争优势以及云 计算的发展现状和趋势等；
• 典型云计算解决方案
– 了解不同解决方案的特点、异同和应用场景，理解云计算架构中 实现可靠性、可伸缩性的方法，掌握云计算的并行计算思维，了 解云计算对于大数据处理的重要意义；
• 云计算技术应用实践
– 计算机科学技术专业 – 软件工程 – 信息与通信相关专业
• 研究生
– 前沿论文研读（不占用课内学时） – 讨论交流（占用课内学时）
• 在职轮训
– 具备一定工作经验和专业知识背景的部队技术干部，通过短期培 训，使其进行知识更新。
教学设计
• 教学对象 • 教学内容 • 实验内容 • 课时安排
5
云计算课程教学内容
* * ○ ○
* * * **
* * * *
海量数据存储技术
* * * * * * * ○ ○ * * ○ * ○ ○
* ** ** * ** * ** * * * ** ** ** ** *
* ** ** * ** * ** * * * ** ○ * ○ *
海量数据处理技术 2 云计算的关 键技术 海量数据管理技术
15
云计算实验需要达到的目标
• 巩固以前学过的知识并能加以综合运用
– 云计算本身就是综合众多传统技术的新型计算模式 – 加深学生对操作系统、网络、分布式系统、数据库、程序设计语 言、计算机系统结构等方面知识的理解
• 提高动手能力
– 实验过程中必然遇到诸多问题，而且现象迥异 – 要求学生能够在理解理论知识的基础上，积极思考、细致分析、 不断尝试
20
实验安排
• 云计算实验需要达到的目标 • 云计算实验应包含的内容 • 已开展的实验方案简介 • 正在进行的一些新的尝试
21
已开展的实验方案简介
• Linux基本操作（2学时）
– – – – – 实验在VMWare下进行 安装ArchLinux系统，能够从比较基本的概念去了解操作系统 熟悉基本Linux工作方式，掌握基本操作命令 后面的实验基于本次实验所构建的系统进行 复制虚拟机磁盘文件并开启多台虚拟机，直观理解虚拟化概念
序号
知识分类
课程内容
知识点 本科生 1.1 云计算概念的起源 1.2 云计算的特征 1.3 云计算的分类 1.4 云计算的体系结构 * * * ○
学员分类 研究生 * * * * 轮训学员 * * * *
云计算的概念
1
云计算的概 念与现状
云计算的发展现状
1.5 Google、Amazon、微软等国际知名公司云计 算发展现状 1.6 中移动、阿里巴巴和盛大等国内公司云计算 发展现状 1.7 云计算与物联网、3G和移动互联网等新技术 的关联 1.8 云计算的优势（成本优势、规模优势）
25
实验安排
• 云计算实验需要达到的目标 • 云计算实验应包含的内容 • 已开展的实验方案简介 • 正在进行的一些新的尝试
26
正在进行的一些新的尝试
• 原有实验条件的限制
– 许多机器对硬件虚拟化支持不足（即“半虚拟化”技术） – 与传统实验环境冲突（实验室多门课程公用）
• 拟开展的新的实验方案
– 虚拟化实验 – 虚拟网络实验
22
已开展的实验方案简介
• 简单云存储系统：MooseFS文件系统的搭建（4学时）
– – – – – – 最简单的集群系统 理解如何“绑”在一起提供服务 可先独立单机搭建再分组构建分布式环境 元数据服务器 数据存储服务器 客户端
23
已开展的实验方案简介
• 全分布式的Hadoop搭建（10学时）
– 分组进行（5-6人/组） – HDFS（Hadoop文件系统） • Master（主结点） • Chunkserver（存储节点） – Zookeeper（分布式锁管理器） • Paxos算法选举Leader – HBase（Hadoop下NOSQL数据库） • NOSQL的工作特点 • 存储仍在HDFS
• 创建Linux镜像 • 创建Windows镜像
– （一）安装操作系统
– （二）上传Windows镜像
实验 三：KVM迁移到OpenStack
• 原有KVM迁移到OpenStack中管理 – 可以在OpenStack管理平台中对KVM进行重启，删除，暂停/恢复 ，VNC操作 – https://github.com/lightcloud/kvm2openstack
研究生
** * * * * * ** * * * * * ** ** ** * * * * * ** **
轮训学员
** * ○ * ○ * * * ○ ○ ○ * * * * * * * * * ○ ○
2
云计算的 关键技术
其他关键技术
开源云计算系统 3 开源云计 算系统及 应用实践 开源云计算系统Hadoop 应用实践
– 基于现实问题（如海量数据存储、大数据排序处理、计算π值等问 题），通过开源云计算系统应用实践，进一步加深对云计算技术 的理解。
教学设计
• 教学对象 • 教学内容 • 实验内容 • 课时安排
7
云计算课程实验内容
• 贯彻“学以致用”的思想，以知识验证、知识综合、创新 设计为原则，设计课程实践内容。 主要包括
2.1 云计算海量数据存储需求分析 2.2 Google分布式文件系统GFS 2.3 Amazon的基础存储架构Dynamo和简单存储 服务S3 2.4 Windows Azure存储服务 2.5 开源系统Hadoop的云存储系统HDFS 2.5 海量数据处理技术需求分析 2.6 Google的分布式数据处理模型MapReduce 2.7 Windows Azure计算服务 2.8 MapReduce编程技术 2.9 数据管理技术基础 2.10 Google的分布式结构表BigTable 2.11 Google的结构化数据管理技术Megastore 2.12 Amazon的简单数据库服务SimpleDB 2.13 Amazon的关系数据库RDS 2.14 微软云关系数据库SQL Azure