第10章-云计算大数据仿真技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
服务器是数据中心的主要组成部分，我们可以将服务器的计算性能、 CPU核数、硬盘大小、内存大小、网络带宽等主要参数提取出来，构建 服务器对象。
10.1 用参数定义物理设备进行仿真
下面以一个由4个虚拟机节点组成的集群为例，说明如何使用参数来定义物 理节点，集群的参数信息如表10.1所示。
表10.1 虚拟机性能参数
用户可以使用CloudSim提供的组件进行编程，构造自己的应用场景，也可 以扩展或者自己编写类来进行仿真，使用起来非常灵活。这一点与针对特 定使用场景的仿真系统不同，针对特定使用场景的仿真系统在使用的时候 只需填写参数即可使用，无需编程，但无法灵活地构建使用场景。
10.2.1 CloudSim基础
CloudSim是使用Java语言开发的，用户只需掌握Java语言的用法和云计 算的相关知识，即可建立云计算模型进行仿真。仿真平台是个模拟器， 并不能运行真实的云计算平台上的应用程序。
10.2.1 CloudSim基础
1．CloudSim简介
— CloudSim是澳大利亚墨尔本大学云计算与分布式系统实验室开发的一种通用、 可扩展的云计算仿真框架，也是一个云计算仿真工具集，提供了用于描述数据中 心、虚拟机、应用、用户、计算资源和管理策略等核心类。
— 对海量集群资源的模拟仿真一直是是计算机领域的研究课题。在网格计算时代出 现了很多仿真平台，如GridSim、SimGrid、OptorSim、GangSim等，其中 GridSim的开发团队也是澳大利亚墨尔本大学云计算与分布式系统实验室。 GridSim等网格计算仿真软件没有将云计算体系中的SaaS、PaaS、IaaS层抽象 出来，也没有虚拟化模型和资源管理模型，CloudSim继承了GridSim的编程模型， 弥补了网格计算模拟软件的不足。
节点1 节点2 节点3 节点4
计算能力 (MIPS)
300 300 150 150
CPU 核数
2 2 1 1
硬盘大小 (MB)
10000 10000 5000 5000
内存大小 (MB)
512 512 256 256
网络带宽 (MB)
1000 500 500 1000
10.1 用参数定义物理设备进行仿真
目录
CONTENTS
第1章 云计算与大数据基础 第2章 云计算与大数据的相关技术 第3章 虚拟化技术 第4章 集群系统基础 第5章 MPI—面向计算 第6章 Hadoop—分布式大数据系统 第7章 HPCC—面向数据的高性能计算集群系统 第8章 Storm—基于拓扑的流数据实时计算系统 第9章 服务器与数据中心 第第1100章章 云云计计算算大大数数据据仿仿真真技技术术
10.2.1 CloudSim基础
基于CloudSim云计算仿真器，我们不仅能够很方便地搭建可控的云环境进 而对系统的资源调度和负载均衡策略进行建模和测试，还可以对云应用进 行建模和测试。研发人员根据测评结果针对性地调整性能瓶颈。与此同时， CloudSim对云系统建立了价格模型和能耗模型，帮助服务提供商制订出更 加合理的价格策略和节能机制。
10.3 云计算系统相空间模型
— 计算机仿真是将现实生活中的系统，用计算机软件的方法在计算 机中建立虚拟的替代物，以方便人们研究系统各个方面的性质。
— 比如，我们可以使用计算机软件对不同气候条件下的导弹的发射 进行建模，模拟导弹的运动轨迹，我们可以对不同型号的导弹在 不同的动力系统条件下的运动轨迹进行反复实验。
— 我们可以用数组来定义：
double node[4][5]={300,2,10000,512,1000; 300,2,10000,512,500; 150,1,5000,256,500; 150,1,5000,256,1000};
— 对硬盘、内存等其他设备也可以如此进行定义，比如，硬盘可以用品牌、型号、 尺寸、容量、转速、传输速度等参数来定义，内存可以用品牌、型号、容量、速 度、电压等参数来定义。
— 使用计算机软件的仿真技术具有经济、安全、可重复和不受气候、 场地、时间限制的优势，是理论推导和科学实验之外人类认识自 然、改造自然的重要手段。
— 本书前面几章讲解了基于虚拟化的云计算技术、基于集群的云计算技术 和云计算数据中心的相关知识，基于这些技术目前已经有很多的系统级、 算法级和应用级的研究展开，这些开发和研究大多需要仿真平台。
— 比如，技术研发人员对大规模集群的资源调度、负载均衡、集群拓扑等 展开研究，如果在物理机上进行实验，必然需要消耗大量的服务器、网 络设备资源，实验环境的准备、实验数据的采集、实验方案的调试很不 方便，同时成本很高，使用仿真系统是一个很好的解决方案；
— 对于数据中心的建设和运营人员来说，数据中心的能耗测算和经济测算 非常重要，需要在项目建设之前进行预估，无法在实际的平台上进行测 算，展开研究需要先在仿真实验平台上进行实验。
10.1 用参数定义物理设备进行仿真
本章的主要内容包括云计算仿真软件CloudSim和云计算系统相 空间模型，通过仿真软件和仿真模型使读者快速掌握云计算仿真 的基础知识。
10.1 用参数定义物理设备进行仿真
在仿真系统中，我们一般将实体的参数提取出来，用变量、对象、数组 来定义现实中的事物在计算机系统中构建被仿真对象。
第10章 云计算大数据仿真技术
《云计算与大数据Βιβλιοθήκη Baidu术》
第10章 云计算大数据仿真技术
10.1 用参数定义物理设备进行仿真 10.2 云计算仿真系统—CloudSim
— 10.2.1 CloudSim基础 — 10.2.2 CloudSim体系结构 — 10.2.3 CloudSim的使用模型场景 — 10.2.4 CloudSim使用实例
— 在对数据中心的经济模型进行仿真时，我们需要对CPU核单价、硬盘空间单价、 内存空间单价、网络带宽单价等进行定义，确定销售经济模型。同时，需要定义 数据中心能耗费用、维护费用、人员成本等，从而综合确定数据中心的经济模型， 对数据中心建成后的营收情况进行预测。
10.2 云计算仿真系统—CloudSim
10.1 用参数定义物理设备进行仿真
下面以一个由4个虚拟机节点组成的集群为例，说明如何使用参数来定义物 理节点，集群的参数信息如表10.1所示。
表10.1 虚拟机性能参数
用户可以使用CloudSim提供的组件进行编程，构造自己的应用场景，也可 以扩展或者自己编写类来进行仿真，使用起来非常灵活。这一点与针对特 定使用场景的仿真系统不同，针对特定使用场景的仿真系统在使用的时候 只需填写参数即可使用，无需编程，但无法灵活地构建使用场景。
10.2.1 CloudSim基础
CloudSim是使用Java语言开发的，用户只需掌握Java语言的用法和云计 算的相关知识，即可建立云计算模型进行仿真。仿真平台是个模拟器， 并不能运行真实的云计算平台上的应用程序。
10.2.1 CloudSim基础
1．CloudSim简介
— CloudSim是澳大利亚墨尔本大学云计算与分布式系统实验室开发的一种通用、 可扩展的云计算仿真框架，也是一个云计算仿真工具集，提供了用于描述数据中 心、虚拟机、应用、用户、计算资源和管理策略等核心类。
— 对海量集群资源的模拟仿真一直是是计算机领域的研究课题。在网格计算时代出 现了很多仿真平台，如GridSim、SimGrid、OptorSim、GangSim等，其中 GridSim的开发团队也是澳大利亚墨尔本大学云计算与分布式系统实验室。 GridSim等网格计算仿真软件没有将云计算体系中的SaaS、PaaS、IaaS层抽象 出来，也没有虚拟化模型和资源管理模型，CloudSim继承了GridSim的编程模型， 弥补了网格计算模拟软件的不足。
节点1 节点2 节点3 节点4
计算能力 (MIPS)
300 300 150 150
CPU 核数
2 2 1 1
硬盘大小 (MB)
10000 10000 5000 5000
内存大小 (MB)
512 512 256 256
网络带宽 (MB)
1000 500 500 1000
10.1 用参数定义物理设备进行仿真
目录
CONTENTS
第1章 云计算与大数据基础 第2章 云计算与大数据的相关技术 第3章 虚拟化技术 第4章 集群系统基础 第5章 MPI—面向计算 第6章 Hadoop—分布式大数据系统 第7章 HPCC—面向数据的高性能计算集群系统 第8章 Storm—基于拓扑的流数据实时计算系统 第9章 服务器与数据中心 第第1100章章 云云计计算算大大数数据据仿仿真真技技术术
10.2.1 CloudSim基础
基于CloudSim云计算仿真器，我们不仅能够很方便地搭建可控的云环境进 而对系统的资源调度和负载均衡策略进行建模和测试，还可以对云应用进 行建模和测试。研发人员根据测评结果针对性地调整性能瓶颈。与此同时， CloudSim对云系统建立了价格模型和能耗模型，帮助服务提供商制订出更 加合理的价格策略和节能机制。
10.3 云计算系统相空间模型
— 计算机仿真是将现实生活中的系统，用计算机软件的方法在计算 机中建立虚拟的替代物，以方便人们研究系统各个方面的性质。
— 比如，我们可以使用计算机软件对不同气候条件下的导弹的发射 进行建模，模拟导弹的运动轨迹，我们可以对不同型号的导弹在 不同的动力系统条件下的运动轨迹进行反复实验。
— 我们可以用数组来定义：
double node[4][5]={300,2,10000,512,1000; 300,2,10000,512,500; 150,1,5000,256,500; 150,1,5000,256,1000};
— 对硬盘、内存等其他设备也可以如此进行定义，比如，硬盘可以用品牌、型号、 尺寸、容量、转速、传输速度等参数来定义，内存可以用品牌、型号、容量、速 度、电压等参数来定义。
— 使用计算机软件的仿真技术具有经济、安全、可重复和不受气候、 场地、时间限制的优势，是理论推导和科学实验之外人类认识自 然、改造自然的重要手段。
— 本书前面几章讲解了基于虚拟化的云计算技术、基于集群的云计算技术 和云计算数据中心的相关知识，基于这些技术目前已经有很多的系统级、 算法级和应用级的研究展开，这些开发和研究大多需要仿真平台。
— 比如，技术研发人员对大规模集群的资源调度、负载均衡、集群拓扑等 展开研究，如果在物理机上进行实验，必然需要消耗大量的服务器、网 络设备资源，实验环境的准备、实验数据的采集、实验方案的调试很不 方便，同时成本很高，使用仿真系统是一个很好的解决方案；
— 对于数据中心的建设和运营人员来说，数据中心的能耗测算和经济测算 非常重要，需要在项目建设之前进行预估，无法在实际的平台上进行测 算，展开研究需要先在仿真实验平台上进行实验。
10.1 用参数定义物理设备进行仿真
本章的主要内容包括云计算仿真软件CloudSim和云计算系统相 空间模型，通过仿真软件和仿真模型使读者快速掌握云计算仿真 的基础知识。
10.1 用参数定义物理设备进行仿真
在仿真系统中，我们一般将实体的参数提取出来，用变量、对象、数组 来定义现实中的事物在计算机系统中构建被仿真对象。
第10章 云计算大数据仿真技术
《云计算与大数据Βιβλιοθήκη Baidu术》
第10章 云计算大数据仿真技术
10.1 用参数定义物理设备进行仿真 10.2 云计算仿真系统—CloudSim
— 10.2.1 CloudSim基础 — 10.2.2 CloudSim体系结构 — 10.2.3 CloudSim的使用模型场景 — 10.2.4 CloudSim使用实例
— 在对数据中心的经济模型进行仿真时，我们需要对CPU核单价、硬盘空间单价、 内存空间单价、网络带宽单价等进行定义，确定销售经济模型。同时，需要定义 数据中心能耗费用、维护费用、人员成本等，从而综合确定数据中心的经济模型， 对数据中心建成后的营收情况进行预测。
10.2 云计算仿真系统—CloudSim