优先权排队云计算模型

2.1.2、M/M/1传统排队模型
到达和服务服从负指数分布，只有一个服务台。
2.1.3、具有优先制的M/M/1排队模型
每次系统中只可以有一组具有最高的数据流进行服务，同等级别传输等待，
其余优先级别的会被终断然后再次进行重新排队，任务节点(服务台)立即 对最高优先级的进行处理。 此时的服务时间就是分组的传输时间：节点在 忙时传输一个数据的时间间隔。
依次类推：
q i Gq i 1 q
得到：
q i Wi Gq i 1 q
Wq Gq
1

由此推导出了优先制的M/M/1的平均网络迟延和等待时间
2.3、负载均衡调度算法的度量指标
pCPU i , pRami , pStorei 1）PM资源：PM i i, pCPU i , pRami , pStorei i为PM的编号， 是同一台PM提供的CPU值、内存值、存储数值。
④、Reduce worker读取其负责的相应中间键值对值后，此时如果分区较少， 则会使不同的键值对映射到一个Reduce任务上，需要根据同键值对聚集在 一起的原则进行排序。 ⑤、排序好的键值对由Reduce worker传递给Reduce函数，其产生的数据会 自动添加到R个分区对应的输出的文件。 ⑥、Map和Reduce任务完成后，Map-Reduce会把放在R个分区的输出文件 对应返还给用户程序。
X i : 第i个数据的剩余服务时间。 Ri : 队伍里的等待个数。 pk 为第k 个用户的服务时间,i的等待时间为： i 1 i 1 Wi X i pk Wi E X i E pk E X i p E Ri 平均排队长度 k i Ri k i Ri
1
…………… ②
根据数学归纳法可以得到 G1 q
1
i
i 1
q
……………….③
将①和②整合可以得到：
1 1 G2 1 1 1 2 1 2 2 1
由 G2 W 2 1 得到

W2 G2
【注】DRS:分布式资源调度程序，根据对资源池资源负载的动态监控，合理触发 均匀分配规则，最终实现资源池中的物理服务器之间重新分布虚拟机的目的 。当 虚拟机遇到负载增大时，DRS将通过在资源池中的物理服务器之间重新分布虚拟机 来自动为其分配更多资源。
6)容量—完工总时间capacity-makespan(CM):
vCPU j , vRam j , vStore j 2) VM 资源: VM j j , vCPU j , vRam j , vStore j j为VM的ID类型，
是虚拟机VM需要的的CPU值、内存值、存储数值。 3）时间跨度： Tn tn tn 1 4）某段时间内 PM i 的平均CPU的利用率：
加权最小链接算法：用权值来代表服务器的处理能力，将用户的请求 分配给当前链接数和权值之比最小的服务器。 负载最轻综合均衡算法:通过对服务负载性能数据实时的采集和对轻负 载服务器的周期性判决做到动态的负载均衡。 综合利用率乘积法：对服务器负载性能数据实时采集和对超载服务器 进行动态迁徙实现。
1.1.4、负载均衡：
是指所有的服务器的平均资源利用率达到平衡，它的优化目标是资源利用 率的平衡，所有物理服务器(CPU、内存利用率、网络带宽等)的利用率基 本一致。每当有资源被分配使用时，通过计算分配到资源利用率最低的资 源上。
1.1.5、负载均衡的调度算法
云计算环境下资源调度是单一调度算法求解中具有局限性的一种NP-Hard 难题。它分为静态调度和动态调度算法。 静态调度算法： 轮转调度算法：把新的链接请求按顺序轮流的分配到不同的服务器上， 从而实现负载均衡 加权轮转调度算法：用全值表示服务器的处理能力，一段时间后，各 服务器处理的请求分配到当前连接数最少的服务器上。 动态调度算法： 最小链接算法：记录服务器上链接数的负载均衡器把用户的请求分配 到当前连链接数最少的服务器上。
output file1 output file2
Output Files
worker
Intermediate files On local disks Reduce phase
.
2、模型概述及分析
2.1、模型概述
2.1.1、基于运筹学优先制的排队模型
它不再按照先来先服务的原则进行服务，而是按照优先权进行服务，级别 较高的比级别较低的享有优先权，同一级的按照先来先服务的原则进行。 假设数据到达流具有不同的K个优先级，按照采集数据节点的跳数来决定 任务节点处理数据的优先级，假设第1跳具有第1类分组流，优先级由1开始 逐级递减！随着跳数的增加，后续节点需要处理的数据会增多，进而优先 级的划分可以延迟前续节点采集的数据在后续过程中的传输效果。
由P 2 =
2
2
W
(1 )
得到无优先级的网络来自百度文库延为
W
(1 )
2.2.2、具有优先级M/M/1模型
除了到达进入节点需要根据优先级来进行服务，其余的和传统的一致，到 达和服务均服从poisson分布，应用在Map—Reduce莫兴中
1

: 为平均传输时间
Gi : 第i级数据在节点中的平均迟延 W i : 第i数据在节点中的排队等待时间 2 根据1 = 1 ，1 =，E p 2 2 ，结合传统的网络时延可以得到：
2.2、网络迟延分析
2.2.1、对于传统无优先级M/M/1模型
1 p : 第i个数据服务时间令P = p , p , p , 则平均服务时间P E P i i 2 3 c


它的二阶矩即指平方的期望 :P 2 E P 2

假设系统中第i个数据抵达时，第j个正在传输。
CM c j t j c j : VM j的CPU 请求 t j:是请求VM的ID号j时间
由此可以看出第i组的传输时间，即是逗留时间，同时也是网络延时
lim Wi W X pRQ X
i
1

W X W X lim X i , RQ E Ri ,
i

X W 1
只需要知道剩余服务时间X，用N来表示，就能求解出平均时延，服从负指数 分布，由它的(各态历经)遍历性可知有稳态解，则有：
1

当有第1第2第3优先级时有： 1 2 3 G13 1 G1 2 G2 3 G3
又由③式可以得到：
1 1 2 G3 1 1 2 1 2 3 2 1 2 3 3 1 3 2
……………①
理解：由负指数分布的性质，对于较高级别的到来而中断的服务，重新回到队伍中 的较低级别的顾客的服务时间，不会受到前一段的影响。因此对于 G1 2只需要将两 个的输入率加和即可， G1 2 服从 1 2 的负指数分布，则：
G1 2

1 2
1.2.2、Map-Reduce的调度模型图示
Fork
user Program Master
Assign map
split0 split1 split2 split3 split4
Input Files
read
worker worker worker
Map phase
Local
worker
write
1.1.5、网络延迟：
网络延迟是指数据在传输过程中，出现排长队的情况，从而使计算机接收 到数据的时候会有一点的延迟，就是网络延迟。也可以理解为：虚拟机请 求网络传输所用的时间。
1.1.6、NLBSA算法 是基于运筹学优先制M/M/1的排队模型的网络延迟均衡调度 算法，它将网络延迟、物理机和虚拟机的CPU、内存等资源 均加以考虑，可缩短虚拟机请求的调度时间。
A A A pCPUU PRamU PStoreU 一台PM提供资源的均值：Avei 3
A A A CPU、内存、存储的平均利用率：CPUU , RamU , StoreU
DRS负载均衡的度量标准：
CLBi 1, 所有VM 获得所有PM 授予的权利 CLBi 1,VM 不能获得PM 授予的权利
1.2.2、Map-Reduce的工作原理：
①、Map-Reduce将用户任务分解为N个子任务 ②、Master为空闲的Worker分配Map任务或是Reduce任务 ③、Mapworker读取对应的文件块的数据，解析出相应的键值对，然后传 给Map函数，将产生的键值对分配给R个区缓存在磁盘上，在传给Master， 然后Master以此为依据将信息发送给Reduce worker。
1.1.2、云计算分类：
按照服务类型分为：基础设施云、平台服务云、应用软件云。 按照服务方式分类：公有云、私有云、混合云。
1.1.3、云计算资源调度算法：
随机算法：即把虚拟机的请求随机的分配到相应资源的物理机上。 轮转算法：将用户需求的请求轮流、有序的分配到相应地物理机上。 散列算法:把虚拟机请求的任务提前设置好散列函数，然后映射到物理器。
1 t 1 1 2 N lim n t dt lim pi t t 0 t t i 1 2
m t
m(t)[0,t]区间内已服务的用户数 n(t)在时间数据流内的剩余传输(服务)时间
X P2 1 2 将上式的极限和求和用 代替则有X pi ，代回到 W 1 2 1 2
1.2、Map-Reduce分布式编程模型
1.2.1、什么是Map-Reduce?
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概 念"Map(映射)"和"Reduce(归约)"，和它们的主要思想，都是从函数式编 程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编 程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统 上。 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射 成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的 键值对中的每一个共享相同的键组。
W1 排队的等待平均时间：
1 1
1
1
在节点传输的平均时延：G1 W 1

平均等待时间+平均传输(服务)时间
假设在节点中只有1和2两级的数据，那么他们 在节点中的平均时延为 ：
1 2 G12 1 G1 2 G2
由上式整理可以得到：
G2 1 1 G1 2 1 G2 2 2
基于优先排队论网络延 迟云计算资源调度算法
目录
1 2 3 4 5
总结
研究背景 模型概述及分析 算法简述
结果分析
.
1、研究背景
1.1、基本概念
1.1.1、云计算的概念：
不是依赖本地计算机来做计算，是依赖第三方运营集中的计算机和存储资 源，即将计算的任务分布在大量的物理计算机服务器和虚拟服务器构成的 不同的数据中心，各种应用根据自己的需求来获取存储服务、存储空间以 及信息服务。如何保持负载均衡成为一大难题。
pCPU i
pCPU
n 0
k
Tn i
Tn

T
n 0
k
pCPU iTn 为CPU 在Tn这段时间平均利用率
n
CLBi : PM i的负载不均衡度： 5）
A 2 A 2 A 2 (Avei CPUU ) (Avei RamU ) (Avei StoreU ) CLBi 3 3 3