第四章 排队论在计算机性能评价中应用-1

11／23
11
Taccumulate d Tobserve Taccumulate d = 平均响应时间 N tasks N tasks = 任务到达率 Tobserve 平均任务数 =
Taccumulate d = Taccumulate d N tasks Tobserve N tasks Tobserve
并且P0 (t ) P 1 (t ) 1
27／23
27
解微分方程
P0 (t )

( )t P ( t ) [ P (0) ] e 1 1
[ P0 (0)

]e ( )t
lim P 0 (t ) p0 , 稳态，t ∞。 t
该系统可以用M/M/1排队模型的结论，故： 平均等待时间= 平均服务时间 磁盘利用率 1－磁盘利用率
= 0.02 0.8 0 08(s) 1 0.8
24／23
24
平均响应时间 = 平均等待时间+平均服务时间 = 0.08+0.02=0.1(s)
即：有80%的响应时间花费在队列中等待 ② 如果磁盘完成这些请求的服务时间服从均值为
15／23
15
三、 M/M/1排队模型
1、 简单的排队系统(M/M/1/ ∞ /∞/FCFS）应用
服务员
I/O 控制器 及外设
队列 任务到达
假定I/O请求的到达时间和服务员的服务时
间服从指数分布。
16／23
16
排队系统参数 S：任务的平均服务时间 ：任务的服务速率， = 1/S Wq：平均排队时间
第四章
排队论在计算机系统 性能评价中的应用
1／23
1
一、基本思路和方法 简单排队模型：
输入源自文库程 排队规则 服务机构
到达者
离去者
队列
服务装置
在一个时间段内，到达者与离去者保持相对一致，使系 统达到相对平衡和稳定。
2／23
2
L(t ) (t ) (t ) 在t时刻系统内的顾客数为 在(0, t )内到达者人数（t） 和离去者人数（t）差
1 (1 ) n 40 E[T ]
若要保持系统平衡，ρ <1，中断源应小于40，如果中断源为36个，响应时间为5s(5ms).
22／23
22
例2： 某处理器每秒发出40次磁盘I/O请求，这
些请求服从指数分布。
① 假定磁盘完成这些请求的服务时间服从均值 为20ms的指数分布。试计算磁盘的平均利用 率、请求在队列中的平均等待时间以及磁盘 请求的平均响应时间。
◆ 系统平均响应时间 E(R)=Ws=(1/)/(1-)
1/ ◆ 任务在队列中的平均等待时间 E(W)=Wq= 1
20／23
20
四个指标的关系为(Little 公式)：
Lq Ls Ls 1 Ls Ws
2
Ls
通信问题——信号、信道、传输 网络路由——数据包、通道、传送 并行处理——任务、处理机、计算、调度
4／23
4
由于：
• 数据到达的时间间隔分布，
• 处理或传输部件的时间间隔分布 • 处理部件的个数 产生了对应不同特征的概率分布应用的分析。 如泊松分布可以对应并行处理中的多任务多处理机的分配；
多线程，多核的调度效率等
服务速率提高1倍，响应时间减少5/6 。
26／23
26
• 例3 一个单服务器排队系统，无等待位。假设客户到 达是一个速率为λ的泊松过程，服务器服务时间服从 指数分布，服务速率为μ，即单位时间服务1/ μ个客 户。 • 求解：没有等待位，系统只有两个状态，“0”和“1” 根据生灭过程方程
dP 1 (t ) P0 (t ) P 1 (t ) dt dP0 (t ) P0 (t ) P 1 (t ) dt
8／23
8
获得较大吞吐率和较小响应时间是相互矛
盾的，如何进行折衷是计算机体系结构要研究
的问题。
键盘系统（1s） 键盘系统（0.3s） 图形系统（1s） 图形系统（0.3s）
0 5 10 15
进入时间 系统响应时间 思考时间
时间（s）
键盘输入系统和图形输入系统的事务处理时间
9／23
9
Little定律
– 求解生灭过程(p0,p1,p2,p4)=(0.117647, 0.352941, 0.352941, 0.176471)
eff 1.411765
L ipi 1.588236 W L / eff 1.125
29／23
29
• 例5：在eMule网络上，文件被用户下载以后，该用 户默认共享这个文件。考虑eMule网络上的一个文件， 新的用户下载并共享这个文件可以视为一个速率为λ 的泊松过程。对每个共享源，由于各种原因（用户、 系统、硬件），单位时间这个共享源不再共享这个 文件的概率是θ。问这个文件有n个共享源的概率？n 是任意非负整数。 • 解答：这是一个生灭过程， 出生率，新共享源出现服从泊松分布，λi=λ 死亡率，某时刻有i个共享源时的死亡率为μi=i θ n ( / ) n 当λ>iθ，共享源增多 pn p0 p0 n! 当λ<iθ，共享源减少 i 1 i
10ms的指数分布， 磁盘I/O请求的到达率 =40(个/s)
完成I/O请求的服务率 =1/0.01=100(个/s)
磁盘的平均利用率 =/=40/100=0.4
25／23
25
磁盘利用率 平均等待时间 = 平均服务时间 1－磁盘利用率 = 0.02 0.4 0.0067(s) 1 0.4 平均响应时间= 平均等待时间+平均服务时间 = 0.0067 +0.01= 0.0167(s)
Lq Wq
系统的忙期与闲期 系统处于空闲状态的概率： 系统处于繁忙状态的概率：
服 务 强 度
P0 1 P( N 0 ) 1 P0
21／23
21
例1：一个CPU及具有n个中断源的中断系统。设CPU处理中 断的时间是指数分布，平均时间为500ms(500ns)。一个 中断源的两个相邻中断请求时间间隔服从指数分布，其平 均值为20ms。求：最大中断源的个数及在相应中断源个 数的中断响应时间。 解：服从指数分布，属于M/M/1队列，其响应时间有：
Ws：平均响应时间；Ws = Wq + S
：任务的到达率 ：服务员利用率（服务强度）， = / ns：正在服务的平均任务数
17／23
17
Lq：队列的平均长度 Ls ： 平 均 任 务 数 ， n=ns+nq ； n =×R m：服务员个数 3. M/M/1排队系统的一般假设
◆ 系统为一个平衡系统； ◆ 连续两个到达请求的间隔时间服从指数分
机系统相连接。
◆ I/O系统的容量：I/O系统可以容纳多少I/O
设备。
◆ I/O吞吐量有时也被称为I/O带宽。 ◆ I/O响应时间有时被称为响应延迟。
7／23
7
3. 吞吐量和响应时间
300 250 200 150 100 50 0
响应时间（ms）
0%
20%
40%
60%
80%
100%
实际吞吐量/最大吞吐量
P0 P 1 0 Pn1 Pn1 ( ) Pn 0
n0 n 1
19／23
19
E ( n) Ls
nP
n 0 2

n

3
n(1 )
n 1

n
( 2
3 ...) ( 2 2 3 ...)
② 假定磁盘完成这些请求的服务时间服从均值
为10ms的指数分布，重新计算。
23／23
23
解 ① 如果磁盘完成这些请求的服务时间服从均值 为20ms的指数分布，则 磁盘I/O请求的到达率 =40(个/s) 磁盘完成I/O请求的服务率 =1/0.02=50(个/s)
磁盘的平均利用率 =/=40/50=0.8
网络路由中的数据包与网络通道服从爱尓朗分布。
5／23
5
二、I/O性能与系统响应时间
1.模型模拟和实际测量的方法来衡量。
◆ 对I/O系统建立模型后，可以使用排队理论进
行分析。
◆ 设计出来的I/O系统还可以通过基准测试程序
进行实际测量。
6／23
6
2. 衡量I/O系统的性能的标准
◆ I/O系统的多样性：哪些I/O设备可以和计算
Little定律：系统中的平均任务数为到达率与平 均响应时间的乘积。
12／23
12
Little公式
对于一个排队系统，如果在它达到统计平衡状态 后，系统中任一时刻的平均队长 L s 、平均等待 队长 L q ，与每一顾客在系统中的平均逗留时 间Ws 、平均等待时间 W q 之间有关系式：
Ls e Ws ,
1. 黑箱（Black Box）
到达任务 离开任务
黑箱
稳定状态：系统的输入速率= 输出速率
2. Little定律
系统中的平均任务数＝到达率×平均响应时间
10／23
10
3. 证明
假定对系统一个任务测量时间:Tobserve 统计在此期间: 完成的任务数:Ntasks 每个任务的实际完成时间 将这些时间求和得到Taccumulated

lim P 1 (t ) p1
t

直接求解稳态，用“流入=流出”计算稳态状 态概率
p0 p1 p0 p1 1
p0

, p1

28／23
28
• 例4 考虑一个单服务器的生灭过程系统中。系统只能够容纳3 个客户，到达速率(λ0λ1λ2)=(3,2,1)，服务（死亡）速率为 (μ1μ2μ3)=(1,2,2)。计算稳态下各状态概率，并计算有效到达 速率 eff i pi 和客户等待时间W
布，其均值为平均到达时间；
◆ 请求的个数不受限制；
18／23
18
◆ 队列的长度不受限制，排队规则为FCFS； ◆ 系统只有一个服务员。
若M/M/1模型的到达率为，服务率为，1个服务 员。根据稳定的生灭过程，有状态转换和状态方程：
λ0 0 μ1 ... n-1 μn λn-1 n μn+1 λn n+1 μn+2 λn+1 ...
L q e W q
成立，则称该排队系统满足Little公式。其中e 表示单位时间内实际进入系统的平均顾客数。
13／23
13
Little公式的直观解释
在系统达到统计平衡下，考虑一个刚开始接受 服务的顾客，在他后面排队等待服务的平均顾客 数等于在他的平均等待时间内实际进入系统的平 均顾客数，即 L q eW q ；又考虑一个刚服务结束 的顾客，在他离开系统时留在系统中的平均顾客 数等于在他的平均逗留时间内实际进入系统的平 均顾客数，即 Ls eWs 。 显然，M/M/1/排队系统中，Little公式是成立 的，且e等于泊松过程的参数。
L i iWi L lim iWi
t
系统内平均顾客数： L W
i : 在(0, t )内顾客平均到达速率
Wi : 在(0, t )内每个顾客在系统的平均时间 L i：在(0, t )内系统内平均顾客数
3／23
3
计算机中的许多现象都可以以顾客，排队及服务 的形式表示: 如： 资源问题——数据、存储 、计算机
相关的分析结论有：
2 3 ...

1
◆ 系统服务强度 =/ ◆ 系统中没有任务的概率 P0=1- ◆ 系统中有n个任务的概率 Pn=(1-)*n ， n=0,1,2,…,
◆ 系统中平均任务数量 E(n)=Ls=/(1-) ◆ 队列中平均任务数 E(nq)=Lq=2/(1-)
14／23
14
• 例1、对于一个稳定系统，即 客户到达该系统的平均速率=客户离开该系统的平均速率 设：一个并发服务器，并发的访问速率是1000客户/分钟， 每个客户在该服务器上将花费平均0.5分钟，根据 little's law规则，在任何时刻，服务器将承担 1000×0.5＝500 个客户量的业务处理。假定过了一段时 间，由于客户群的增大，并发的访问速率提升为 2000客 户/分钟。在这样的情况下，我们该如何改进我们系统的 性能？ 根据little's law规则，有两种方案： 第一：提高服务器并发处理的业务量，即提高到 2000×0.5＝1000。 第二：减少服务器平均处理客户请求的时间，即减少到： 2000×0.25＝500。