L4-队列模型

2011-1-17
队列行为的简单实例
• 提出问题：一台服务器，1ms处理一条请求，若请 求以1000次每秒的速率到达，似乎服务器能处理这 样的负载； 理想情况：请求匀速到达；请求到达时，服务器立 即处理这一请求。这个请求刚被处理器处理完，新 请求又到，服务器又开始工作； 实际考虑：请求不是匀速到达的，平均起来是一次 每毫秒，可通过缓存的方法来处理----进入一个队 列等待服务。
2011-1-17 2、从 950次/秒到990次/秒，到达率微小上升导致缓存量增加近40%。
二、排队论的必要性
• 在系统建成后，再进行基于实际数据的分析，显然 不行。 • 通过对现有情况的估计，预期未来态势。绝大部分 系统在负载变化情况下的行为，都不是直观所能预 料的，若一个环境中有共享设备（如一个网络、一 条传输线、一个时间复用系统），则该系统的性能 通常是以指数方式随着需求变化。
等待队列 调度规则 服务器 Ts = 服务时间 ρ=利用率 离去
到达 λ=到达率
W = 等待的对象 Tw = 等待时间
R = 滞留在排队系统中的对象 Tr = 滞留时间
2011-1-17
排队系统的结构与单服务器队列的参数
1. 输入过程
输入即为顾客的到达，可有下列情况： 1）顾客源可能是有限的，也可能是无限的。 2）顾客是成批到达或是单个到达。 3）顾客到达间隔时间可能是随机的或确定的。 4）顾客到达可能是相互独立或关联的。所谓独 立就是以前顾客的到达对以后顾客的到达无影响。 5）输入过程可以是平稳的（stationary）或说是 对时间齐次的（Homogeneous in time），也可以是非 平稳的。输入过程平稳指顾客相继到达的间隔时间 分布和参数（均值、方差）与时间无关；非平稳的 2011-1-17 则是与时间相关，非平稳的处理比较困难。
2011-1-17
指数分布
随机变量 T 密度函数
αe −αt fT (t ) = 0 for t ≥ 0 for t < 0
均值 方差 fT(t) α
E (T ) =
1
1 Var (T ) = α
α
2
分布函数
P(T ≤ t ) = 1 − e −αt
E (T ) =
2011-1-17
T1(α2) T1(α3) T (α1 +α2 +α3)
2011-1-17
指数分布性质4
指数分布
αe −αt fT (t ) = 0 1 E (T ) = for t ≥ 0 for t < 0
Poisson分布
(αt ) n e −αt P( X (t ) = n) = n!
E ( X (t )) = αt
2011-1-17
排队分析的必要性
排队论的目的：如何做到既保证一定的服务质量指 标，又使服务设施费用经济合理，恰当地解决顾客 排队时间与服务设施费用大小这对矛盾。
• 方法：基于排队理论制定一个解析模型
能够相当准确的符合实际情况。 排队理论的缺点是：为了推导出我们感兴趣的参 数方程，必须做出一些简化的假设。
• 编程并运行一个仿真模型
排队理论与仿真分析结果相当接近。
2011-1-17
三、排队系统的基本问题
(一)、排队系统的组成与特征 排队系统一般有三个基本组成部分：1.输入过程； 2.排队规则；3.服务机构。
顾客源
顾客到达
排队结构
排队规则
服务规则
服务机构
离去
图1 排队系统示意图
2011-1-17
举例：单服务器队列模型
2011-1-17
2. 排队规则
(2)等待制。指当顾客来到系统时，所有服务台都不空，顾 客加入排队行列等待服务。如，排队售票，故障设备维修等。 等待制常有如下四种规则： ① 先到先服务（FCFS ）。按顾客到达的先后顺序对顾客进 行服务，这是最普遍的情形。 ② 后到先服务（LCFS）。仓库中迭放的钢材，后迭放上去 的都先被领走，就属于这种情况。 ③随指定某个顾客去接受服务，如电话交换台接通呼叫电 话就是一例。 ④优先权服务（ PR ）。如老人、儿童先进车站；危重病员 先就诊；遇到重要数据需要处理计算机立即中断其他数据的处 理等，均属于此种服务规则。 2011-1-17
2011-1-17 常见的分布函数： /yangsirui/res/distribution.htm
例：M/M/1指的就是具有泊松分布到达和负指数服务时间的单 服务器排队模型。
假设：到达率服从泊松分布 = 到达间隔时间服从负指数分布 = 到达是随机并彼此独立的 到达分布函数为： A0(t)= λte-λ t!
多服务台混合排列
输入 队列 服务台1 队列
…
服务台1
…
服务台 m
服务台n
输出
西安交通大学计算机科学和技术系
假设条件：
排队分析的根本任务是给定下面的信息作为输入： • 到达率λ • 服务时间Ts • 服务器数N 求出关于如下各项的输出信息： • 等待对象数 • 等待时间 • 排队的对象数 • 排队时间
2011-1-17
对输出信息要了解的内容： • 平均值 • 标准差（变化范围） • P(等待对象数<N)=0.999 的N值有多大？
排队分析模型重要假设Kendall记法
格式：顾客到达时间间隔分布/服务时间分布/服务台数目/ 排队系统允许的最大顾客容量/顾客总体数量/排队规则 符号表示：M/M/1/∞/∞/FCFS M/M/1 /∞ 典型的分布方式： M: 指数分布 (Markovian) D: 定长分布 (常数时间) Ek: k级Erlang 分布 G: 普通的概率分布 (任意概率分布) GI：独立到达时间间隔的一般分布
α
服务时间的概率 = t 1/α: 平均服务时间
2011-1-17
在t时间内已经服务n个顾客 的概率 平均服务率= α
五、几个典型的排队关系式
一般关系 R=λTr W=λTw Tr = Tw + Ts 单服务器 ρ=λTs R = W +ρ 多服务器 ρ=λTs/N U=λTs=ρN R = W + Nρ
1
α
t
指数分布性质1
fT(t) 是一个严格下降函数
P(0 ≤ T ≤ ∆t ) > P (t ≤ T ≤ t + ∆t )
fT(t) α
∆t
2011-1-17
t
∆t
指数分布性质2
无后效性
P(T > t + ∆t / T > ∆t ) = P(T > t )
P(T > t + ∆t / T > ∆t ) P(T > t + ∆t and T > ∆t ) = P(T > ∆t ) P(T > t + ∆t ) e −α (t +∆t ) e −αt e −α∆t = = −α ( ∆t ) = −α∆t = e −αt = P(T > ∆t ) P(T > ∆t ) e e
2011-1-17
举例：单服务器队列模型
等待队列 调度规则 服务器 Ts = 服务时间 ρ=利用率 离去
到达 λ=到达率
W = 等待的对象 Tw = 等待时间
R = 滞留在排队系统中的对象 Tr = 滞留时间
2011-1-17
排队系统的结构与单服务器队列的参数
简单分析
1、假设队列容量无穷大，离去速率等于到达率； 2、到达率增加->系统的利用率增加->队列变长->等待 时间增加； 3、ρ=1时，服务器饱和，最大输入速率为： λmax=1/Ts 4、然而在系统接近饱和时，队列就变得很长，ρ=1时 队列会无限增长。通常将单个服务器的输入速率 限制在理论最大值的70%－90%。
2011-1-17
排队论(Queuing Theory)
• 排队论（queuing),也称随机服务系统理论，是运 筹学的一个主要分支。 • 1909年，丹麦哥本哈根电子公司电话工程师A. K. Erlang的开创性论文“概率论和电话通讯理论” 标志此理论的诞生。排队论的发展最早是与电话， 通信中的问题相联系的，并到现在是排队论的传 统的应用领域。近年来在计算机通讯网络系统、 交通运输、医疗卫生系统、库存管理、作战指挥 等各领域中均得到应用。
2011-1-17
缓存应为多大？
直观估计的局限性
6000 5391 5000 4285 4000 3000 2000 1000 0 627 43 500次/秒 950次/秒 990次/秒 1859 2583 平均缓存 最大缓存
1、从500次/秒到950次/秒，到达率上升不到2倍，而缓存量上升了40倍；
2. 排队规则
(3) 混合制．这是等待制与损失制相结合的一种服务规则， 一般是指允许排队，但又不允许队列无限长下去。具体说来， 大致有三种： ① 队长有限。当排队等待服务顾客人数超过规定数量时， 后来顾客就自动离去，另求服务。如水库的库容、旅馆的床位 等都是有限的。
② 等待时间有限。即顾客在系统中的等待时间不超过某一 给定的长度T，当等待时间超过T时，顾客自动离去，不再回来。 如易损的电子元器件的库存问题，超过一定存储时间被自动 认为失效。又如顾客到饭馆就餐，等了一定时间后不愿再等而 自动离去。
2011-1-17
四、服务排列结构（1/2）
单服务台、单队列
输入 队列 服务台 输 出
多服务台、单队列/多队列
服务台1 输入 队列
…
输出 队列1 输入
… …
输出 服务台1
服务台k
队列k
服务台k
西安交通大学计算机科学和技术系
服务排列结构（2/2）
多服务台串行排列
输入 队列 服务台1
…
输出 服务台k