第4章 更新过程

F t
n n 1

Pr oof : m t E N t

nP N t n
n 1 n


P N t n P T
n 1 n 1
t
F t
n n 1
Theorem： t 0, F t 1, 有
N t su p n ; T n t m ax n ; T n t
二、 N(t)的分布及E[N(t)]的一些性质
1、N(t)的分布 因为
N t n Tn t
所以
P N t n P N t n P N t n 1 P T n t P T n 1 t Fn t Fn 1 t
X n X n,
N t N t
E N t E N t
因为，几何分布的各阶矩都存在，所以，我们实际上已证明了
t 0, r 0, E N
r
t
第二节
更新方程
一、更新方程 设m(t)为更新函数，其导数称为更新密度，记为 M(t)，则
N t su p n ; T n X 1 X n t
则
X
n
, n 1
是一个新的更新过程，由于
X
n
只取0和
两个常数，故过程 N t 只能在 t n , n 0,1, 2, 时刻出现更新。 比如在时刻 t 出现k次更新，就意味事件“ k X 次首次出现，故 P(在时刻 t 的更新次数=k)
第三节
更新定理
引理1：N(t)+1是关于{Xn,n≥1}的停时。
N t 1 n N t n 1 T n 1 t T n
X1
X n 1 t X 1 X n
只依赖于X1, X2, …, Xn，而与Xn+1 Xn+2,…独立。 一、基本更新定理 Theorem： （基本更新定理） 设 E [ X n ] ，则
CHAPTER 4 更新过程
第一节 更新过程定义及若干分布
一、更新过程的定义
设{Xn,n≥1}是独立同分布的非负随机变量，分布函数为 F(x)，且F(0)<1，令
T 0 0, T n

n
Xk
记
k 1
N t su p n ; T n t
或
N t
I
n 1

t 0
K (t s ) d F ( s )
其中H(t)，F(t)为已知，且当t<0时， H(t)，F(t) 均为0，当H(t)在任何区间上有界时称此方程为 适定更新方程，简称更新方程。
二、更新方程的解
定理：设更新方程中H(t)为有界函数，则
方程存在惟一的在有限区间内有界的解
K (t ) H (t )

s 0
m t s dF s
p ro o f 2 E N t
0, X1 x 1 m t x ,
x t xt
m t E N t E E N t X 1
P Xn
”第k

k 1
PXn

即在这些时刻的更新次数是独立同分布的几何随机变量，其均 值为 1
PX n
在[0,t]内出现更新的时刻个数不超过 均更新次数
t E N t 1
t

1
，于是在[0,t]内的平
PXn
其Fn(x)中是Tn的分布函数，它是F(x)自身的n次卷积。
注：
F1 x F
x
Fn x

x 0
F n 1 x u d F u
F2 x F3 x
x 0

x 0
F1 x u d F u

x
x
F
0
x d F u
所以， lim Fn ( t ) n
n 1 n k 1
0,
lim F n K ( t ) 0,
n
而 lim ( F H ( t )) k
F
k 1
n 1 k 1

k
H (t ) m H (t )
所以， K ( t ) H ( t ) lim [ F k H ( t ) F n K ( t )]
m (t )
F
n 1

n
(t )
M ( t ) m ( t )


f n (t )
n 1
其中 f n ( t ) 是 F n ( t ) 的密度函数。
定理：m(t)和M(t)分别下面的积分方程
m (t ) F t M (t ) f t

t 0
m t s d F s ,
则
K ( t ) E T N ( t ) 1 E [ E (T N ( t ) 1 X 1 )]

0 t 0
E ( T N ( t ) 1 X 1 x )d F ( x )
[ x E ( T N ( t x ) 1 )]d F ( x )

t 0
H (t s ) d m ( s )
证明：先证K(t)有界，因为H(t)有界， m(t) 有界不减，所以，对任何T>0有
su p K ( t ) su p H ( t )
0t T 0t T

T 0
su p H ( t s ) d m ( s )
0 s T
su p H ( t ) (1 m ( T ))

t 0
K (t s ) d F ( s )
的解，且满足有界性条件，则
K H F K
连续代换有
K H F (H F K ) H F H F (F K ) H F H F 2 K H F H F 2 H F3 K H ( Fk ) H Fn K
k 1 n 1
因为
Fn K ( t )

t 0
K ( t x ) d Fn ( x )
su p K ( t x ) F n ( t )
0 xt
已知
su p K ( t x ) ,
0 xt
并且
从而m (t ) F Nhomakorabean 1

n
(t ) ,



t 0 t 0
E N t X 1 x d F x 1 m t x d F x
t 0
F t m t x d F x
定义（更新方程）如下形式的积分方程称 为更新方程
K (t ) H (t )
t
t 0 t 0

0
M t s f
s ds,
其中：
f s F s
P r oof 1 m t
F t F t F t
n n n 1 n2


F t Fn 1 t * F t F t F n t * F t n2 n 1 F t m t * F t m t F t
m t F t 1 F t F t F t
Theorem：N(t)有有限的期望值，即
t 0, m t
P r o o f F 0 1, 即 P X n 0 1 0, 使 得 P X n 0, 令 Xn 0, 若Xn 若Xn
n
H (t ) m H (t )
三、瓦尔德（Wald）等式
1，停时：设{Xn,n≥1}为随机变量序列，N为取非负整数的随 机变量。若对一切的n=0,1,2, …，事件{N=n}仅依赖于X1, X2, …, Xn，而与Xn+1 Xn+2,…独立，则称N关于{Xn,n≥1}为停时(Stopping time),或称马尔可夫时(Markov time)。 直观意义：当我们观察诸Xn ，以N表示停止观察前所观察的次数， 如果N=n ，那么，我们是在已经观察X1, X2, …, Xn后，还未观察 Xn+1 Xn+2,…前停止观察。 2，Wald等式 Theorem：设{Xn,n≥1}为独立同分布随机变量序列 E X n N是关于{Xn,n≥1}的停时，
k 1
证明：对第一次更新时刻X1取条件
E T N ( t ) 1 x, X1 x x E (T N ( t x ) 1 ),
T N ( t ) 1
0
x t xt
t
x
T N ( t ) 1
0
x
0
t tx
T N ( t x ) 1
记
K ( t ) E T N ( t ) 1 ,
0 t T
再证K(t)满足更新方程，
K (t ) H (t ) m H (t ) H ( t ) ( Fn ) H ( t )
n 1
H ( t ) F H ( t ) ( Fn ) H ( t )
n2

H ( t ) F H ( t ) ( ( F n 1 F )) H ( t )
F
3
2
x
F 2 x u d F u
n

0
F 2 x d F u F
x
Fn x F
x
2、更新函数 令m(t)=E[N(t)]，称m(t)为更新函数。显然m(t)是单调递 增的，因而其反函数m-1(t)存在 Theorem： m t
EN
则
N E Xn E N E Xn n 1
特别，
E T N ( t ) 1 E X 1 X 2 X
N ( t ) 1
N ( t ) 1

E[

X k ] E ( X 1 ) E ( N ( t ) 1)


xd F ( x )
t
E ( X 1)

t
t 0
K ( t x )d F ( x )
这就是更新方程，其解为
K (t ) E ( X 1 )

0
E ( X 1 )d m ( x ) E ( X 1 ) E ( X 1 ) m ( t )
E ( X 1 )(1 m ( t )) E ( X 1 )(1 E N ( t )) E ( X 1 )( E [ N ( t ) 1])
lim m t t 1

Tn t
称{N(t),t≥0}更新过程。
注： 在有限的时间内不可能有无限多次更新发生。因为 If E X k 0 由强大数定律知，依概率1有
Tn n
n
T h en

所 以 ， if
n ,
Tn
从而，无穷多次更新只可能在无限长的时间内发生，即 有限的时间内最多只能发生有限次更新。
n2
H ( t ) F [ H ( t ) ( F n ) H ( t )]
n 1
H (t ) F K (t ) H (t )

t 0
K (t s ) d F ( s )
最后证明解的惟一性，设 K 是方程
K (t ) H (t )