周荫清《随机过程理论》第1章 随机过程理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第1章 随机过程理论
随机过程理论 一、随机事件及其概率 二、随机变量及其分布函数 三、随机变量的数字特征 四、特征函数
一、随机事件及其概率
1、事件及关系 2、事件的概率 古典概率 统计概率 几何概率
P(A) = m n
n→ ∞ n
P ( A ) = lim ω
= lim
n→ ∞
m n
P(A) =
四、特征函数
一维特征函数定义
φ (v) = E[e
离散随机变量 连续随机变量
jvX
] = ∫ e jvx dF ( x)
−∞
jvX
∞
φ (v ) = E[e
] = ∑ e jvxh ph
∞
h =1
∞
φ(v) = E[e ] = ∫ e jvx f (x)dx
jvX −∞
∞ −∞
概率密度函数与特征函数之间的关系
n
E[ X ] = j
k
(−k )
φ (0)
(k )
四、特征函数
二维特征函数
φ (v1 , v2 ) = ∫
f ( x1 , x2 ) =
∞
−∞ −∞
∫
∞
e j ( v1x1 + v2 x2 ) f ( x1 , x2 )dx1dx2
∞
1 4π
2
∫ ∫
∞
−∞ −∞
φ (v1 , v2 )e − j ( v x +v x ) dv1dv2
连续随机变量的数学期望
E[ X ] = ∫ xf ( x)dx
−∞
∫
∞
∞
−∞
| x | f ( x)dx < ∞
随机变量函数的数学期望
E[Y ] = E[ g ( X )] = ∫ g ( x) f ( x)dx
−∞
Y = g( X )
∫
∞
−∞
| g ( x) | f ( x)dx < ∞
三、数字特征
i =1
= P( X1 ≤ x1 , X 2 ≤ x2 , ⋅⋅⋅, X n ≤ xn )
f ( x1 , x2 , , xn ) = f ( x1 ) f ( x2 )⋯ f ( xn ) ⋯
三、数字特征
数学期望 离散随机变量的数学期望
E[X ] =
∞
∑
k
i =1
xi pi
∑|x
i =1
k
i
|pi < ∞
1 1 2 2
四、特征函数
多维特征函数
n
φ (v1 , v2 , ⋅⋅⋅, vn ) = E{exp[ j ∑ vk X k ]}
= ∫ ⋅⋅⋅∫ e j (v1x1 +v2x2 +⋯+vn xn )dF(x1, x2 ,⋯, xn )
−∞ −∞
n 1 ∞ ∞ f (x1, x2 , ⋅⋅⋅, xn ) = ⋅⋅⋅ exp(− j∑vk xk ) ⋅φ(v1, v2 , ⋅⋅⋅, vn )dv1dv2 ⋅⋅⋅ dvn n ∫−∞ ∫−∞ (2π ) k =1
∞
∞
k =1
矩阵形式: 矩阵形式:
f ( x) =
1 (2π ) n
∫
R
exp(− jvT x)φ ( v )dv n
1 f ( x) = 2π
∫
φ ( v ) e − jvx dv
四、特征函数
一维特征函数性质
| φ (v) |≤ φ (0) = 1
φY (v) = e jvbφ X (av)
Y = aX + b
a, b为常数
φY (v) = ∏ φ X (v)
i =1
i
n
Y = ∑ φ X i (v )
i =1
2 2 2 由柯西— 由柯西—许瓦兹不等式 [ E (VW )] ≤ E [V ] E [W ] 得 | rij |≤ 1 i≠ j E(Xi X j ) = 0 正交
相互独立 互不相关
f ( x, y ) = f X ( x ) i f Y ( y )
C ij = cov( x i , x j ) = 0
全概率公式
n
∪
Ai = S
i =1
P(S ) = 1
Ai A j = ∅
n i =1
i ≠ j
P ( Ai A j ) = 0
Fra Baidu bibliotek
P( A) = ∑ P( A | Bi ) P( Bi )
一、随机事件及其概率
贝叶斯公式
P( Bi | A) = P ( A | Bi ) P ( Bi )
∑ P( A | B ) P( B )
二维分布 连续型(概率密度) 连续型(概率密度)
F ( x, y) = P( X ≤ x, Y ≤ y) = ∫
∂ 2 F ( x, y ) f ( x, y ) = ∂x∂y
x
−∞ −∞
∫
y
f (u, v)dudv
离散型(概率分布) 离散型(概率分布)
F ( x, y) = P( X ≤ x, Y ≤ y) = ∑ ∑ P( x = xi , y = yi )
L(A) L (S )
公理化体系化的概率
一、随机事件及其概率
3、几个公式 条件概率 乘法公式
P( A B) = P( AB) P( B)
A)
P( B) > 0
P( AB) = P( A) P( B
P( A1 A2 ⋅⋅⋅ An ) = P( An | An −1 ⋅⋅⋅ A1 )i P( An −1 | An − 2 ⋅⋅⋅ A1 )iii P( A2 | A1 )i P( A1 )
i =1 i i
n
事件的独立性
Ai
i = 1, 2, ⋅ ⋅ ⋅, n
ik
k = 1, 2, ⋅⋅⋅, s
1 ≤ i1 < i2 < ⋅⋅⋅ < is ≤ n
P ( Ai1 Ai2 ⋅ ⋅ ⋅ Aik ) = P ( Ai1 ) P ( Ai2 ) iii P ( Aik )
二、随机变量及分布函数
方差 随机变量的方差
D[ X ] = E{[ X − E( X )]2} = E[ X 2 ] −[E( X )]2
随机变量函数方差
D[Y ] = D[ g ( X )] = E{[ g ( x) − E[ g ( x)]]2 }
Y = g( X )
三、数字特征
协方差 协方差定义
cov( X i , Y j ) = E[( X i − E[ X i ])( X j − E[ X j ])
xi ≤ x yi ≤ y
二、随机变量及分布函数
边沿分布 连续型(概率密度) 连续型(概率密度)
f1 ( x) = ∫
离散型(概率分布) 离散型(概率分布)
+∞
−∞
f ( x, y )dy
FX ( x) = F ( X , ∞) = P( X ≤ x)
二、随机变量及分布函数
条件分布
f ( x, y ) f (x | y) = f2 ( y)
一维分布 二维分布 边沿分布 条件分布 多维分布 随机变量的独立性
二、随机变量及分布函数
一维分布 离散型(概率密度) 离散型(概率密度)
F ( x) =
xi < x
∑ P( X
= xi ) = ∑ p i
i
连续型(概率分布) 连续型(概率分布)
F ( x) =
∫
x
−∞
f (t )dt
二、随机变量及分布函数
多维分布
Fn (x1, x2 ,⋯,xn ) = P( X1 ≤ x1, X2 ≤ x2 ,⋯, Xn ≤ xn )
Fn (x1, x2 ,⋯,xn ) = ∫
x1 −∞ −∞
∫ ⋯∫
x2
xn
−∞
fn (x1, x2 ,⋯,xn )dx1dx2 ⋯dxn
二、随机变量及分布函数
随机变量的独立性
n
F ( x1 , x2 ⋅⋅⋅ xn ) = ∏ FXi ( xi )
协方差矩阵
Cij = cov( X i , Y j )
C11 C12 ⋯ C1n 1n C21 C22 ⋯ C2n C= ⋮ ⋮ ⋮ Cn1 Cn2 ⋯ Cnn
C ii = σ x2i
Cij = C ji
三、数字特征
相关系数 定义式
rij = Cij Cii C jj
随机过程理论 一、随机事件及其概率 二、随机变量及其分布函数 三、随机变量的数字特征 四、特征函数
一、随机事件及其概率
1、事件及关系 2、事件的概率 古典概率 统计概率 几何概率
P(A) = m n
n→ ∞ n
P ( A ) = lim ω
= lim
n→ ∞
m n
P(A) =
四、特征函数
一维特征函数定义
φ (v) = E[e
离散随机变量 连续随机变量
jvX
] = ∫ e jvx dF ( x)
−∞
jvX
∞
φ (v ) = E[e
] = ∑ e jvxh ph
∞
h =1
∞
φ(v) = E[e ] = ∫ e jvx f (x)dx
jvX −∞
∞ −∞
概率密度函数与特征函数之间的关系
n
E[ X ] = j
k
(−k )
φ (0)
(k )
四、特征函数
二维特征函数
φ (v1 , v2 ) = ∫
f ( x1 , x2 ) =
∞
−∞ −∞
∫
∞
e j ( v1x1 + v2 x2 ) f ( x1 , x2 )dx1dx2
∞
1 4π
2
∫ ∫
∞
−∞ −∞
φ (v1 , v2 )e − j ( v x +v x ) dv1dv2
连续随机变量的数学期望
E[ X ] = ∫ xf ( x)dx
−∞
∫
∞
∞
−∞
| x | f ( x)dx < ∞
随机变量函数的数学期望
E[Y ] = E[ g ( X )] = ∫ g ( x) f ( x)dx
−∞
Y = g( X )
∫
∞
−∞
| g ( x) | f ( x)dx < ∞
三、数字特征
i =1
= P( X1 ≤ x1 , X 2 ≤ x2 , ⋅⋅⋅, X n ≤ xn )
f ( x1 , x2 , , xn ) = f ( x1 ) f ( x2 )⋯ f ( xn ) ⋯
三、数字特征
数学期望 离散随机变量的数学期望
E[X ] =
∞
∑
k
i =1
xi pi
∑|x
i =1
k
i
|pi < ∞
1 1 2 2
四、特征函数
多维特征函数
n
φ (v1 , v2 , ⋅⋅⋅, vn ) = E{exp[ j ∑ vk X k ]}
= ∫ ⋅⋅⋅∫ e j (v1x1 +v2x2 +⋯+vn xn )dF(x1, x2 ,⋯, xn )
−∞ −∞
n 1 ∞ ∞ f (x1, x2 , ⋅⋅⋅, xn ) = ⋅⋅⋅ exp(− j∑vk xk ) ⋅φ(v1, v2 , ⋅⋅⋅, vn )dv1dv2 ⋅⋅⋅ dvn n ∫−∞ ∫−∞ (2π ) k =1
∞
∞
k =1
矩阵形式: 矩阵形式:
f ( x) =
1 (2π ) n
∫
R
exp(− jvT x)φ ( v )dv n
1 f ( x) = 2π
∫
φ ( v ) e − jvx dv
四、特征函数
一维特征函数性质
| φ (v) |≤ φ (0) = 1
φY (v) = e jvbφ X (av)
Y = aX + b
a, b为常数
φY (v) = ∏ φ X (v)
i =1
i
n
Y = ∑ φ X i (v )
i =1
2 2 2 由柯西— 由柯西—许瓦兹不等式 [ E (VW )] ≤ E [V ] E [W ] 得 | rij |≤ 1 i≠ j E(Xi X j ) = 0 正交
相互独立 互不相关
f ( x, y ) = f X ( x ) i f Y ( y )
C ij = cov( x i , x j ) = 0
全概率公式
n
∪
Ai = S
i =1
P(S ) = 1
Ai A j = ∅
n i =1
i ≠ j
P ( Ai A j ) = 0
Fra Baidu bibliotek
P( A) = ∑ P( A | Bi ) P( Bi )
一、随机事件及其概率
贝叶斯公式
P( Bi | A) = P ( A | Bi ) P ( Bi )
∑ P( A | B ) P( B )
二维分布 连续型(概率密度) 连续型(概率密度)
F ( x, y) = P( X ≤ x, Y ≤ y) = ∫
∂ 2 F ( x, y ) f ( x, y ) = ∂x∂y
x
−∞ −∞
∫
y
f (u, v)dudv
离散型(概率分布) 离散型(概率分布)
F ( x, y) = P( X ≤ x, Y ≤ y) = ∑ ∑ P( x = xi , y = yi )
L(A) L (S )
公理化体系化的概率
一、随机事件及其概率
3、几个公式 条件概率 乘法公式
P( A B) = P( AB) P( B)
A)
P( B) > 0
P( AB) = P( A) P( B
P( A1 A2 ⋅⋅⋅ An ) = P( An | An −1 ⋅⋅⋅ A1 )i P( An −1 | An − 2 ⋅⋅⋅ A1 )iii P( A2 | A1 )i P( A1 )
i =1 i i
n
事件的独立性
Ai
i = 1, 2, ⋅ ⋅ ⋅, n
ik
k = 1, 2, ⋅⋅⋅, s
1 ≤ i1 < i2 < ⋅⋅⋅ < is ≤ n
P ( Ai1 Ai2 ⋅ ⋅ ⋅ Aik ) = P ( Ai1 ) P ( Ai2 ) iii P ( Aik )
二、随机变量及分布函数
方差 随机变量的方差
D[ X ] = E{[ X − E( X )]2} = E[ X 2 ] −[E( X )]2
随机变量函数方差
D[Y ] = D[ g ( X )] = E{[ g ( x) − E[ g ( x)]]2 }
Y = g( X )
三、数字特征
协方差 协方差定义
cov( X i , Y j ) = E[( X i − E[ X i ])( X j − E[ X j ])
xi ≤ x yi ≤ y
二、随机变量及分布函数
边沿分布 连续型(概率密度) 连续型(概率密度)
f1 ( x) = ∫
离散型(概率分布) 离散型(概率分布)
+∞
−∞
f ( x, y )dy
FX ( x) = F ( X , ∞) = P( X ≤ x)
二、随机变量及分布函数
条件分布
f ( x, y ) f (x | y) = f2 ( y)
一维分布 二维分布 边沿分布 条件分布 多维分布 随机变量的独立性
二、随机变量及分布函数
一维分布 离散型(概率密度) 离散型(概率密度)
F ( x) =
xi < x
∑ P( X
= xi ) = ∑ p i
i
连续型(概率分布) 连续型(概率分布)
F ( x) =
∫
x
−∞
f (t )dt
二、随机变量及分布函数
多维分布
Fn (x1, x2 ,⋯,xn ) = P( X1 ≤ x1, X2 ≤ x2 ,⋯, Xn ≤ xn )
Fn (x1, x2 ,⋯,xn ) = ∫
x1 −∞ −∞
∫ ⋯∫
x2
xn
−∞
fn (x1, x2 ,⋯,xn )dx1dx2 ⋯dxn
二、随机变量及分布函数
随机变量的独立性
n
F ( x1 , x2 ⋅⋅⋅ xn ) = ∏ FXi ( xi )
协方差矩阵
Cij = cov( X i , Y j )
C11 C12 ⋯ C1n 1n C21 C22 ⋯ C2n C= ⋮ ⋮ ⋮ Cn1 Cn2 ⋯ Cnn
C ii = σ x2i
Cij = C ji
三、数字特征
相关系数 定义式
rij = Cij Cii C jj