2.8.离散平稳信源的熵
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H X 1 , X 2 , X 3 ,..., X n H X i | X 1 ,..., X i 1
i 1
n
n
I X1 , X 2 , X 3 ,..., X n ; Y I X i ; Y | X1 ,..., X i 1
i 1
p x p x D p || q p x log E p log q x q x x
nH X lim HX n n
2017/4/12
4
例2
考虑信源{Xk}， Xk相互独立
H Xk k
1 H X 1 , X 2 ,..., X n n n 1 1 n n 1 1 k n 1 n k 1 n 2 2
2017/4/12 5
平稳
X1 , X 2 ,..., X m
X1l , X 2l ,..., X ml
具有相同分布，则信源称为平稳的
lim H X n | X 1 , X 2 ,..., X n 1 HX
n
假设已知信源过去的所有输出，关于下一个 字符的条件熵…的极限。
2017/4/12 6
2017/4/12 7
引理 Cesaro均值
1 n 令ak,bk为实数， an a bn k 1 ak 则 n
bn a
证明. 思路 如果ak序列极限是a，则ak前n项均值构
成的序列的极限也是a。
an a
0, N , s.t. 对所有的n>N(epslon)
2.8 平稳信源的熵速率
本节内容： 离散平稳信源概念 熵速率的概念 平稳信源… Cesaro均值 平稳是信源存在熵速率的充分条件。
2017/4/12
1
离散平稳信源
离散平稳信源
X k , k 1
指的是由正整数标示的 无限个随机变量的集 合，每个Xk称为字符，该正整数集合一般被称 为指标集（index set）
2017/4/12
2
熵速率
百度文库 k , k 1 熵速率定义为
1 H X lim H X 1 , X 2 ,..., X n n n
条件是上式极限存在
信源的熵速率可能存在，也可能不存在。
2017/4/12 3
例1
考虑独立同分布信源{Xk}，生成变量为X
1 lim H X 1 , X 2 ,..., X n n n
x y
p x, y | z p X ,Y | Z I X ; Y | Z p x, y, z log E log p x | z p y | z p X | Z p Y | Z x, y , z
2017/4/12 13
I X; X H X
ln a a 1
2017/4/12 14
D q || p 0
a a log b
i i i i
ai ai log bi i
i
i
H X log A
HX 0
H Y | X 0
I X ;Y 0
15
2017/4/12
an a
2017/4/12 8
1 n bn a ak a n k 1
1 n ak a n k 1
1 n ak a n k 1
N n 1 ak a ak a n i N 1 i 1
x
p x, y p X ,Y I X ; Y p x, y log E log p x p y p X p Y x, y
H Y | X p x, y log p y | x E log p Y | X
平稳信源的熵速率存在且等于
1 lim H X n | X 1 , X 2 ,..., X n 1 HX n n
2017/4/12 17
END
2017/4/12 18
lim H X k | X 1 , X 2 ,..., X k 1 H X
k
2017/4/12 11
由Cesaro引理
1 H X lim H X 1 , X 2 ,..., X n H X n n
2017/4/12
12
总结
H ( X ) p( x) log p( x) E log p X
引理
存在 对于平稳信源，H X 0 HX 证明. 首先由条件熵非负性，
H X n | X1, X 2 ,..., X n1
H X n | X 2 , X 3 ,..., X n1
H X n1 | X1, X 2 ,..., X n1
非负单调递减序列必有极限。
定理
平稳信源{Xk}的熵速率HX存在且等于 H X 总是存在的， 证明。已经证明了对于平稳信源 H X 只需要证明
HX HX
1 1 n H X1 , X 2 ,..., X n H X k | X 1 , X 2 ,..., X k 1 n n k 1
ˆ h P P log A 1 H X|X b e e
H Y | X H Y
H X1 , X 2 ,..., X n H X i
i 1 n
I U ;V I X ;Y
2017/4/12
16
信源熵速率定义为
1 H X lim H X 1 , X 2 ,..., X n n n
2017/4/12
n N 1 ak a n i 1 n
N
9
1 ak a n i 1
n趋于无穷时，第一项趋于0，因此选择 足够大的n可使得
N
bn a 2
因此，当
n
bn a
2017/4/12 10
i 1
n
n
I X1 , X 2 , X 3 ,..., X n ; Y I X i ; Y | X1 ,..., X i 1
i 1
p x p x D p || q p x log E p log q x q x x
nH X lim HX n n
2017/4/12
4
例2
考虑信源{Xk}， Xk相互独立
H Xk k
1 H X 1 , X 2 ,..., X n n n 1 1 n n 1 1 k n 1 n k 1 n 2 2
2017/4/12 5
平稳
X1 , X 2 ,..., X m
X1l , X 2l ,..., X ml
具有相同分布，则信源称为平稳的
lim H X n | X 1 , X 2 ,..., X n 1 HX
n
假设已知信源过去的所有输出，关于下一个 字符的条件熵…的极限。
2017/4/12 6
2017/4/12 7
引理 Cesaro均值
1 n 令ak,bk为实数， an a bn k 1 ak 则 n
bn a
证明. 思路 如果ak序列极限是a，则ak前n项均值构
成的序列的极限也是a。
an a
0, N , s.t. 对所有的n>N(epslon)
2.8 平稳信源的熵速率
本节内容： 离散平稳信源概念 熵速率的概念 平稳信源… Cesaro均值 平稳是信源存在熵速率的充分条件。
2017/4/12
1
离散平稳信源
离散平稳信源
X k , k 1
指的是由正整数标示的 无限个随机变量的集 合，每个Xk称为字符，该正整数集合一般被称 为指标集（index set）
2017/4/12
2
熵速率
百度文库 k , k 1 熵速率定义为
1 H X lim H X 1 , X 2 ,..., X n n n
条件是上式极限存在
信源的熵速率可能存在，也可能不存在。
2017/4/12 3
例1
考虑独立同分布信源{Xk}，生成变量为X
1 lim H X 1 , X 2 ,..., X n n n
x y
p x, y | z p X ,Y | Z I X ; Y | Z p x, y, z log E log p x | z p y | z p X | Z p Y | Z x, y , z
2017/4/12 13
I X; X H X
ln a a 1
2017/4/12 14
D q || p 0
a a log b
i i i i
ai ai log bi i
i
i
H X log A
HX 0
H Y | X 0
I X ;Y 0
15
2017/4/12
an a
2017/4/12 8
1 n bn a ak a n k 1
1 n ak a n k 1
1 n ak a n k 1
N n 1 ak a ak a n i N 1 i 1
x
p x, y p X ,Y I X ; Y p x, y log E log p x p y p X p Y x, y
H Y | X p x, y log p y | x E log p Y | X
平稳信源的熵速率存在且等于
1 lim H X n | X 1 , X 2 ,..., X n 1 HX n n
2017/4/12 17
END
2017/4/12 18
lim H X k | X 1 , X 2 ,..., X k 1 H X
k
2017/4/12 11
由Cesaro引理
1 H X lim H X 1 , X 2 ,..., X n H X n n
2017/4/12
12
总结
H ( X ) p( x) log p( x) E log p X
引理
存在 对于平稳信源，H X 0 HX 证明. 首先由条件熵非负性，
H X n | X1, X 2 ,..., X n1
H X n | X 2 , X 3 ,..., X n1
H X n1 | X1, X 2 ,..., X n1
非负单调递减序列必有极限。
定理
平稳信源{Xk}的熵速率HX存在且等于 H X 总是存在的， 证明。已经证明了对于平稳信源 H X 只需要证明
HX HX
1 1 n H X1 , X 2 ,..., X n H X k | X 1 , X 2 ,..., X k 1 n n k 1
ˆ h P P log A 1 H X|X b e e
H Y | X H Y
H X1 , X 2 ,..., X n H X i
i 1 n
I U ;V I X ;Y
2017/4/12
16
信源熵速率定义为
1 H X lim H X 1 , X 2 ,..., X n n n
2017/4/12
n N 1 ak a n i 1 n
N
9
1 ak a n i 1
n趋于无穷时，第一项趋于0，因此选择 足够大的n可使得
N
bn a 2
因此，当
n
bn a
2017/4/12 10