第6章连续信源与连续信道资料

➢与离散信源的熵在形式上统一 ➢熵差具有信息度量的意义
连续信源与连续信道
相对熵
表示
b
Hc(X) a p(x)log p(x)dx
相对熵不能作为连续信源的信息度量。 定义相对熵的目的：
➢与离散信源的熵在形式上统一 ➢熵差具有信息度量的意义
连续信源与连续信道
几种连续信源的相对熵
①均匀分布信源的相对熵
p(x) 1 ,a x b ba
b
Hc(X) a p(x)log p(x)dx
b
p(x) log
1
dx log( b a)
a
ba
②高斯分布信源的相对熵
连续信源与连续信道
p(x)
1
(xm)2
e 22 , x
2 2
其中，m E[X]
xp(x)dx
2 E[(X m)2] (x m)2 p(x)dx
a
ba
连续信源与连续信道
b
p(x)log
1
b
dx p(x)log
1
dx
a
ba a
p(x)(b a)
b
1
log( b a) log ea p(x)[ p(x)(b a) 1]dx
b
log( b a) log e[
1
b
dx p(x)dx]
a ba
a
log( b a)
如果连续消息取值范围被限定在[a,b]，该限定域 内的均匀分布信源具有最大相对熵，该最大相对 熵Hc(X)max=log(b-a)
Hc(X) log( b a), a x b
设p(x)是限定域[a,b]内的任何概率密度函数
b
Hc (x) a p(x)log p(x)dx
b p(x) log[ p(x) b a ]dx
a ix
P[a (i 1)x x a ix]
p(x)dx
a (i 1) x
根据中值定理，有
a ix
a(i1)x p(x)dx p(xi )x
连续信源与连续信道
①绝对熵
n
H(X)
lim {
n x0
i1
p(xi
)x
log[
p(xi
)x]}
n
n
lim
n x0
i1
p(xi
)x
log
p(xi )
b
p(x)dx 1
a
例1
X P(X)
a x b
1/(b
a)
连续信源与连续信道
例2
X P(X)
x
1 2 2
(xm)2
e 22
2、时不变连续信源的熵
假定概率密度函数p(x)如图所示
连续信源与连续信道
p(x)
p(xi ) x
b
a
n
a
a+(i-1)Δx xi a+iΔx b x
连续消息落在第i个区域的概率为
b
b
a p1(x) log p1(x) (1 ) a p2(x) log p2(x)dx
连续信源与连续信道
5、最大相对熵定理
连续信源没有一般意义下的最大相对熵，只有限制 条件下的最大相对熵。 通常讨论三种限制条件：
➢取值范围受限 ➢平均功率受限 ➢均值受限
连续信源与连续信道
①取值范围受限下的最大相对熵定理
连续信源与连续信道
Hc(X) p(x)log p(x)dx
p(x) log[ p(x)
2
2
e
x2 22
2
2
e
x2 22
]dx
p(x) log
e
x2 22
dx
p(x) log
e
x2 22
dx
22
p(x) 22
连续信源与连续信道
1 log( 2e2) log e p(x)[
p(x) log(
1
x
e m )dx
0
m
log m log e log( em)
连续信源与连续信道
4、相对熵的主要性质
①不具有非负性
例如，当b-a<1时，均匀分布信源的相对熵
Hc(X) log( b a) 0 ② 严格上凸性
b
a [p1(x) (1 )p2(x)]log[ p1(x) (1 )p2(x)]dx
信息论导论
通信与信息工程学院 杨海芬
2020年10月9日星期五
连续信源与连续信道
第6章 连Leabharlann Baidu信源与连续信道
掌握时不变连续信源相对熵的定义及其意义， 相对熵的计算和性质；
掌握连续系统平均互信息量的的定义、计算 和性质；
掌握加性信道的特点，高斯加性信道最大信 息传输速率计算式（香农公式）的导出、意 义和计算。
lim
n x0
i1
p(xi
)x
log
x
b
b
p(x)log p(x)dx lim log x p(x)dx
a
n
a
x0
b
p(x) log p(x)dx lim log x
a
n
x0
连续信源与连续信道
②相对熵
表示
b
Hc(X) a p(x)log p(x)dx
相对熵不能作为连续信源的信息度量。 定义相对熵的目的：
e
x2 22
1]dx
2
p(x) 22
1 log( 2e2) log e[
e
x2 22
dx p(x)dx]
2
22
1 log( 2e2 ) 1 log( 2eP)
2
2
连续信源与连续信道
③均值受限下的最大相对熵定理
如果非负连续消息的均值被限定为m，均值为该限 定值的指数分布信源具有最大相对熵，该最大相对 熵Hc(X)max=log(em)
Hc(x) log( em), 0 x
设p(x)是非负域的任何概率密度函数，且
0 xp(x)dx m
Hc(X) 0 p(x)log p(x)dx
连续信源与连续信道
一、连续信源及其相对熵
1、时不变连续信源 定义
如果任何时刻信源发出的消息都是单一符号，而 这些符号的取值是连续的，则该信源为时不变连 续信源。
表示
连续信源与连续信道
信源符号X取值于集合[a , b]
X P(X)
a
x p(x)
b
式中，p(x)为连续消息的概率密度函数
且满足
连续信源与连续信道
②平均功率受限下的最大相对熵定理
如果连续消息的平均功率被限定为P，均值为零、 方差为该平均功率的高斯分布信源具有最大相对 熵，该最大相对熵Hc(X)max=log(2πeP)/2
Hc
(X)
1 2
log(
2e2
)
1 2
log(
2eP)
,
x
设p(x)是任何概率密度函数，且
2 x2p(x)dx P
Hc (X) p(x) log p(x)dx
p(x) log(
1
e
(
xm)2 22
)dx
22
log 22 1 log e 1 log( 2e2 )
2
2
连续信源与连续信道
③指数分布信源的相对熵
p(x)
1
x
em
,0 x
m
其中，m E[X]
xp(x)dx
0
Hc (X) 0 p(x)log p(x)dx