《信息论》(电子科大)第六章 连续信源与连续信道PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
电子科技大学
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
电子科技大学
从整体的角度，如何度量在连续信道中 流通的信息量？该信息量能达到的最大 值是多少？
3
一、连续信源及其相对熵
电子科技大学
1lbleb22 1lb (2 e 2)
2
2
(3)指数分布连续信源的相对熵
p(x)1em x ,0x m
11
其 中 m E ， [X ]x(p x)dx 0
电子科技大学
H c(X )0p(x)lb(x p )dx
p(x)lb(1em x)dx
0
m
lb e p(x)xd xlbm p(x)dx
b
b
p(x)lb(xp )d xlim lb p(x)dx
a
n a
0
b
p(x)lb(px)dxlim lb
a
n
0
6
(2)连续信源的相对熵
电子科技大学
定义连续信源的相对熵
b
Hc(X)ap(x)lb(x p)dx
相对熵不能反映连续信源的平均不确定 度。 定义相对熵的目的：
①在形式上与离散信源熵统一；
0m
0
lbexp(x)dxlbm
m0
lbe lb m lb (em )
12
4、相对熵的性质及最大相对熵定理 电子科技大学 ①相对熵不具有非负性 例如，当b-a<1时，均匀分布连续信源的 相对熵 H c(X )lb (ba)0 ②相对熵的可加性 H c (X ) Y H c (X ) H c (Y /X ) H c (X ) Y H c (Y ) H c (X /Y )
P (a (i 1 ) X a i ) p (x )dx a (i 1 )
根据中值定理，有
ai
a(i1)p(x)dxp(xi)
5
(1)连续信源的绝对熵
电子科技大学
n
H(X)n l i 0m {i1p(xi)lb [p(xi)]}
n
n
n l i 0m i1p(xi) lb(xip )n l i 0m i1p(xi) lb
b
b
lb (b a ) p (x )d x lbp e (x )ln
1
dx
a
a (b a )p (x )
b
1
lb (ba)lbap e(x)([ba)p (x)1]dx
17
l( b ba )lb [be1d xbp (x)d]x电子科技大学
aba a lb(ba)
•平均功率受限条件下的最大熵定理 随机变量的平均功率被限定，则均值为 零、方差为该平均功率的高斯分布的连 续信源具有最大熵，即
1、单变量连续信源的数学模型
P(XX)ap(xx) b
b
并满足 a p(x)dx1
式中，p(x)为随机变量的概率密度函数。
2、单变量连续信源的熵 假定概率密度函数p(x)如图所示
4
p(x)
p(xi )
b
a
n
电子科技大学
a
a+(i-1)△ x ia+i△ b x
随机变量落在第i个小区的概率为
a i
2E [X (m )2](xm )2p (x )dx
wenku.baidu.com
H c(X ) p p((xx))llbb ((xp )1dx e(x2 m 2)2)dx
2 2
10
lb p e(x )(x2 m 2)2d x lb 2 2 p (x )d 电子科技大x 学
2 l b 2 e (xm )2p (x)d xlb22
22 e 22
19
x2
x2 电子科技大学
e 22
p(x)lb
dx
p(x)l b
e 22
dx
2 2
2 2 p(x)
3、几种连续信源的相对熵
(1)均匀分布连续信源的相对熵
p(x) 1 ,axb ba
b
Hc(X)ap(x)lbp(x)dx
b1
1
a
lb dx ba ba
lb(ba)
电子科技大学 9
(2)高斯分布连续信源的相对熵
电子科技大学
p(x)
1
(xm)2
e 22 , x
2 2
其中 m E ， [X ]x(p x)dx
H c (X ) 1 2 ln 2 e ( 2 ) 1 2 ln 2 e( ),P x
18
设p(x)是除高斯分布以外的任何概率密电子科技大学
度函数，且
p(x)dx1
x2p(x)dxP
H c(X )p(x)l
b(xp )dx
x2
22 e 22
p(x)lbp(x)
x2 dx
可利用不等式ln z≤z-1进行证明
设p(x)是定义域(a,b)上除均匀分布以外 的任何概率密度函数，且
b
a p(x)dx1
16
b
Hc(X)ap(x)lb(x p)dx
电子科技大学
bp(x)lb(x p)badx
a
ba
b
b
1
ap (x)lb (ba)d x ap (x)lb (ba)p (x)dx
13
可直接由定义证明：
电子科技大学
Hc(X)Y p (x)ylb(xp)ydxdy
R2
p (x)lyb (x)p dxdp (y x)lyb (y/p x)dxd
R 2
R 2
p(x)lb(xp )d xp (x)lyb(yp /x)dxdy
R
R 2
H c(X )H c(Y /X )
14
③最大相对熵定理
②熵差具有信息测度的意义。
7
同理，可以定义其它相对熵： 两个连续随机变量的联合熵
电子科技大学
Hc(X)Y p (x)yl b(x p)ydxdy R2
两个连续随机变量的条件熵
H c(X/Y ) p(xy)lb p (x/y)d xd y R 2
H c(Y/X )p (x)y lb(yp/x)dxdy R2 8
电子科技大学
连续信源没有一般意义下的最大熵，只 有限制条件下的最大熵。
通常讨论三种限制条件下的最大熵：
•取值范围受限；
•平均功率受限；
•均值受限。
15
电子科技大学
•取值范围受限条件下的最大熵定理
随机变量取值被限定在一定范围内，则 在该有限定义域内均匀分布的连续信源 具有最大熵，即
H c (X ) l( b b a ), a x b
电子科技大学
第6章 连续信源与连续信道
信源分为离散信源和连续信源，在讨论 了离散信源整体测度的基础上，本章讨 论的第一个问题是：
从连续信源的整体出发，它的信息量应 该如何度量？
信道也分为离散信道和连续信道，在讨 论了离散信道中流通信息量的整体测度 及能达到的最大值的基础上，本章讨论 的第二个问题是：
电子科技大学
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
电子科技大学
从整体的角度，如何度量在连续信道中 流通的信息量？该信息量能达到的最大 值是多少？
3
一、连续信源及其相对熵
电子科技大学
1lbleb22 1lb (2 e 2)
2
2
(3)指数分布连续信源的相对熵
p(x)1em x ,0x m
11
其 中 m E ， [X ]x(p x)dx 0
电子科技大学
H c(X )0p(x)lb(x p )dx
p(x)lb(1em x)dx
0
m
lb e p(x)xd xlbm p(x)dx
b
b
p(x)lb(xp )d xlim lb p(x)dx
a
n a
0
b
p(x)lb(px)dxlim lb
a
n
0
6
(2)连续信源的相对熵
电子科技大学
定义连续信源的相对熵
b
Hc(X)ap(x)lb(x p)dx
相对熵不能反映连续信源的平均不确定 度。 定义相对熵的目的：
①在形式上与离散信源熵统一；
0m
0
lbexp(x)dxlbm
m0
lbe lb m lb (em )
12
4、相对熵的性质及最大相对熵定理 电子科技大学 ①相对熵不具有非负性 例如，当b-a<1时，均匀分布连续信源的 相对熵 H c(X )lb (ba)0 ②相对熵的可加性 H c (X ) Y H c (X ) H c (Y /X ) H c (X ) Y H c (Y ) H c (X /Y )
P (a (i 1 ) X a i ) p (x )dx a (i 1 )
根据中值定理，有
ai
a(i1)p(x)dxp(xi)
5
(1)连续信源的绝对熵
电子科技大学
n
H(X)n l i 0m {i1p(xi)lb [p(xi)]}
n
n
n l i 0m i1p(xi) lb(xip )n l i 0m i1p(xi) lb
b
b
lb (b a ) p (x )d x lbp e (x )ln
1
dx
a
a (b a )p (x )
b
1
lb (ba)lbap e(x)([ba)p (x)1]dx
17
l( b ba )lb [be1d xbp (x)d]x电子科技大学
aba a lb(ba)
•平均功率受限条件下的最大熵定理 随机变量的平均功率被限定，则均值为 零、方差为该平均功率的高斯分布的连 续信源具有最大熵，即
1、单变量连续信源的数学模型
P(XX)ap(xx) b
b
并满足 a p(x)dx1
式中，p(x)为随机变量的概率密度函数。
2、单变量连续信源的熵 假定概率密度函数p(x)如图所示
4
p(x)
p(xi )
b
a
n
电子科技大学
a
a+(i-1)△ x ia+i△ b x
随机变量落在第i个小区的概率为
a i
2E [X (m )2](xm )2p (x )dx
wenku.baidu.com
H c(X ) p p((xx))llbb ((xp )1dx e(x2 m 2)2)dx
2 2
10
lb p e(x )(x2 m 2)2d x lb 2 2 p (x )d 电子科技大x 学
2 l b 2 e (xm )2p (x)d xlb22
22 e 22
19
x2
x2 电子科技大学
e 22
p(x)lb
dx
p(x)l b
e 22
dx
2 2
2 2 p(x)
3、几种连续信源的相对熵
(1)均匀分布连续信源的相对熵
p(x) 1 ,axb ba
b
Hc(X)ap(x)lbp(x)dx
b1
1
a
lb dx ba ba
lb(ba)
电子科技大学 9
(2)高斯分布连续信源的相对熵
电子科技大学
p(x)
1
(xm)2
e 22 , x
2 2
其中 m E ， [X ]x(p x)dx
H c (X ) 1 2 ln 2 e ( 2 ) 1 2 ln 2 e( ),P x
18
设p(x)是除高斯分布以外的任何概率密电子科技大学
度函数，且
p(x)dx1
x2p(x)dxP
H c(X )p(x)l
b(xp )dx
x2
22 e 22
p(x)lbp(x)
x2 dx
可利用不等式ln z≤z-1进行证明
设p(x)是定义域(a,b)上除均匀分布以外 的任何概率密度函数，且
b
a p(x)dx1
16
b
Hc(X)ap(x)lb(x p)dx
电子科技大学
bp(x)lb(x p)badx
a
ba
b
b
1
ap (x)lb (ba)d x ap (x)lb (ba)p (x)dx
13
可直接由定义证明：
电子科技大学
Hc(X)Y p (x)ylb(xp)ydxdy
R2
p (x)lyb (x)p dxdp (y x)lyb (y/p x)dxd
R 2
R 2
p(x)lb(xp )d xp (x)lyb(yp /x)dxdy
R
R 2
H c(X )H c(Y /X )
14
③最大相对熵定理
②熵差具有信息测度的意义。
7
同理，可以定义其它相对熵： 两个连续随机变量的联合熵
电子科技大学
Hc(X)Y p (x)yl b(x p)ydxdy R2
两个连续随机变量的条件熵
H c(X/Y ) p(xy)lb p (x/y)d xd y R 2
H c(Y/X )p (x)y lb(yp/x)dxdy R2 8
电子科技大学
连续信源没有一般意义下的最大熵，只 有限制条件下的最大熵。
通常讨论三种限制条件下的最大熵：
•取值范围受限；
•平均功率受限；
•均值受限。
15
电子科技大学
•取值范围受限条件下的最大熵定理
随机变量取值被限定在一定范围内，则 在该有限定义域内均匀分布的连续信源 具有最大熵，即
H c (X ) l( b b a ), a x b
电子科技大学
第6章 连续信源与连续信道
信源分为离散信源和连续信源，在讨论 了离散信源整体测度的基础上，本章讨 论的第一个问题是：
从连续信源的整体出发，它的信息量应 该如何度量？
信道也分为离散信道和连续信道，在讨 论了离散信道中流通信息量的整体测度 及能达到的最大值的基础上，本章讨论 的第二个问题是：