信息论第4讲——连续信源的数学模型及其信息测度
合集下载
信息论连续信源
其他连续熵的定义：
h( XY ) p( xy) log p( xy)dxdy
R2
h( X ) p( xy) log p( x )dxdy Y y 2
R
h(Y
y )dxdy ) p( xy) log p( X x 2
R
2.3.2 几种特殊连续信源的熵
1
均匀分布的连续信源的熵
n
0
lim log p ( x)dx
n
0
连续信源熵定义：
1
h( X ) p( x) log p( x)dx
为了在形式上与离散信源熵统一 熵差仍然具有信X ) H ( X ) Y
例
求均匀分布的连续信源熵
原因
2影响信源的整体特性，m
对整体特性无影响
3 指数分布的连续信源的熵
1 e x0 p ( x) m 0 其它 h( X ) p( x) log p( x)dx
x m
0
1 p( x) log( e )dx 0 m x log m p( x)dx log e p( x) dx 0 0 m log( me)
x m
2.3.3 连续熵的性质
1 2
连续信源熵可为负值 可加性
h( XY ) h ( X ) h (Y
X
)
h( XY ) h (Y ) h ( X ) Y
3
非负性
Ic ( X ;Y ) 0
4
对称性
I c ( X ;Y ) I c (Y ; X )
2.3.4 最大熵和熵功率
p( x i )
信息论第4章(波形信源和波形信道)ppt课件
05-06学年上 2 .
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
信源的数学模型及分类
X X1X2 XN 表示，又称为随机序列。
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
信息论基础第4章连续信源与连续信道
为极值时的 p(x) 。限制条件为
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
信息论2015-4
种坐标系的变换。
信源
X
信号处理
Y
信道
Y1 g1 ( X 1 , X 2 ,...X N ) Y g ( X , X ,...X ) 2 2 1 2 N YN g N ( X 1 , X 2 ,...X N )
平稳的连续信源输出信号为N维连续随机向量X=(X1,X2,…XN)，
率受限，则当输出信号的概率密度函数为高斯分布时，信源具有最大熵。 如果N维平稳随机序列信源，其输出信号的协方差矩阵受限，则当各个随 机分量为统计独立且为高斯分布时，信源具有最大熵。
5
3.4.1 连续信源的最大熵
如果N维连续平稳信源输出的N维连续随机序列X=(X1,X2,…XN)是高斯分布的，则称 此信源为N维高斯信源。
可以证明
X J Y
1 J Y X
因此有
X p ( x , x , , x ) dx dx dx p ( x , x , , x ) J dy1dy2 dy N N 1 2 N N A X 1 2 B X 1 2 Y
F ( x, p ) 0 求这个辅助函数关于信源概率密度函数的微分，根据极值的条件有 p
如果考虑m个约束方程，能够求得概率密度函数的解，就可以确定这个连续信源的 最大熵和所对应的信源概率密度分布p(x)。
2
3.4.1 连续信源的最大熵
（1）峰值功率受限的连续信源最大熵
若一个连续信源，其一维连续随机变量X的取值区间是[-v, v]，X在其中的概率密度 函数是p(x)，这时对应只有一个约束方程， v
p( y )
1 2k
2 2
e
( y a ) 2 / 2 k 2 2
信息论课件CHAPTER4
由于
h( X
)
h( X
/Y
)
p( xy) log
p( x / y)dxdy p( x)
p( xy)(1
p( x) )dxdy p(x | y)
0
仅当X、Y独立时等式成立。
4.1.5 连续随机变量集合差熵的性质(续) ——连续熵与离散熵的类似性
3. 可加性 设N维高斯随机矢量集合 XΝ X1X2 X N ,很容易证明
4.1.1 连续随机变量的离散化
一个连续随机变量的离散化过程大致如下：
若给定连续随机变量集合X 的概率分布F(x) P{X x} 或 概率密度p(x) ；再给定一个由实数集合到有限或可数集 合的划分 P ，使得
P {Si, i 1, 2, }，其中Si 表示离散区间，i Si 为实数集合，
主要是高斯信源的差熵；然后介绍连续信 源最大熵定理；最后介绍连续集合之间的 平均互信息、离散集合与连续集合的平均 互信息。
§4.1 连续随机变量集合的熵
本节主要内容：
1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度
4.1.5 连续随机变量集合差熵的性质 ——连续熵与离散熵的类似性
1. 连续熵与离散熵计算表达式类似。通过比较可见，由计算 离散熵到计算连续熵，不过是将离散概率变成概率密度， 将离散求和变成积分。
2. 熵的不增性。连续熵同样满足熵的不增原理，即
h( X ) h( X / Y )
(4.1.15)
i
p(xi )x log p(xi ) p(xi )x log x （4.1.5）
《信息论、编码及应用》课件第4章
RR R
当N=2时，得二维条件差熵为
(4-21)
h( X 2 | X1) p(x1x2 ) log p(x2 | x1) d x1 d x2
(4-22)
RR
和离散信源的信息熵一样，我们将在4.5节中证得以下各种差熵
之间的关系:
h(X2|X1)≤h(X2) 当且仅当相互独立时等式才成立。
(4-23)
n
n
H ( X n ) Pi log Pi p(i ) log[ p(i )]
i 1
i 1
n
n
p(i ) log p(i ) p(i ) log
i 1
i1
n
n
p(i ) log p(i ) (log ) p(i )
i 1
i1
(4-9)
n
p(i ) log p(i ) (log )
假设另有一个连续信源Y，其概率密度分布函数为p(y)， 取值区间为[c，d]，并且p(y)是y在取值区间[c，d]中的连续函 数。我们用同样的方法得到其对应的离散信源Ym如下：Biblioteka Ym P(Ym)
1
P1
2
P2
m
Pm
1 p(1
)
m j 1
Pj
m j 1
p( j )
1
2 m
p(2 )
ai p(x)d x (i 1,2,,n)
a(i1)
(4-6)
概率密度分布及其等间隔Δ分割离散化的示意图如图4-1所示。
第4章 连续信源与连续信道
图 4-1 概率密度分布及其等间隔Δ分割离散化的示意图
第4章 连续信源与连续信道
根据积分中值定理，在区间[a+(i－1)Δ，a+iΔ]中必定存 在一个ξi，满足
当N=2时，得二维条件差熵为
(4-21)
h( X 2 | X1) p(x1x2 ) log p(x2 | x1) d x1 d x2
(4-22)
RR
和离散信源的信息熵一样，我们将在4.5节中证得以下各种差熵
之间的关系:
h(X2|X1)≤h(X2) 当且仅当相互独立时等式才成立。
(4-23)
n
n
H ( X n ) Pi log Pi p(i ) log[ p(i )]
i 1
i 1
n
n
p(i ) log p(i ) p(i ) log
i 1
i1
n
n
p(i ) log p(i ) (log ) p(i )
i 1
i1
(4-9)
n
p(i ) log p(i ) (log )
假设另有一个连续信源Y，其概率密度分布函数为p(y)， 取值区间为[c，d]，并且p(y)是y在取值区间[c，d]中的连续函 数。我们用同样的方法得到其对应的离散信源Ym如下：Biblioteka Ym P(Ym)
1
P1
2
P2
m
Pm
1 p(1
)
m j 1
Pj
m j 1
p( j )
1
2 m
p(2 )
ai p(x)d x (i 1,2,,n)
a(i1)
(4-6)
概率密度分布及其等间隔Δ分割离散化的示意图如图4-1所示。
第4章 连续信源与连续信道
图 4-1 概率密度分布及其等间隔Δ分割离散化的示意图
第4章 连续信源与连续信道
根据积分中值定理，在区间[a+(i－1)Δ，a+iΔ]中必定存 在一个ξi，满足
连续信源
11
HUST --- Information and Coding Theory
联合熵、条件熵和平均交互信息量
设有两个连续随机变量X 和Y
定义
H (X ,Y )
p(xy) log p(xy)dxdy
式中p( xy)为二维联合概率密度。
定义
H (Y | X )
p(xy) log p( y | x)dxdy
F x1,x2 ,L ,xn;t1,t2 ,L ,tn PX (t1) x1, X (t2 ) x2,..., X (tn ) xn
若F x1,x2 ,L ,xn;t1,t2 ,L ,tn 的 n 阶偏导数存在，则有
p(x1x2 L
xn ;t1t2 L
tn
)
n
F (x1, x2 ,L x1x2
3
2.3.1连续信源的熵
HUST --- Information and Coding Theory
简单连续信源的模型可写为
X x
P
p(
x)
p( x)dx
1
假设x [a,b],令x (b a) / n,xi [a (i 1)x, a ix], 则连续信源模型可改写成离散信源模型
2.4 离散无失真信源编码定理
6
连续信源的熵
HUST --- Information and Coding Theory
例1：均匀分布随机变量的概率密度为
p(x)
b
1
a
0
求其熵。
a xb 其它
例2：求均值为m、方差为 2的高斯分布的熵。
7
HUST --- Information and Coding Theory
(信息论、编码及应用)第4章连续信源与连续信道
应用
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
信息论汇总马尔科夫信源ppt培训课件
(i＞3)
求：⑴信源状态转移情况和相应概率；
⑵画出完整的二阶马尔可夫信源状态转移图；
⑶求平稳分布概率；
（4）马尔科夫信源达到稳定后，0和1的分布 概率。
• 解:
• 设信源开始处于s0状态,并以 等概率发出符号0和1,分别
(0)0.3
s1
•
到达状态s1和s2 : 若处于s1 ,以0.3和0.7的概率
p(x1,x2,x3, xL) p(xL|xL1, x1)p(x1,x2, xL1) p(xL|xL1, x1)p(xL1|xL2, x1)p(x1,x2,
xL2)
3
2.1.3 马尔可夫信源
• 马尔可夫信源
–一类相对简单的离散平稳有记忆信源 –该信源在某一时刻发出字母的概率除与该
p(s2|s1)p(s3|s4)0.2
0：0.8
0.8 0.2 0 0
P
0
0
.5
0 0 .5
0 .5 0
0.5
0
0
0
0 .2
0
.8
1：0.2
01
1：0.5
00
0：0.5 1：0.5
0：0.5
10
0：0.2
11
1：0.2
14
齐次马尔可夫链中的状态可以根据其性质进行 分类:
(1)0.7
s0
(0)0.4 (0)0.2
(1)0.6
(1)0.5 11
01
(1)0.6
s6 (1)0.8
s4
26
• 由题意,此马尔可夫信源的状态必然会进入这个 不可约闭集,所以我们计算信源熵时可以不考虑 过渡状态及过渡过程。
信息论基础教学课件ppt-连续信息与连续信源
北京邮电大学信息论
信息论基础
第4章
连续信息与连续信源
1
本章主要内容
4.1 连续随机变量集合的熵
4.1.1 4.1.2 4.1.3 4.1.4
连续随机变量的离散化 连续随机变量的熵 连续随机变量差熵的性质 连续随机变量的相对熵
4.2 离散时间高斯信源的熵
4.2.1 4.2.2 4.2.3 4.2.4
55
4.6.2 语音信源
●语音（Speech）是指人所发出的声音 ●语音功率谱频率范围通常从500到4kHz，按每 倍频程8到10dB速率衰减。 ●语音信号的剩余度表现在如下几方面： （1）语音信号样本间相关性很强。 （2）浊音具有准周期性； （3）声管形状及其变化的速率较慢； （4）数字语音码符号的概率不均匀。
，则
(4.21b)
即经过平移和旋转变换后的连续信源的差熵不变。
17
4.1.4 连续随机变量的相对熵
与离散情况类似，我们可以定义连续随机变量的
相对熵（信息散度）。设p和q为定义在同一概率 空间的两个概率密度，定义p相对于q的相对熵为：
(4.23)
18
4.2 离散时间高斯信源的熵
4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率
率密度，其协方差矩阵也为 根据定理4.2（散度不等式）有 所以：
34
§4.3.2 限功率最大熵定理
证明（续）
所以： 上面利用了两概率分布具有相同的自协方差矩阵的 条件，其中 仅当 为高斯分布时等式成立。证毕。
35
§4.3.4 熵功率
限功率最 大熵定理
熵功率：
（4.50 ）
信息论基础
第4章
连续信息与连续信源
1
本章主要内容
4.1 连续随机变量集合的熵
4.1.1 4.1.2 4.1.3 4.1.4
连续随机变量的离散化 连续随机变量的熵 连续随机变量差熵的性质 连续随机变量的相对熵
4.2 离散时间高斯信源的熵
4.2.1 4.2.2 4.2.3 4.2.4
55
4.6.2 语音信源
●语音（Speech）是指人所发出的声音 ●语音功率谱频率范围通常从500到4kHz，按每 倍频程8到10dB速率衰减。 ●语音信号的剩余度表现在如下几方面： （1）语音信号样本间相关性很强。 （2）浊音具有准周期性； （3）声管形状及其变化的速率较慢； （4）数字语音码符号的概率不均匀。
，则
(4.21b)
即经过平移和旋转变换后的连续信源的差熵不变。
17
4.1.4 连续随机变量的相对熵
与离散情况类似，我们可以定义连续随机变量的
相对熵（信息散度）。设p和q为定义在同一概率 空间的两个概率密度，定义p相对于q的相对熵为：
(4.23)
18
4.2 离散时间高斯信源的熵
4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率
率密度，其协方差矩阵也为 根据定理4.2（散度不等式）有 所以：
34
§4.3.2 限功率最大熵定理
证明（续）
所以： 上面利用了两概率分布具有相同的自协方差矩阵的 条件，其中 仅当 为高斯分布时等式成立。证毕。
35
§4.3.4 熵功率
限功率最 大熵定理
熵功率：
（4.50 ）
第4讲连续信源的熵与互信息量
p(x)
p(xi)
△
a
0 xi
bx
首先把X的取值区间[a,b]等分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△, xi为小区间xi中的一
点，于是得到分割后的离散信源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
pX (x) pxy(xy)dy
R
R
2
1
x y
1
2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2(x mx )(y my ) x y
(y my )2
2 y
dy
1
2
x
exp
(x
mx
取值，则X的相对熵
Hc X ln 2M
当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理
若连续随机变量X的方差为一定，则X服从正态分布时
的相对熵最大，即
Hc X ln
2 e 1 ln 2 e 2
2
最大连续熵定理
峰值功率受限的最大熵定理
若连续随机变量X的峰值不超过M，即X限于(-M,M)内
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
2.3连续信源
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
信息论_连续信源和波形信道
∑ ∑ C
=
max p(x)
I (X; Y)
=
max p(x)
n i =1
I ( Xi ;Yi )
=
1 2
n i =1
log(1 +
PX i PNi
)
⇒ C = n log(1+ PX
)
=
n
log(1 +
σ
2 X
)
2
PN 2
σ
2 N
当且仅当输入随机矢量X中各分量统计独立，并且均 为高斯分布时达到信道容量。
p(x)
说明：加性连续信道的信道容量取决于噪声N（即 信道）的统计特性和输入随机变量X所受的限制条 件。对于不同的限制条件，连续随机变量具有不同 的最大熵值。
讨论平均功率受限下的高斯白噪声信道的信道容量。
[ ( )] ( ) C
=
max h(Y )− h(N ) =
p(x)
1 2
log
2πe
⎥⎦
∫ ∫ b p(x)dx = 1
+∞
p(x)dx = 1
a
−∞
5
1.1 连续信源的概率密度函数 pi = p( xi )Δ
连续随机变量X的取值分割成n个等宽区间，Δ=(b-a)/n。则
∫ P(a + (i −1)Δ ≤ X
≤ a + iΔ) =
a+iΔ a + (i −1) Δ
p( x)dx
⎟⎟⎠⎞ = W
log ⎜⎜⎝⎛1 +
PS PN
⎟⎟⎠⎞
bit / s
25
2.4 波形信道及其信道容量
单位时间的信道容量为 ：
信息论ppt第四章
如图所示，信源在某时刻处于某一状态 si ， 当它发出一个符号xim1 后，所处的状态就变了， 转移到状态 s j,因此,信源输出的符号序列X1 X 2 X m X m1 变换成信源状态序列S1S2 SmSm1 ，于是一个讨论 信源输出符号不确定性的问题变成讨论信源状态 转换的问题。
作业：1. 证明 2. 有一无记忆信源的符号集为{0，1}，已知信源的 概率空间为 1 X 0 P 1 / 4 3 / 4 ， (1)求信源熵； (2)求由m个“0”和(100-m)个“1”构成的某一特定序 列的自信息量的表达式； (3)计算由100个符号构成的符号序列的熵。
并设发出的符号只与前一个符号有关，其关联程 度由条件概率 p(a j | ai ) 给出，如下所示：
， 求：(1)此信源每发出一条消息提供的平均信息 量 H(X ) ； (2)此信源的平均符号熵 H2 ( X ) (3)此信源的极限熵 H 。
7 / 9 2 / 9 0 1/ 8 3/ 4 1/ 8 2 / 11 9 / 11 0
实际信源分类如下：
离散无记忆信源 记忆长度无限 平稳信源 离散平稳信源 离散有记忆信源 记忆长度有限 随机过程：波形信源 (马尔科夫信源) 连续平稳信源 非平稳信源
第二节
离散离 散单符号信源，它是最简单、最基本的信 源，是组成实际信源的基本单元，用一个 离散型随机变量表示。 信源所有可能输出的消息和消息所对应 的概率共同组成的二元序 [ X , P( X )] 对称为信 源的概率空间。
X X x1 , X x2 , X xi , X xq P( X ) p( x ), p( x ), p( x ), p( x ) 2 i q 1
连续信源和连续信道
当信源的概率密度符合正态分布时，其相对熵仅与随机 变量的方差 2 有关，而方差在物理含义上往往表示信号
的交流功率,即p 2
在限制信号平均功率的条件下，正态分布的信源可输出最
大相对熵 而增加。
Hc
(X
)
1 2
log 2
2e
2
其值随平均功率的增加
如果噪声是正态分布，则噪声熵最大，因此高斯白噪声 获得最大噪声熵。
i 1
bi
ai
i 1
0
N
x bi ai i 1
N
N
Hc ( X ) log2 (bi ai ) log2 (bi ai )
i 1
i 1
HcX1 HcX2 HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
单变量连续信源X呈正态分布的概率密度函数为
p(x)
1
e
(
xm) 2 2
2
2 2
且：
p(x)dx 1
Hc
(X
)
1 2
log 2
2e
2
xp(x)dx m
x2 p(x)dx P
E X m2 E X 2 m2 P2 m2 2
当连续信源输出信号的均值为零、平均功率受限 时，只有信源输出信号的幅度呈高斯分布时，才会有 最大熵值。
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得
Hc(X )
P(x) log 2P(x)dx
连续信源熵
– 平均互信息的非负性，对称性，信息处理定 理 Hc XY Hc X Hc Y | X Hc Y Hc X | Y Hc Y | X Hc Y , Hc XY Hc X Hc Y
Ic (X ;Y ) 0 Ic ( X ;Y ) Ic (Y ; X ) Ic (X ; Z) Ic(X ;Y )
u du a a
Su
1 a
pX
u a
log
1 a
pX
u a
log
a
du
pU u log pU u log a du
Su
Hc U log a
Hc aX log a
2.5 连续信源
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
2
2
2 2
p(x) ln q(x)dx
p(
x)
1 2
ln
2
2
(x m)2
2 2
dx
1 ln 2 2 1 1 ln 2 e 2
2
22
p(x) ln q(x)dx q(x) ln q(x)dx
Ic (X ;Y ) 0 Ic ( X ;Y ) Ic (Y ; X ) Ic (X ; Z) Ic(X ;Y )
u du a a
Su
1 a
pX
u a
log
1 a
pX
u a
log
a
du
pU u log pU u log a du
Su
Hc U log a
Hc aX log a
2.5 连续信源
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
2
2
2 2
p(x) ln q(x)dx
p(
x)
1 2
ln
2
2
(x m)2
2 2
dx
1 ln 2 2 1 1 ln 2 e 2
2
22
p(x) ln q(x)dx q(x) ln q(x)dx
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五讲
连续
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X), I(X;Y) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
第五讲
连续信源的数学模型 及其测度
X 和Y 之间的平均互信息由定义有
I (X；Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
ln
1
1
1 2 2
(x mx )2
(1
2
)
2 x
2(x mx )( y my ) (1 2 ) x y
a
0 xi
bx
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△ ，于是得到离散信
源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
其中
n
p( xi )
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
X p(
x)
(a, b)
p(
x)
并满足
b
p(x)dx 1
a
连续熵
考虑一个定义在[a,b]区间的连续随机变量，如下图
p(x)
p(xi)
△
1) 相对熵为绝对熵减去一个无穷大量； 2) 相对熵不具有非负性，可以为负值； 3) 相对熵不等于一个消息状态具有的平均信息量； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信
息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。
连续熵
定义：连续变量的联合熵为
yR
W
( y)
p(x
/
y) log W ( y) p(x / y)dx p(x)W ( y)
连续变量X与离散变量Y联合联合熵、条件熵
Hc ( XY ) W ( y) p(x / y) logW ( y) p(x / y)dx yR
Hc ( X / Y ) W ( y) p(x / y) log p(x / y)dx yR
HC HC
HC
(X) (X)
(X)
0； 0;
0 .
例 令X是数学期望为m，方差为 2 的正态随机变量，求
它的熵。
解：将正态随机变量的概率密度
p(x)
1
2
exp
1
2
2
(x
m)2
HC (X )
p(x) ln
1
2
1
2 2
(
x
m)
2
dx
ln 2 1
2
1 ln2 e 2
2
它的值视 2 的大小可正、可负或零，且与数学期望无关。
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
(
X
n
)}
lim{
0 n
i
1
p(xi ) log
p(xi ) log }
a
p(x) log p(x)dx lim{log } 0
Hc(X)
相对熵
连续熵
定义:连续信源的相对熵为
b
Hc ( X ) a p(x) log p(x)dx
)
R2
p(x,
y)
log
q( x) w(
y)
dxdy
连续变量的联合熵、条件熵和互信息之间关系
Hc ( XY ) Hc ( X ) Hc (Y / X ) Hc ( XY ) Hc (Y ) Hc ( X / Y ) I(X ;Y) Hc(X ) Hc(X /Y) I ( X ;Y ) Hc (Y ) Hc (Y / X ) I ( X ;Y ) Hc ( X ) Hc (Y ) Hc ( XY )
pX (x) pXY (xy)dy R
R
1 2 x y
1
2
exp
1 2(1 2)
(x
mx )2
2 x
2(x
mx )( y x y
my )
(y
my )2
2 y
dy
exp
1
2
2 x
(
x
mx
)2
pY ( y) pXY (xy)dx
1
2 y
exp
1
2 y2
(x my )2
连续熵
条件平均互信息量
p(xy / z)
I
(
X
;Y
/
Z
)
R3
p(xyz)
log
q(
x
/
z)w(
y
/
z)
dxdydz
联合平均互信息量
I (XY; Z )
R3
p(xyz) log
p(xyz) p(xy)w(z)
dxdydz
连续熵与平均互信息量
连续变量X与离散变量Y的平均互信息量
I ( X ;Y )
b
p(x)dx 1
a
i 1
按离散信源熵定义
n
H ( X n ) [ p(xi )]log[ p(xi )]
i 1
n
n
p(xi ) log p(xi ) p(xi ) log
i n1
i 1
p(xi ) log p(xi ) log
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
例 令X是在区间(a，b)上为均匀分布的随机变量， 求X的熵。
解：x的概率密度为
p(x)
b
1
a
0
x (a, b) x (a, b)
b1
HC ( X )
log(b a)dx log(b a) a ba
注意:连续变量的微分熵不具有非负性
当b－a>1 b－a<1 b－a=1
时， 时， 时，
e
2
Hc(X )
1 log 2
M
N 2
log 2 e
连续熵实例
设pXY是(xy)二维高斯概率密度函数
pXY (xy)
2
1
x y
1 2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2
(
x
mx )(
x y
y
my
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : Hc ( X ) ln(b a)
N
N
N维均匀分布 : Hc ( X ) ln (bi ai ) ln(bi ai )
i 1
i 1
• 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关
Hc
(X
)
1 2
log
2
Hc (XY ) p(xy)log p(xy)dxdy R2
定义：连续变量的条件熵为
Hc ( X / Y ) @ p(xy) log p(x / y)dxdy R2
Hc (Y / X ) @ p(xy) log p( y / x)dxdy R2
连续熵
定义：平均互信息量为
p(x, y)
I
(
X
;Y
连续
离散信源
信源的数学模型
– 随机变量、随机序列
信源的信息测度
– 简单离散信源：H(X), I(X;Y) – 离散无记忆信源：H ∞(X) = HL(X)=H(X) – 离散有记忆信源：H∞(X) ≤ HL(X) ≤ H(X)
第五讲
连续信源的数学模型 及其测度
X 和Y 之间的平均互信息由定义有
I (X；Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
ln
1
1
1 2 2
(x mx )2
(1
2
)
2 x
2(x mx )( y my ) (1 2 ) x y
a
0 xi
bx
首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系
x取值为第i个小区间xi的概率为p(xi).△ ，于是得到离散信
源Xn的概率源空间为：
x1
x2
…
xn
p(x1)△ p(x2)△ … p(xn)△
其中
n
p( xi )
连续信源的数学模型
输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随机变量或随机过程。
连续信源输出的状态概率用概率密度来表示。
X p(
x)
(a, b)
p(
x)
并满足
b
p(x)dx 1
a
连续熵
考虑一个定义在[a,b]区间的连续随机变量，如下图
p(x)
p(xi)
△
1) 相对熵为绝对熵减去一个无穷大量； 2) 相对熵不具有非负性，可以为负值； 3) 相对熵不等于一个消息状态具有的平均信息量； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信
息量时是求两个熵的差，当采用相同的量化过程 时，两个无穷大量将被抵消，因而采用相对熵不影 响分析。
连续熵
定义：连续变量的联合熵为
yR
W
( y)
p(x
/
y) log W ( y) p(x / y)dx p(x)W ( y)
连续变量X与离散变量Y联合联合熵、条件熵
Hc ( XY ) W ( y) p(x / y) logW ( y) p(x / y)dx yR
Hc ( X / Y ) W ( y) p(x / y) log p(x / y)dx yR
HC HC
HC
(X) (X)
(X)
0； 0;
0 .
例 令X是数学期望为m，方差为 2 的正态随机变量，求
它的熵。
解：将正态随机变量的概率密度
p(x)
1
2
exp
1
2
2
(x
m)2
HC (X )
p(x) ln
1
2
1
2 2
(
x
m)
2
dx
ln 2 1
2
1 ln2 e 2
2
它的值视 2 的大小可正、可负或零，且与数学期望无关。
得连续信源的熵为：
n
H (X )
绝对熵
lim{H
0 n
b
(
X
n
)}
lim{
0 n
i
1
p(xi ) log
p(xi ) log }
a
p(x) log p(x)dx lim{log } 0
Hc(X)
相对熵
连续熵
定义:连续信源的相对熵为
b
Hc ( X ) a p(x) log p(x)dx
)
R2
p(x,
y)
log
q( x) w(
y)
dxdy
连续变量的联合熵、条件熵和互信息之间关系
Hc ( XY ) Hc ( X ) Hc (Y / X ) Hc ( XY ) Hc (Y ) Hc ( X / Y ) I(X ;Y) Hc(X ) Hc(X /Y) I ( X ;Y ) Hc (Y ) Hc (Y / X ) I ( X ;Y ) Hc ( X ) Hc (Y ) Hc ( XY )
pX (x) pXY (xy)dy R
R
1 2 x y
1
2
exp
1 2(1 2)
(x
mx )2
2 x
2(x
mx )( y x y
my )
(y
my )2
2 y
dy
exp
1
2
2 x
(
x
mx
)2
pY ( y) pXY (xy)dx
1
2 y
exp
1
2 y2
(x my )2
连续熵
条件平均互信息量
p(xy / z)
I
(
X
;Y
/
Z
)
R3
p(xyz)
log
q(
x
/
z)w(
y
/
z)
dxdydz
联合平均互信息量
I (XY; Z )
R3
p(xyz) log
p(xyz) p(xy)w(z)
dxdydz
连续熵与平均互信息量
连续变量X与离散变量Y的平均互信息量
I ( X ;Y )
b
p(x)dx 1
a
i 1
按离散信源熵定义
n
H ( X n ) [ p(xi )]log[ p(xi )]
i 1
n
n
p(xi ) log p(xi ) p(xi ) log
i n1
i 1
p(xi ) log p(xi ) log
i 1
当△→0，n→∞时，Xn接近于连续随机变量X，这时可
例 令X是在区间(a，b)上为均匀分布的随机变量， 求X的熵。
解：x的概率密度为
p(x)
b
1
a
0
x (a, b) x (a, b)
b1
HC ( X )
log(b a)dx log(b a) a ba
注意:连续变量的微分熵不具有非负性
当b－a>1 b－a<1 b－a=1
时， 时， 时，
e
2
Hc(X )
1 log 2
M
N 2
log 2 e
连续熵实例
设pXY是(xy)二维高斯概率密度函数
pXY (xy)
2
1
x y
1 2
exp
1
2(1 2 )
(
x
mx
2 x
)
2
2
(
x
mx )(
x y
y
my
)
(
y
my
2 y
)2
求X与Y的平均互信息。
例 X 和Y 的一维概率密度函数容易求得为
连续熵实例
• 均匀分布的连续信源的熵：仅与区域的边界有关
一维均匀分布 : Hc ( X ) ln(b a)
N
N
N维均匀分布 : Hc ( X ) ln (bi ai ) ln(bi ai )
i 1
i 1
• 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关
Hc
(X
)
1 2
log
2
Hc (XY ) p(xy)log p(xy)dxdy R2
定义：连续变量的条件熵为
Hc ( X / Y ) @ p(xy) log p(x / y)dxdy R2
Hc (Y / X ) @ p(xy) log p( y / x)dxdy R2
连续熵
定义：平均互信息量为
p(x, y)
I
(
X
;Y