2.3连续信源
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论第二章(2)
5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论与编码-教案
教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：
1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟
2数据处理定理，讲解20分钟
3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟
4讲解练习题，讲解60分钟
作业及课外训练：2.17
参考资料（含参考书、文献等）：
课后自我总结分析：
周次
第6周，第9次课
编写时间
2009.10.2
章节名称
2.3连续信源—2.4离散无失真信源编码定理
教学目的与要求：
参考资料（含参考书、文献等）：
课后自我总结分析：
理解离散平稳信源条件熵和极限熵的性质至关重要。
周次
第4周，第7次课
编写时间
2009.9.18
章节名称
2.2.4马尔可夫信源
教学目的与要求：
掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。
教学重点和难点：
教学重点：马尔可夫信源的特点
教学难点：马尔可夫信源极限熵的求解
2相对率，讲解10分钟
3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。
1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟
2数据处理定理，讲解20分钟
3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟
4讲解练习题，讲解60分钟
作业及课外训练：2.17
参考资料（含参考书、文献等）：
课后自我总结分析：
周次
第6周，第9次课
编写时间
2009.10.2
章节名称
2.3连续信源—2.4离散无失真信源编码定理
教学目的与要求：
参考资料（含参考书、文献等）：
课后自我总结分析：
理解离散平稳信源条件熵和极限熵的性质至关重要。
周次
第4周，第7次课
编写时间
2009.9.18
章节名称
2.2.4马尔可夫信源
教学目的与要求：
掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。
教学重点和难点：
教学重点：马尔可夫信源的特点
教学难点：马尔可夫信源极限熵的求解
2相对率，讲解10分钟
3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论
【例1】计算只能输出“1”和“0”两个消息(状态)的 简单二元信源的熵。 解：假设p(1)=p, p(0)=1-p(0≤p≤1)
H ( x ) - p( xi ) log p( xi ) - p log p - (1- p) log(1- p)
i 1 N
(1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0
损失了 信息量 p( x2 | y1 ) 3/8 I ( x2 , y1 ) log = log = 0.415bit
p( x 2 | y2 ) 3/ 4 I ( x2 , y2 ) log = log =0.585bit p( x2 ) 1/ 2
2013-10-26 18
p1 p2 pN 1/ N
当 p1 p2 pN 1/ N时，H max ( x) log N
2013-10-26 25
2.3 二元联合信源的共熵与条件熵
2013-10-26
26
2.3.1 二元联合信源的共熵
1.定义 二元联合信源的共熵是指二元联合信源(X,Y)输出 一个组合消息状态所发出的平均信息量，也称为 联合熵，记作H(x,y)。 2.表达式
2013-10-26 24
令： F
p1 F (1 log p2 ) 0 p2
(1 log p1 ) 0
F (1 log pN ) 0 pN
可得 代入到约束方程可得 因此
p1 p2 pN e 1
1 1 H ( x) k log (2.1) H ( x) log -log P log N (2.2) P P 对数可以取2、e、10为底，相应不确定程度的单位 分别为比特(bit)、奈特(nat) 、哈特莱(Hartley) 。
2.2 多符号离散信源的熵
16
17
（2）某时刻信源所处的状态由该时刻输出的符号 和前一时刻的状态唯一确定。
发akm1 发akm2 发......
ak1 ak2 akm ak2 akm akm1 ak3 akm1 akm2
Si Si+1 Si+2
问：m阶马尔可夫信源最多有多少种状态？ nm
所有的状态构成状态空间S，每种状态 以一定的概率发生，则得到的数学模型就是 Байду номын сангаас阶马尔可夫信源的数学模型。
10
解：
3
H ( X ) p(ai ) log p(ai ) 1.542bit / 符号
i 1
H ( X 2 | X 1 ) p(ai ) p(a j | ai ) log p(a j | ai ) 0.870bit / 符号
i 1 j 1
3
3
H ( X 2 ) H ( X 1 X 2 ) H ( X ) H ( X 2 / X 1 ) 2.412bit / 双符号 1 平均符号熵H N ( X ) H ( X N ) N 1 H 2 ( X ) H ( X 2 ) 1.206bit / 符号 2
20
则：
H H m 1 H ( S j | Si )
nm i , j 1 nm
令所有的状态组成一个状态集合Si 或Sj
p( si s j ) log p( s j | si ) p( si ) p( s j | si ) log p( s j | si )
所谓平稳是指序列的统计性质与时间的推移无关。
非平稳随机序列：信源每发一个符号的概率与时间起 点有关。 离散无记忆信源：信源序列的前后符号之间是统计独 立的。
信息论汇总马尔科夫信源
一个常数Wj
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发 出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发 出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;
2.3二元联合信源的联合熵与条件熵
2.3二元联合信源的联合熵（共熵）与条件熵讨论两个信源的情况。
如前所述，信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Xp X 类似地信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Y p Y 这两个信源，即二元联合信源的概率空间，可以由其联合概率空间来描述。
2.3.1共熵研究二元联合信源的熵即共熵。
二元联合信源的共熵可以按照单信源熵的定义写出：∑∑==-=ni mj xiyj lbp xiyj p XY H 11)()()(研究单信源熵与联合概率的关系.2.3.2条件熵条件熵不能由单信源熵定义直接写出，而是由其共熵导出。
H(XY)=H(X)+H(Y/X) (2.3.3)二元联合信源的共熵还可以写成：H(XY)=H(Y)+H(X/Y)(2.3.4)[例2.3.1]仍以[例2.1.5]为例验证式（2.3.3），（2.3.4）的正确性。
推论１：推论２：[例2.3.2]有一离散信源具有三个消息A、B、C，发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。
某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。
”，把这句话作为收到的消息y1。
当收到消息y1 后，各种天气发生的概率变成后验概率了。
其中计算 与各种天气之间的互信息量。
各种熵之间的关系⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321雪雨阴晴x x x x X P X 41)/(;41)/(;21)/(;0)/(14131211====y x p y x p y x p y x p 互信息量为负值的不确定度更大反而使的不确定度减少不仅没有使后说明收到消息比特的不确定度各减少了使也可理解为消息比特的信息量各分别得到了这表明从同理对天气信息量之间与不必再考虑对天气→-∞========∴=。
x ，x ，y bit x p y x p y x I 。
，x x ，x y ，，x ，x x y bit y x I y x I bit x p y x p y x I x 。
第er章 连续信源及信源熵10.9
则 H c ( X ) －
1 a ba b
log 2
1 ba
dx log 2 (b a)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
② 随机过程的分类 可以分为两类：根据统计特性，连续随机 过程可分为平稳与非平稳随机过程两大类。
(3) 通信系统中的信号 一般认为，通信系统中的信号都是平稳的 随机过程。
(4) 平稳遍历的随机过程
随机过程{x(t)}中某一样本函数x(t)的时间平均 值定义： T 1 x (t ) lim 2T x(t )dt
XL=(X1X2……XL)
Yk=(Y1Y2……Yk)
定长无失真离散信源编码定理
XL=(X1X2……XL)
Yk=(Y1Y2……Yk)
要做到唯一可译，需使编成的码序列数 >=待编码的消息数，即
m n
k
L
k log 2 m L log 2 n k log 2 m log 2 n L k log 2 m H ( X ) def :H ( X ) log 2 n L
2.4离散无失真信源编码定理
原理图
离散信源无失真编码的基本原理
说明：
（1）信源发出的消息：是多符号离散信源消息，长度为 L,可以用L次扩展信源表示为： XL=(X1X2……XL) 其中，每一位Xi 都取自同一个原始信源符号集合（n种符号）： Xi ={x1， x2，…xn} 则最多可以对应nL条消息。
2.3 连续信源及信源熵
2.3 连续信源及信源熵
1 a ba b
log 2
1 ba
dx log 2 (b a)
当(b-a)<1时，Hc(X)<0，为负值，即连续熵 不具备非负性。
(5) 连续信源的联合熵和条件熵
两个连续变量的联合熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
② 随机过程的分类 可以分为两类：根据统计特性，连续随机 过程可分为平稳与非平稳随机过程两大类。
(3) 通信系统中的信号 一般认为，通信系统中的信号都是平稳的 随机过程。
(4) 平稳遍历的随机过程
随机过程{x(t)}中某一样本函数x(t)的时间平均 值定义： T 1 x (t ) lim 2T x(t )dt
XL=(X1X2……XL)
Yk=(Y1Y2……Yk)
定长无失真离散信源编码定理
XL=(X1X2……XL)
Yk=(Y1Y2……Yk)
要做到唯一可译，需使编成的码序列数 >=待编码的消息数，即
m n
k
L
k log 2 m L log 2 n k log 2 m log 2 n L k log 2 m H ( X ) def :H ( X ) log 2 n L
2.4离散无失真信源编码定理
原理图
离散信源无失真编码的基本原理
说明：
（1）信源发出的消息：是多符号离散信源消息，长度为 L,可以用L次扩展信源表示为： XL=(X1X2……XL) 其中，每一位Xi 都取自同一个原始信源符号集合（n种符号）： Xi ={x1， x2，…xn} 则最多可以对应nL条消息。
2.3 连续信源及信源熵
2.3 连续信源及信源熵
信源及信源熵
i
是
xi
的函数，
I (xi ) xi
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特（bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
10
2.2.1 自信息量
几个例子
i.
一个以等概率出现的二进制码元（0，1）所包含的自信息量为：
I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。
i 1
6
第二节 离散信源熵和互信息
问题： • 什么叫不确定度？ • 什么叫自信息量？ • 什么叫平均不确定度？ • 什么叫信源熵？ • 什么叫平均自信息量？ • 什么叫条件熵？ • 什么叫联合熵？ • 联合熵、条件熵和熵的关系是什么？
7
第二节 离散信源熵和互信息 • 什么叫后验概率？ • 什么叫互信息量？ • 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
信源及信源熵
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言 、图像、图形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据 等符号都是离散消息。
2.3连续信源
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
信息论_连续信源和波形信道
∑ ∑ C
=
max p(x)
I (X; Y)
=
max p(x)
n i =1
I ( Xi ;Yi )
=
1 2
n i =1
log(1 +
PX i PNi
)
⇒ C = n log(1+ PX
)
=
n
log(1 +
σ
2 X
)
2
PN 2
σ
2 N
当且仅当输入随机矢量X中各分量统计独立，并且均 为高斯分布时达到信道容量。
p(x)
说明：加性连续信道的信道容量取决于噪声N（即 信道）的统计特性和输入随机变量X所受的限制条 件。对于不同的限制条件，连续随机变量具有不同 的最大熵值。
讨论平均功率受限下的高斯白噪声信道的信道容量。
[ ( )] ( ) C
=
max h(Y )− h(N ) =
p(x)
1 2
log
2πe
⎥⎦
∫ ∫ b p(x)dx = 1
+∞
p(x)dx = 1
a
−∞
5
1.1 连续信源的概率密度函数 pi = p( xi )Δ
连续随机变量X的取值分割成n个等宽区间，Δ=(b-a)/n。则
∫ P(a + (i −1)Δ ≤ X
≤ a + iΔ) =
a+iΔ a + (i −1) Δ
p( x)dx
⎟⎟⎠⎞ = W
log ⎜⎜⎝⎛1 +
PS PN
⎟⎟⎠⎞
bit / s
25
2.4 波形信道及其信道容量
单位时间的信道容量为 ：
信息论连续信源和波形信道
❖ 由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和
极值性。所以连续信源的平均交互信息熵具有非负性。
第8页/共25页
8.1.5 连续信源的熵速率和熵功率
基本概念
熵速率：信源在单位时间内输出的熵称为信源的熵速率。
连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。 如果信源是时间连续、信号带宽为 B的连续信源，根据随机信号的采样定 理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为
定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为
IX;Y HX HX |Y 或 I X ;Y H Y H Y | X I X ;Y H X H Y H X ,Y
连续信源的平均交互信息量的性质：
(8.12) (8.13) (8.14)
(1) H X , Y H X H Y (2) H X | Y H X 和 H Y | X H Y
时间连续的信道也称作波形信道。同样时间连续信道可用随机过程描述。 由于信道的带宽总是有限的，根据随机信号采样定理，我们可以把一个时间连 续的信道变换成时间离散的随机序列进行处理。
由于信道是无记忆信道，那么 n 维随机序列的平均交互信息量满足
n
I X; Y I X i ; Yi i 1
因此时间连续信道的信道容量为
的R曲D线 。从该式也可以8.4.2 设所有试验信道的集合为 时，连续信源的信息率失真函数为
D D
，在满足B一D 定失真度
R D inf I X , Y p y|x BD
(8.34)
式中inf 表示下界，试验集合为
BD ： p y |。x , D D
率失真函数的求解
(8.19)
连续信源和连续信道
当信源的概率密度符合正态分布时，其相对熵仅与随机 变量的方差 2 有关，而方差在物理含义上往往表示信号
的交流功率,即p 2
在限制信号平均功率的条件下，正态分布的信源可输出最
大相对熵 而增加。
Hc
(X
)
1 2
log 2
2e
2
其值随平均功率的增加
如果噪声是正态分布，则噪声熵最大，因此高斯白噪声 获得最大噪声熵。
i 1
bi
ai
i 1
0
N
x bi ai i 1
N
N
Hc ( X ) log2 (bi ai ) log2 (bi ai )
i 1
i 1
HcX1 HcX2 HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
单变量连续信源X呈正态分布的概率密度函数为
p(x)
1
e
(
xm) 2 2
2
2 2
且：
p(x)dx 1
Hc
(X
)
1 2
log 2
2e
2
xp(x)dx m
x2 p(x)dx P
E X m2 E X 2 m2 P2 m2 2
当连续信源输出信号的均值为零、平均功率受限 时，只有信源输出信号的幅度呈高斯分布时，才会有 最大熵值。
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得
Hc(X )
P(x) log 2P(x)dx
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为 ，设状态的平稳分布为 ，根据
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
2.3 连续信源的熵
2
2 2
均值受限条件下的最大熵定理：若连续信源X输出非负信 号的均值受限，则输出信号的幅度呈指数分布时的熵为最 大值 log me 。
18
2.3 连续信源及熵
连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率
19
熵功率
对限平均功率的最大熵定理进行推广：
高斯信源：以功率 P 可以达到最大熵 H H max 非高斯信源：也以功率 则若令高斯信源的熵 且H 1 2 P 达到的熵 H H H 下降到等于 1 2 e e
2 2
p ( x )( log
2
2
)dx
p ( x ) log
2
e
dx
p ( x ) dx 1 1 2
2
上式
log
2
2
2
log
2
2
e p(x)
(x m) 2
2
2
dx
(x m)
p(x)
p ( x )dx
2
(x m) 2 1 2
p ( xy ) log
p(x | y) p(x)
dxdy
I (Y ； X ) H (X ) H (X |Y ) H (Y ) H (Y | X ) H ( X ) H (Y ) H ( XY )
8
2.3 连续信源及熵
连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率
15
连续熵的性质
定理：对于概率密度函数p(x),q(x)，只要两边为有 限值，则
p ( x ) log
2 2
均值受限条件下的最大熵定理：若连续信源X输出非负信 号的均值受限，则输出信号的幅度呈指数分布时的熵为最 大值 log me 。
18
2.3 连续信源及熵
连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率
19
熵功率
对限平均功率的最大熵定理进行推广：
高斯信源：以功率 P 可以达到最大熵 H H max 非高斯信源：也以功率 则若令高斯信源的熵 且H 1 2 P 达到的熵 H H H 下降到等于 1 2 e e
2 2
p ( x )( log
2
2
)dx
p ( x ) log
2
e
dx
p ( x ) dx 1 1 2
2
上式
log
2
2
2
log
2
2
e p(x)
(x m) 2
2
2
dx
(x m)
p(x)
p ( x )dx
2
(x m) 2 1 2
p ( xy ) log
p(x | y) p(x)
dxdy
I (Y ； X ) H (X ) H (X |Y ) H (Y ) H (Y | X ) H ( X ) H (Y ) H ( XY )
8
2.3 连续信源及熵
连续信源的基本概念 连续信源的熵 几种特殊连续信源的熵 连续熵的性质 最大连续熵定理 熵功率
15
连续熵的性质
定理：对于概率密度函数p(x),q(x)，只要两边为有 限值，则
p ( x ) log
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 i i
N
dx1 dxN
（2.3.10）
log 2 (bi ai )
i 1
可见，N维统计独立均匀分布连续信源的熵是N维区域体积的 对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的 体现，因为各维区域的边界决定了概率密度函数的总体形状。
H c ( X ) log 2 (bi ai )
i 1
n
lim H ( X ) lim p (ai ) log 2 p( ai ) lim p (ai ) log 2 n n n i i 0 0 0
p ( x ) log p ( x )dx lim( p (ai ) ) log 2
显然，当 b a 1 时，Hc(X)<0，这说明它不具备非负性。 但是连续信源输出的信息量H(X)由于有一个无限大量的存 在，H(X)仍大于0。
b
这里，仍将Hc(X)定义为连续信源的熵，理由有二：
一是由于它在形式上与离散熵相似 ;
离散熵： 连续熵：
H ( X ) p(ai ) log 2 p(ai )
3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之差为连续信源的平均互 信息。记为，即有
Ic ( X ;Y ) Hc ( X ) Hc ( X / Y )
I c (Y ; X ) H c (Y ) H c (Y / X )
连续信源的平均互信息仍保留了非负性，即
I C ( X ;Y ) I C (Y ; X ) 0
不能把它作为ห้องสมุดไป่ตู้息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵
为
H c ( X ) log 2 (b a)
若N维矢量中各分量彼此统计独立，且分别在的区域内均匀 分布，即有 N 1 , x (bi ai ) N i 1 (bi ai ) p ( x) i 1 N 0 , x (bi ai ) i 1
容易证明，连续信源的平均互信息也满足对称性，即
I C ( X ; Y ) I C (Y ; X )
连续信源也满足数据处理定理，把连续随机变量Y处理成另一 随机变量Z时，一般也会丢失信息。即
Ic ( X ;Y ) 0 I c ( X ; Y ) I c (Y ; X ) Ic ( X ; Z ) Ic ( X ;Y )
1 2 2
( x m )2 2 2
e
dx
p( x)( log 2
( x m) 2 2 2 )dx p( x)(log 2 e) dx 2 2
因为
p( x)dx 1
( x m) 2 1 p( x) 2 2 dx 2
指数分布的连续信源的熵为
H c ( X ) p ( x) log 2 p( x) dx
0
0
x 1 m p( x) log 2 e dx m
x 1 m p ( x) e m
m
m
0
p( x)dx 1
Hc ( X ) p( x)log 2 p( x)dx p( x) log 2 1 e x / m dx 0 0
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
可以证明，N维均匀分布连续信源的熵为
H c ( X ) H c ( X 1 X 2 X N ) p( x ) log 2 p( x )dx1 dx N
aN a1
bN
b1
aN a1 N
bN
b1
1
(b a )
i 1 i i
N
log 2
1
(b a )
当均值m=0时，X的方差σ2就是随机变量的平均功率，即
P x p( x)dx
2
由这样的随机变量X所代表的连续信源，称为高斯分布 的连续信源。
高斯分布连续信源的熵为
H c ( X ) p( x) log 2 p( x)dx p( x) log 2
I 1
N
H c ( X ) p( x ) log 2 p( x )dx
R
用积分代 替求和
p ( xi ) p ( x ),
dx
i 1 R
n
另一个更重要的原因是在于实际处理问题时，比如互信息、 信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互 信息。这时，只要相差的两个连续熵在逼近时可取的间隔Δ是 一致的，两个同样的无限大的尾巴就可以互相抵消。 可见，Hc(X)具有相对性，它是为了引入互信息等重要概念而 引入的一个过渡性的概念。
R X : p( x)
并满足 p( x)dx 1
R
其中，R是全实数集，是变量X的取值范围。 量化单位越小，则所得的离散变量和连续变量越接近。因 此，连续变量的信息度量可以用离散变量的信息度量来逼近.
p(u) p(x)
第i个区间
a uii
a a+(i-1)△ a+i△ b
u x
3.指数分布连续信源的熵
若一随机变量X的取值区间是[0，∞），其概率密度函数为
1 m p( x ) e m
x
( x 0)
则称X代表的单变量连续信源为指数分布的连续信源。其 中常数m是随机变量X的数学期望
E ( X ) xp ( x)dx
0
0
x 1 m x e dx m m
1 1 H c ( X ) log2 2 log2 e log2 2 e 2 所以 2 2 上式说明高斯连续信源的熵与数学期望m无关，只与方差σ 2 有关。
2
在介绍离散信源熵时讲过，熵描述的是信源的整体特性。
由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的 对称中心在横轴上发生平移，曲线的形状没有任何变化。也 就是说，数学期望m 对高斯信源的总体特性没有任何影响。 但是，若X的方差σ2不同，曲线的形状随之改变。所以， 高斯连续信源的熵与方差有关而与数学期望无关。这是信源 熵的总体特性的再度体现。
由于 则
log 2 x log 2 e ln x
H c ( X ) log 2 m
0
log 2 e p( x)dx 0 xp( x)dx log 2 me m
上式说明: 指数分布的连续信源的熵只取决于均值m.这一点很容易理
解，因为指数分布函数的均值，决定函数的总体特性.
令x∈[a,b]，且a<b，现将它均匀划分为n份，每份宽度为△ ＝（a-b）/n，则变量落在第i个区间的概率为pi，则
( a i△)
pi
使上式成立。
[ a ( i 1)△]
p( x)dx p(ai ) △
（中值定理）
即当p(x)为x的连续函数时，由中值定理，必存在一个ai值，
此时连续变量X就可以用取值为 xi (i
p( x )dx p( x )dx 1
a
b
再按照离散信源信息熵的定义有：
H ( X ) ( pi ) log 2 ( pi ) p( ai ) log 2 p( ai )
i 1 i 1 n n
p( ai ) log 2 p (ai ) log 2
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
R'
R2
H c (Y / X ) p( xy ) log 2 p ( y / x)dxdy
它们之间也有与离散信源一样的相互关系，并且可以得到有
R2
信息特征的互信息：
Hc( XY ) Hc( X ) Hc( X / Y ) Hc(Y ) H c (Y / X )
这样定义的熵虽然形式上和离散信源的熵相似，但在概念上
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
2. 高斯分布的连续信源的熵
设一维随机变量X的取值范围是整个实数轴R，概率密度 函数呈正态分布，即
N
dx1 dxN
（2.3.10）
log 2 (bi ai )
i 1
可见，N维统计独立均匀分布连续信源的熵是N维区域体积的 对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的 体现，因为各维区域的边界决定了概率密度函数的总体形状。
H c ( X ) log 2 (bi ai )
i 1
n
lim H ( X ) lim p (ai ) log 2 p( ai ) lim p (ai ) log 2 n n n i i 0 0 0
p ( x ) log p ( x )dx lim( p (ai ) ) log 2
显然，当 b a 1 时，Hc(X)<0，这说明它不具备非负性。 但是连续信源输出的信息量H(X)由于有一个无限大量的存 在，H(X)仍大于0。
b
这里，仍将Hc(X)定义为连续信源的熵，理由有二：
一是由于它在形式上与离散熵相似 ;
离散熵： 连续熵：
H ( X ) p(ai ) log 2 p(ai )
3. 平均互信息的非负性 定义连续信源的无条件熵和条件熵之差为连续信源的平均互 信息。记为，即有
Ic ( X ;Y ) Hc ( X ) Hc ( X / Y )
I c (Y ; X ) H c (Y ) H c (Y / X )
连续信源的平均互信息仍保留了非负性，即
I C ( X ;Y ) I C (Y ; X ) 0
不能把它作为ห้องสมุดไป่ตู้息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
一维连续随机变量X在[a,b]区间内均匀分布时，已求得其熵
为
H c ( X ) log 2 (b a)
若N维矢量中各分量彼此统计独立，且分别在的区域内均匀 分布，即有 N 1 , x (bi ai ) N i 1 (bi ai ) p ( x) i 1 N 0 , x (bi ai ) i 1
容易证明，连续信源的平均互信息也满足对称性，即
I C ( X ; Y ) I C (Y ; X )
连续信源也满足数据处理定理，把连续随机变量Y处理成另一 随机变量Z时，一般也会丢失信息。即
Ic ( X ;Y ) 0 I c ( X ; Y ) I c (Y ; X ) Ic ( X ; Z ) Ic ( X ;Y )
1 2 2
( x m )2 2 2
e
dx
p( x)( log 2
( x m) 2 2 2 )dx p( x)(log 2 e) dx 2 2
因为
p( x)dx 1
( x m) 2 1 p( x) 2 2 dx 2
指数分布的连续信源的熵为
H c ( X ) p ( x) log 2 p( x) dx
0
0
x 1 m p( x) log 2 e dx m
x 1 m p ( x) e m
m
m
0
p( x)dx 1
Hc ( X ) p( x)log 2 p( x)dx p( x) log 2 1 e x / m dx 0 0
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
可以证明，N维均匀分布连续信源的熵为
H c ( X ) H c ( X 1 X 2 X N ) p( x ) log 2 p( x )dx1 dx N
aN a1
bN
b1
aN a1 N
bN
b1
1
(b a )
i 1 i i
N
log 2
1
(b a )
当均值m=0时，X的方差σ2就是随机变量的平均功率，即
P x p( x)dx
2
由这样的随机变量X所代表的连续信源，称为高斯分布 的连续信源。
高斯分布连续信源的熵为
H c ( X ) p( x) log 2 p( x)dx p( x) log 2
I 1
N
H c ( X ) p( x ) log 2 p( x )dx
R
用积分代 替求和
p ( xi ) p ( x ),
dx
i 1 R
n
另一个更重要的原因是在于实际处理问题时，比如互信息、 信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互 信息。这时，只要相差的两个连续熵在逼近时可取的间隔Δ是 一致的，两个同样的无限大的尾巴就可以互相抵消。 可见，Hc(X)具有相对性，它是为了引入互信息等重要概念而 引入的一个过渡性的概念。
R X : p( x)
并满足 p( x)dx 1
R
其中，R是全实数集，是变量X的取值范围。 量化单位越小，则所得的离散变量和连续变量越接近。因 此，连续变量的信息度量可以用离散变量的信息度量来逼近.
p(u) p(x)
第i个区间
a uii
a a+(i-1)△ a+i△ b
u x
3.指数分布连续信源的熵
若一随机变量X的取值区间是[0，∞），其概率密度函数为
1 m p( x ) e m
x
( x 0)
则称X代表的单变量连续信源为指数分布的连续信源。其 中常数m是随机变量X的数学期望
E ( X ) xp ( x)dx
0
0
x 1 m x e dx m m
1 1 H c ( X ) log2 2 log2 e log2 2 e 2 所以 2 2 上式说明高斯连续信源的熵与数学期望m无关，只与方差σ 2 有关。
2
在介绍离散信源熵时讲过，熵描述的是信源的整体特性。
由高斯函数的曲线可见，当均值m发生变化时，只是p(x)的 对称中心在横轴上发生平移，曲线的形状没有任何变化。也 就是说，数学期望m 对高斯信源的总体特性没有任何影响。 但是，若X的方差σ2不同，曲线的形状随之改变。所以， 高斯连续信源的熵与方差有关而与数学期望无关。这是信源 熵的总体特性的再度体现。
由于 则
log 2 x log 2 e ln x
H c ( X ) log 2 m
0
log 2 e p( x)dx 0 xp( x)dx log 2 me m
上式说明: 指数分布的连续信源的熵只取决于均值m.这一点很容易理
解，因为指数分布函数的均值，决定函数的总体特性.
令x∈[a,b]，且a<b，现将它均匀划分为n份，每份宽度为△ ＝（a-b）/n，则变量落在第i个区间的概率为pi，则
( a i△)
pi
使上式成立。
[ a ( i 1)△]
p( x)dx p(ai ) △
（中值定理）
即当p(x)为x的连续函数时，由中值定理，必存在一个ai值，
此时连续变量X就可以用取值为 xi (i
p( x )dx p( x )dx 1
a
b
再按照离散信源信息熵的定义有：
H ( X ) ( pi ) log 2 ( pi ) p( ai ) log 2 p( ai )
i 1 i 1 n n
p( ai ) log 2 p (ai ) log 2
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
R'
R2
H c (Y / X ) p( xy ) log 2 p ( y / x)dxdy
它们之间也有与离散信源一样的相互关系，并且可以得到有
R2
信息特征的互信息：
Hc( XY ) Hc( X ) Hc( X / Y ) Hc(Y ) H c (Y / X )
这样定义的熵虽然形式上和离散信源的熵相似，但在概念上
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
2. 高斯分布的连续信源的熵
设一维随机变量X的取值范围是整个实数轴R，概率密度 函数呈正态分布，即