通信原理吴资玉第二章信息论初步
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
当且仅当X,Y相互独 立时，等号成立
定理2.3
联合集XYZ上的条件熵满 足
H Z | XY H Z |Y
定理2.4
联合集上的联合熵小于或等于各个集合的 熵之和。当且仅当各个集合相互独立时， 联合熵等于各个集合的熵之和，并且为联
合熵的最大值。
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
P B P A Blog P A B P B Blog P B B P C Blog P C B
P C P A C log P A C P B C log P B C P C C log P C C
0.872bit / 符号
A,B,C符号统计独立
H x 1.543bit / 符号
H XY H X H Y | X H XY H Y H X |Y
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
各种熵的性质
通信原理
定理2.2
联合集XY上的条件熵满足 H Y | X H Y
互信息量
互信息量定义为后验概率与先验概率比值的对数
I
xi ; y j
P @log
xi | y j
P xi
电子工业出版社
互信息量的特性
通信原理
1. 互信息量具有互易性 2. xi，yj相互独立时，互信息量为0 3. 互信息量可正可负
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
基于维纳的微弱信号检测理论展开 基于香农的信道设计和编码理论展开
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.2 信息论研究的基本内容
通信原理
信息论研究的基本问题是有关信源、信宿 和信道的统计特性，以及信源编码和信道 编码等方面的 信息论在理论上指出了建立最佳编码、最 佳调制和最佳接收方法的最佳系统的理论 原则 信息论对通信体制和通信系统的研究具有 指导意义
出现概率
P xi
自信息量定义 I xi @log P xi
取2为底计算信息量，信息量的单位是比特 (bit) 取自然对数e为底计算信息量，信息量的单位 是奈特(Nat) 取10为底的信息量单位为哈脱来(Haitely)。
电子工业出版社
自信息量
通信原理
随机事件的不确定性
出现概率小的随机事件所包含的不确定性大， 也就是它的自信息量大。 出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。 在极限情况下，出现概率为1的确定性事件， 其自信息量为零。
电子工业出版社
离散信源
通信原理
【例2.3】 某离散信源由A、B、C三种符号组
成，相邻两符号的出现统计相关，其转移概
率矩阵为：
P A A
P
B
A
P C A
PA B PB B PC B
9
P P P
A B C
C C C
11 2 11 0
1 8 3 4 1
0
2
9
7
8 9
已知 P A 11 , P B 4 , P C 1
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
2.3.2 互信息量
通信原理
先验概率
预先知道信源X集合的概率空间P(xi)的情况，各个消息 xi(i=1,2,…)的概率P(xi)称为先验概率
后验概率
当信宿Y收到集合中的一个消息yj后，接收者重新估计 的关于信源各个消息的概率分布就变成条件概率，对 消息xi而言，其条件概率定义为P(xi|yj)。这种条件概 率又称为后验概率。
log 2
3 8
1 4
log 2
1 4
1 4
log 2
1 4
1 8
log 2
1 8
1.906 (bit / 符号）
信息量 I 571.906 108.64(bit)
电子工业出版社
离散信源
通信原理
可见
两种算法的结果有一定误差 当消息很长时，用熵的概念来计算比较方便。 随着消息序列长度的增加，两种计算误差将趋 于零。
平均互信息量
通信原理
三维联合集XYZ上的平均互信息量：
I X;YZ I X;Y I X;Z |Y
I X;Y H X H X |Y
疑义度
条件熵可看作由于信道噪声而损失的信息量
也可以看作由于信道噪声所造成的对信源消息的平均不确定性
I X;Y H Y H Y | X
噪声熵
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
平均互信息量
通信原理
XY联合集上的平均条件互信息量
I X ; yj @ P x | y j I x; y j X
X
P
x
|
y
j
log
P
x| yj
Px
定理2.5 XY联合集上的条件互信息量满足 I X ; yj 0
H R 1
H max
电子工业出版社
2.4 信道容量与香农公式
通信原理
1 离散信源 2 无扰离散信道和信源编码 3 有扰离散信道 4 连续消息和连续信道
电子工业出版社
无扰离散信道和信源编码
通信原理
无扰离散信道的信道容量 信源编码
电子工业出版社
无扰离散信道的信道容量
通信原理
信道的信道容量定义为单位时间内信道上所能传 输的最大信息量。
当符号间统计独立时信源的熵高于统计相关
时的熵，即符号间相互关联将使平均信息量
减小。
电子工业出版社
离散信源
通信原理
当离散信源中各符号等概率出现，而且各符号的出
现为统计独立时，该信源的平均信息量最大。可得
最大熵：
H max
N
i 1
1 N
log
1 N
log N
自然语信源的熵总是小于最大熵的，定义实际熵 H与最大熵Hmax的比值H/Hmax称为相对熵（以百 分数计），并由此定义信源的冗余度R为：
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
2.3.1 自信息量
通信原理
随机事件 xi
电子工业出版社
2.3.3 通信熵
通信原理
无记忆信源
信源往往包含着多个消息，且各个消息的出现 概率按信源的概率空间分布 当各个消息的出现相互独立时，这种信源称为 无记忆信源 无记忆信源的平均自信息量是各消息自信息量 的概率加权平均值(统计平均值)
通信熵
电子工业出版社
通信熵
通信原理
平均自信息量 H X @ P x I x X
每个符号的出现概率为P(xi),且有
n
Pxi 1
i 1
每个符号所含信息量的统计平均值
n
I niP xi i 1
电子工业出版社
离散信源
通信原理
【例2.2】离散信息源由0,1,2,3四个符号组成， 出现概率分别为3/8，1/4，1/4，1/8，每 个符号出现都是独立的。求消息 201020130213001203210100321010 023102002010312032100120210的信 息分量析。消息
通信原理
1 离散信源 2 无扰离散信道和信源编码 3 有扰离散信道 4 连续消息和连续信道
电子工业出版社
离散信源
通信原理
离散消息可以看成是一种有限个状态的随 机序列，它可以用离散型随机过程的统计 特性予以描述 哈特莱首先提出来用消息出现概率的对数 测度作为离散消息的信息度量单位 离散消息xi所携带的信息量：
条件自信息量
电子工业出版社
条件自信息量
通信原理
条件自信息量用其条件概率的负数来量度
随机事件 xi
条件概率 P xi y j
条件自信息量 I xi yj @ log P xi yj
随机事件的条件自信息量可以理解为：能在规定条 件下唯一地确定该事件必须提供的信息量。
电子工业出版社
2.3 信息的度量
0~23次 1~14次
2~13 3~7
57个符号
电子工业出版社
离散信源
通信原理
该消息的信息量
I 23 log2 8 / 3 14 log2 4 13 log2 4 7 log2 8 108(bit)
每个符号的算术平均信息量
I
I 符号数
108＝1.89(bit 57
/
符号)
用熵的概念计算
H
3 8
若给定的无扰离散信道在时间T内能传输的不同 消息的总数为N(T)，则此信道的信道容量C为:
log N T
Ct
lim T
T
均匀编码信道上, T个代码共有mnT个码元，能构 成的状态数目为:
当且仅当信源中各消息的出现概率P(x)都等于时 1/M，上式取等号，可得最大熵：
H X log M max
二元信源的信源熵
电子工业出版社
二元信源的信源熵
通信原理
信源X有两个消息，M=2
一个消息出现概率P 另一个消息出现概率1－P 该信源的熵
H X P log P 1 Plog1 P
自信息量
I xi @log P xi 代入
H X @ P x log P x
X
信息论的一个基本的重要公式。
此式与统计热力学中“熵”的表示形式相同，因此往 往把平均自信息量H(X)称为熵。H(X)是P(x)的函数。
电子Biblioteka Baidu业出版社
通信熵
通信原理
定理2.1
熵满足不等式
H X log M
I xi @log Pxi
电子工业出版社
离散信源
通信原理
【例2.1】已知二元离散信源只有“0”、“1”两种符 号，若“0”出现概率为1／3，求出现“1”的信息 量。
解：全概率为1，则出现“1”的概率为2／3。
出现“1”的信息量： I 1 @log2 2/ 3 0.585bit
推广 离散信源是一个由n个符号组成的符号集，
H(P)
1
最大熵
0
0.5
1
P
电子工业出版社
条件熵
通信原理
条件熵是联合空间XY上的条件自信息量的概率加权 平均值。 若给定x条件下y的条件自信息量为I(y|x)，则它在 XY集合上的概率加权平均值H(Y|X)定义为：
H Y | X @ P xy I y | x
XY
H(Y|X)为条件熵，也可直接定义为：
CCEE
第二章 信息论初步
通信原理
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.1 信息论的两条发展途径
通信原理
信息论是应用近代数理统计方法来研究信息 的传输和处理的科学。 信息论是在信息可以度量的基础上，研究最 有效、最可靠地传输和处理信息的理论。 信息论是从两条发展途径展开研究：
条件熵可看作唯一地确定信道噪声所需要的平均信息量
无扰信道 I X;Y H X H Y 噪声很大的信道 H X | Y H X
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.4 信道容量与香农公式
y j 通过有扰信道的接收符号
x 任意一个可能被传输的消息
当且仅当X集合中的各x都 与yi独立时，等号成立
结论：有扰信道中接收到的符号所提供的 关于传输消息的平均信息量总是非负量。
电子工业出版社
平均互信息量
通信原理
平均互信息量定义为平均条件互信息量在 整个Y集合上的概率加权平均值
互易性
I X ;Y @ P y I X ; y
Y
特性
I X ;Y P xy I x; y P xy I x; y I Y; X
XY
XY
与熵和条件熵的关系 I X;Y H X H X |Y
I
X
;Y
H H
X Y
与熵和共熵的关系
I X;Y H X H Y H XY
I X;Y 0
电子工业出版社
H Y | X @ P xy log P y | x
XY
电子工业出版社
共熵
通信原理
共熵(又称联合熵)是联合空间XY上的每个元素对 xy的自信息量的概率加权平均值，定义为：
H XY @ P xy I xy
XY
2.2式
H XY @ P xy log P xy
XY
与信源熵和条件熵的关系
36
9
4
求信源的平均信息量。
电子工业出版社
离散信源
通信原理
解：信源的条件平均信息量为：
3 3
H xj xi
P xi P x j xi log P x j xi
i1 j1
P A P A Alog P A A P B Alog P B A P C Alog P C A
定理2.3
联合集XYZ上的条件熵满 足
H Z | XY H Z |Y
定理2.4
联合集上的联合熵小于或等于各个集合的 熵之和。当且仅当各个集合相互独立时， 联合熵等于各个集合的熵之和，并且为联
合熵的最大值。
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
P B P A Blog P A B P B Blog P B B P C Blog P C B
P C P A C log P A C P B C log P B C P C C log P C C
0.872bit / 符号
A,B,C符号统计独立
H x 1.543bit / 符号
H XY H X H Y | X H XY H Y H X |Y
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
各种熵的性质
通信原理
定理2.2
联合集XY上的条件熵满足 H Y | X H Y
互信息量
互信息量定义为后验概率与先验概率比值的对数
I
xi ; y j
P @log
xi | y j
P xi
电子工业出版社
互信息量的特性
通信原理
1. 互信息量具有互易性 2. xi，yj相互独立时，互信息量为0 3. 互信息量可正可负
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
基于维纳的微弱信号检测理论展开 基于香农的信道设计和编码理论展开
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.2 信息论研究的基本内容
通信原理
信息论研究的基本问题是有关信源、信宿 和信道的统计特性，以及信源编码和信道 编码等方面的 信息论在理论上指出了建立最佳编码、最 佳调制和最佳接收方法的最佳系统的理论 原则 信息论对通信体制和通信系统的研究具有 指导意义
出现概率
P xi
自信息量定义 I xi @log P xi
取2为底计算信息量，信息量的单位是比特 (bit) 取自然对数e为底计算信息量，信息量的单位 是奈特(Nat) 取10为底的信息量单位为哈脱来(Haitely)。
电子工业出版社
自信息量
通信原理
随机事件的不确定性
出现概率小的随机事件所包含的不确定性大， 也就是它的自信息量大。 出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。 在极限情况下，出现概率为1的确定性事件， 其自信息量为零。
电子工业出版社
离散信源
通信原理
【例2.3】 某离散信源由A、B、C三种符号组
成，相邻两符号的出现统计相关，其转移概
率矩阵为：
P A A
P
B
A
P C A
PA B PB B PC B
9
P P P
A B C
C C C
11 2 11 0
1 8 3 4 1
0
2
9
7
8 9
已知 P A 11 , P B 4 , P C 1
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
2.3.2 互信息量
通信原理
先验概率
预先知道信源X集合的概率空间P(xi)的情况，各个消息 xi(i=1,2,…)的概率P(xi)称为先验概率
后验概率
当信宿Y收到集合中的一个消息yj后，接收者重新估计 的关于信源各个消息的概率分布就变成条件概率，对 消息xi而言，其条件概率定义为P(xi|yj)。这种条件概 率又称为后验概率。
log 2
3 8
1 4
log 2
1 4
1 4
log 2
1 4
1 8
log 2
1 8
1.906 (bit / 符号）
信息量 I 571.906 108.64(bit)
电子工业出版社
离散信源
通信原理
可见
两种算法的结果有一定误差 当消息很长时，用熵的概念来计算比较方便。 随着消息序列长度的增加，两种计算误差将趋 于零。
平均互信息量
通信原理
三维联合集XYZ上的平均互信息量：
I X;YZ I X;Y I X;Z |Y
I X;Y H X H X |Y
疑义度
条件熵可看作由于信道噪声而损失的信息量
也可以看作由于信道噪声所造成的对信源消息的平均不确定性
I X;Y H Y H Y | X
噪声熵
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
平均互信息量
通信原理
XY联合集上的平均条件互信息量
I X ; yj @ P x | y j I x; y j X
X
P
x
|
y
j
log
P
x| yj
Px
定理2.5 XY联合集上的条件互信息量满足 I X ; yj 0
H R 1
H max
电子工业出版社
2.4 信道容量与香农公式
通信原理
1 离散信源 2 无扰离散信道和信源编码 3 有扰离散信道 4 连续消息和连续信道
电子工业出版社
无扰离散信道和信源编码
通信原理
无扰离散信道的信道容量 信源编码
电子工业出版社
无扰离散信道的信道容量
通信原理
信道的信道容量定义为单位时间内信道上所能传 输的最大信息量。
当符号间统计独立时信源的熵高于统计相关
时的熵，即符号间相互关联将使平均信息量
减小。
电子工业出版社
离散信源
通信原理
当离散信源中各符号等概率出现，而且各符号的出
现为统计独立时，该信源的平均信息量最大。可得
最大熵：
H max
N
i 1
1 N
log
1 N
log N
自然语信源的熵总是小于最大熵的，定义实际熵 H与最大熵Hmax的比值H/Hmax称为相对熵（以百 分数计），并由此定义信源的冗余度R为：
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.3 信息的度量
通信原理
1 自信息量
2 互信息量 3 通信熵 4 各种熵的性质 5 平均互信息量
电子工业出版社
2.3.1 自信息量
通信原理
随机事件 xi
电子工业出版社
2.3.3 通信熵
通信原理
无记忆信源
信源往往包含着多个消息，且各个消息的出现 概率按信源的概率空间分布 当各个消息的出现相互独立时，这种信源称为 无记忆信源 无记忆信源的平均自信息量是各消息自信息量 的概率加权平均值(统计平均值)
通信熵
电子工业出版社
通信熵
通信原理
平均自信息量 H X @ P x I x X
每个符号的出现概率为P(xi),且有
n
Pxi 1
i 1
每个符号所含信息量的统计平均值
n
I niP xi i 1
电子工业出版社
离散信源
通信原理
【例2.2】离散信息源由0,1,2,3四个符号组成， 出现概率分别为3/8，1/4，1/4，1/8，每 个符号出现都是独立的。求消息 201020130213001203210100321010 023102002010312032100120210的信 息分量析。消息
通信原理
1 离散信源 2 无扰离散信道和信源编码 3 有扰离散信道 4 连续消息和连续信道
电子工业出版社
离散信源
通信原理
离散消息可以看成是一种有限个状态的随 机序列，它可以用离散型随机过程的统计 特性予以描述 哈特莱首先提出来用消息出现概率的对数 测度作为离散消息的信息度量单位 离散消息xi所携带的信息量：
条件自信息量
电子工业出版社
条件自信息量
通信原理
条件自信息量用其条件概率的负数来量度
随机事件 xi
条件概率 P xi y j
条件自信息量 I xi yj @ log P xi yj
随机事件的条件自信息量可以理解为：能在规定条 件下唯一地确定该事件必须提供的信息量。
电子工业出版社
2.3 信息的度量
0~23次 1~14次
2~13 3~7
57个符号
电子工业出版社
离散信源
通信原理
该消息的信息量
I 23 log2 8 / 3 14 log2 4 13 log2 4 7 log2 8 108(bit)
每个符号的算术平均信息量
I
I 符号数
108＝1.89(bit 57
/
符号)
用熵的概念计算
H
3 8
若给定的无扰离散信道在时间T内能传输的不同 消息的总数为N(T)，则此信道的信道容量C为:
log N T
Ct
lim T
T
均匀编码信道上, T个代码共有mnT个码元，能构 成的状态数目为:
当且仅当信源中各消息的出现概率P(x)都等于时 1/M，上式取等号，可得最大熵：
H X log M max
二元信源的信源熵
电子工业出版社
二元信源的信源熵
通信原理
信源X有两个消息，M=2
一个消息出现概率P 另一个消息出现概率1－P 该信源的熵
H X P log P 1 Plog1 P
自信息量
I xi @log P xi 代入
H X @ P x log P x
X
信息论的一个基本的重要公式。
此式与统计热力学中“熵”的表示形式相同，因此往 往把平均自信息量H(X)称为熵。H(X)是P(x)的函数。
电子Biblioteka Baidu业出版社
通信熵
通信原理
定理2.1
熵满足不等式
H X log M
I xi @log Pxi
电子工业出版社
离散信源
通信原理
【例2.1】已知二元离散信源只有“0”、“1”两种符 号，若“0”出现概率为1／3，求出现“1”的信息 量。
解：全概率为1，则出现“1”的概率为2／3。
出现“1”的信息量： I 1 @log2 2/ 3 0.585bit
推广 离散信源是一个由n个符号组成的符号集，
H(P)
1
最大熵
0
0.5
1
P
电子工业出版社
条件熵
通信原理
条件熵是联合空间XY上的条件自信息量的概率加权 平均值。 若给定x条件下y的条件自信息量为I(y|x)，则它在 XY集合上的概率加权平均值H(Y|X)定义为：
H Y | X @ P xy I y | x
XY
H(Y|X)为条件熵，也可直接定义为：
CCEE
第二章 信息论初步
通信原理
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.1 信息论的两条发展途径
通信原理
信息论是应用近代数理统计方法来研究信息 的传输和处理的科学。 信息论是在信息可以度量的基础上，研究最 有效、最可靠地传输和处理信息的理论。 信息论是从两条发展途径展开研究：
条件熵可看作唯一地确定信道噪声所需要的平均信息量
无扰信道 I X;Y H X H Y 噪声很大的信道 H X | Y H X
电子工业出版社
主要内容
通信原理
2.1 信息论的两条发展途径 2.2 信息论研究的基本内容 2.3 信息的量度
2.4 信道容量与香农公式
电子工业出版社
2.4 信道容量与香农公式
y j 通过有扰信道的接收符号
x 任意一个可能被传输的消息
当且仅当X集合中的各x都 与yi独立时，等号成立
结论：有扰信道中接收到的符号所提供的 关于传输消息的平均信息量总是非负量。
电子工业出版社
平均互信息量
通信原理
平均互信息量定义为平均条件互信息量在 整个Y集合上的概率加权平均值
互易性
I X ;Y @ P y I X ; y
Y
特性
I X ;Y P xy I x; y P xy I x; y I Y; X
XY
XY
与熵和条件熵的关系 I X;Y H X H X |Y
I
X
;Y
H H
X Y
与熵和共熵的关系
I X;Y H X H Y H XY
I X;Y 0
电子工业出版社
H Y | X @ P xy log P y | x
XY
电子工业出版社
共熵
通信原理
共熵(又称联合熵)是联合空间XY上的每个元素对 xy的自信息量的概率加权平均值，定义为：
H XY @ P xy I xy
XY
2.2式
H XY @ P xy log P xy
XY
与信源熵和条件熵的关系
36
9
4
求信源的平均信息量。
电子工业出版社
离散信源
通信原理
解：信源的条件平均信息量为：
3 3
H xj xi
P xi P x j xi log P x j xi
i1 j1
P A P A Alog P A A P B Alog P B A P C Alog P C A