信息论期末复习

信源熵

1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定
义为其发生概率对数的负值。若随机事件发生
a的概率为)(iap，那么它的自信
息量为：)(log)(
iiapaI （bit）
2. 性质：在事件发生前，)(
aI表示该事件发生的不确定性。
在事件发生后，)(
aI表示事件发生所提供的信息量。

1. 定义： 已知单符号离散无记忆信源的数学模型


我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信
)(log)(]
(1[log)]([)( 2
2inii
iapapapEaIEXH
2. 信源熵与平均自信息量之间的区别
两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息
信源一定，不管它是否输出离散消息，只要这些离
必有信源的熵值，该熵值在总体平均的意义上才有意义，因而
。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出

3. 最大离散熵定理：信源X中包含n个不同离散消息时，信源熵H(X)有：
nXH
log)(
X中各个消息出现的概率全相等时，上式取等号。
4. 扩展信源的信源熵：N次扩展信源的信源熵：)()(XNHXHN )(,),(,),(),( , , , , ,)( 2121niniapapapapaaaaXPX

1. 定义：互信息
),,2,1;,,2,1( )/()()()(log);(2mjnibaIaIapbapbaIjiiijiji
在联合概率空间中的统计平均值。

平均互信息
()(log)();(
1nimj
jijiapbapbapYXI
2. 三种不同的表达方式：

()()()/()()/()();(XYHYHXHXYHYHYXHXHYXI
物理意义：（1）Y对X的平均互信息是对Y一无所知的情况下，X的先验不定度与收到
Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少
的量，也就是从Y获得的关于X的平均信息量。
3. 性质

()(log)/(();(
1nimj
jiijiapbapabpapYXI）我们可以知道
1）平均互信息量);(YXI是输入信源概率分布)}({
ap的上凸函数
2）平均互信息量);(YXI是信道转移概率分布)}/({
jabp的下凸函数

1. 限峰值功率的最大熵定理
若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，
均匀分布的连续信源具有最大熵。
2. 限平均功率的最大熵定理
若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为
高斯分布时，信源具有最大熵。
3. 均值受限条件下的最大连续熵定理
若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源
X具有最大熵。

1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。

2. 唯一可译码
3. 编码速率：设离散信源输出的消息为L重符号序列消息，信源编码器采用m进制信
道符号对离散消息进行编码，生成的m进制代码组的长度为K,则信源编
码速率为：符号/log
bitm
KR
编码效率：
XH)(
香农第一定理——离散无失真信源编码定理
定长编码定理
由L个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列
XXX......21，可用K
YYY......21（每个符号有m种可能取值）进行定长编码，对任意ε>0, δ>0,只要
)(log2XHmLK
L足够大时，必可使译码差错小于δ，反之，当
2)(log2XHmLK

变长编码定理
若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，已定存在一种


XHKmXH
__2log)(log)(1
)()(XHRXH
信道容量
C）
1. 定义： 在信道中最大的信息传输速率
)/();(maxmax)()(信道符号比特YXIRC
ixpxp
单位时间的信道容量
C：
)/();(max)(1秒比特YXIC
xptt
2. 几种特殊信道的信道容量
（1）具有一一对应关系的无噪信道
（2）具有扩展性能的无噪信道
（3）具有归并性能的无噪信道
二、香农公式
)/()1(log
sbit
PWC
Xt
1. 比值
XPP称为信道的信噪功率比
2. 香农公式说明：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；
反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。

信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要
R R>C时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。
信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存
它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几

信道编码的目的就是为了提高信息的可靠性。
信息率失真函数

1. 设离散无记忆信源为
)(,),(),(,,,)(2121nnixpxpxpxxxxpX
)(,),(),(,,,)(2121mmjypypypyyyypYY到接收端信源符号通过信道传送

/()/()/()/()/()/()/()/()/()/(
12222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp信道的传递概率矩阵
),(
iyx，指定一个非负函数
),(
iyxd≥0 i=1,2,…,n j=1,2,…,m

称 ),(
iyxd为单个符号的失真度/失真函数。表示信源发出一个符号 ix，在接收端再

y 所引起的误差或失真。
常用的失真矩阵
1）汉明失真函数：
ijibadji10),(
2）平方误差失真函数：2)(),(
jjiabbad
二、信息率失

真函数R(D)
);(min)()/(YXIDR
ijPabp


(,),(),(,,,)(
121nniapapapaaaapX
),(
ibad
求
D，maxD
（1）),(min)(
minjijniibadapD
（2）n
jjjDbpD1max)(min，其中，nijiijbadapD1),()(
求)(
DR，)(maxDR
对于n元等概率分布信源，
)1ln()1(
1(lnln)(DDnDDnDR

香浓第三定理——信源编码定理
失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为
…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意
D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序列长度 L 足够
C，使译码后的平均失真度 ；反之，若
，则无论用什么编码方式，必有 ，即译码平均失真必大于

只要信息率大于这个界限，译码失真就可限制在给定的

的目的是提高通信的有效性。
DCD)(DCD)(
信源编码
m元长度为)......,,2,1(nik
的异前置码存在的充要条件是：
n
kim11
称为克拉夫特不等式。
香农编码
费诺编码
赫夫曼编码
L-D编码中的每个码字传送两个数：Q和T。Q是本帧内信息位的数目，而T则含有各信

第六章 信道编码
差错图案
最小码距的相关概念
（1）最小码距是码的一个重要参数， 它是衡量码检错、纠错能力的依据。 线性分组码
,因为它体现了码字之间的差别.
（2）对一个最小距离为dmin纠错码，如下结论成立:
· 可以检测出任意小于等于l个差错,其中: 1
dl
· 可以纠正任意小于等于t个差错,其中:
1mindt
· 可以检测出任意小于等于l同时纠正小于等于t个差错，其中l和t满足:

tdtl1min

线性分组码
（1）分组码一般可用(n,k)表示。其中，k是每组二进制信息码元的数目，n是编码码组
n-k=r为每个码组中的冗余位数目。
（2）C=MG，其中C为码字，M为信息序列，G为生成矩阵
（3）],[QIG，],[IQHT，H为一致校验矩阵
设输入符号与输出符号为X＝Y∈{0,1,2}，且输入符号等概率分布。设失真函
D和minD及max()RD和min()RD。
设二元(5,3)码的生成矩阵1000101011
0111G
求信息序列m=(110)对应的码字；
求该码字的一致效验矩阵H；
以线性分组码的一致效验矩阵为生成矩阵产生的线性分组码称为原线性分

设有信源123456
)0.320.220.180.160.080.04XaaaaaaPX
求信源熵()HX；
编二进制香农码，计算其平均码长及编码效率；
编二进制费诺码，计算其平均码长及编码效率；
编二进制赫夫曼码，计算其平均码长及编码效率。
提示：
log0.22.322，2log0.192.396，2log0.182.474，2log0.172.585，
log0.152.737，2log0.13.322，2log0.016.644)
（6分

）有一信源它有四种可能的输出，其概率分布如下图所示，表中给出了
A、B、C、D和E 。
）求这些码中哪些是唯一可译码。
）求哪些是非延长码（即时码）
）对所有唯一可译码求出其平均码长和编码效率。
概率 A B C D E
1/2 1/4 1/8 1/8 00 01 10 11 0 01 011 0111 0 10 110 1110 0 10 110 111 0 01 001 111
、证明：
212()()()()nnHXXXHXHXHXLL

2nHXXXL
21
2111
2()(|)()(|)(|)()()()nnnnHXHXXXHXHXXHXXXHXHXHXLLLL（因为条件熵小于无条件熵）
、若X，Y，Z是三个随机变量，证明
I（X；YZ）=I(X;Y)+I(X;Z/Y)
/)
;)()log(1.5
)ijkijk
jk
pxyzIXYZpxyzpx分）
/)(/)
)log(1.5
)(/)ijkijijk
jk
ijpxyzpxypxyzpxpxy分）
/)(/)
)log()log(1.5
)(/)ijijkijkijk
jkijk
ijpxypxyzpxyzpxyzpxpxy分）

;)(;/)(1.5IXYIXYZ分）
、证明：)/()()/()();(XYHYHYXHXHYXI


nimjijijiapbapbap11)(log)(log)( )()(YXHXH
/()()(log)(log)( 11XYHYHbpabpbapnimjjijjinimjjijijibpapbapbapYXI11)()()(log)();(