信息论期末复习

冗余度来自两个方面，一是信源符号间的相 关性；二是信源符号分布的不均匀性
第3章 信道与信道容量
1、信息传输率 信道中平均每个符号所能传送的信息量定 义为信息传输率R R=I(X;Y)=H(X)－H(X/Y) 比特/符号 信息传输速率Rt Rt=I(X;Y)/t 比特/秒（bps）
2、信道容量
比特/符号（bits/symbol或 bits/channel use）
单位时间的信道容量
PS C C t lim W log(1 )bit / 秒 T T N 0W
香农公式
第4章 信息率失真函数
信息率失真函数的物理意义是： 对于给定信源，在平均失真不超过失真限度D的 条件下，信息率容许压缩的最小值R（D）。
R(D)是非负的实数，即R(D) 0。其定义域为0～
C’
通信系统模型
U
信源
信源 编码
M
C
加密
K
信道 V 编码
干扰 信道 信道 译码
信宿
信源 译码
解密
噪声
I(U;V)=H(U) I(M;C)=0 I(M;KC)=H(M)
H(M|C)
H(M) I(M;C) H(C)
j
) log p( x i , y j )
平均互信息量
I ( X ;Y ) I ( Y ; X ) H( X ) H( X / Y ) H( Y ) H( Y / X ) H ( X ) H ( Y ) H ( X ,Y )
熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理
当L H ( X ) lim H L ( X ) lim H ( X L / X 1 , X 2 , X L1 )
L L

H ( X L / X L1 ) 是L的单调非增函数
H L ( X ) H ( X L / X L1 )
H L ( X ) 是L的单调非增函数
定义

H L (X) K
为编码效率，编码效率总是小于1，且最佳 编码效率为
H L ( X) , 0 H L ( X)
单个符号变长编码定理：若离散无记忆信源 的符号熵为H(X)，每个信源符号用m进制码 元进行变长编码，一定存在一种无失真编码 方法，其码字平均长度满足下列不等式
最大熵定理
• 限峰功率最大熵定理：对于定义域一定 的随机变量X，当它是均匀分布时具有 最大熵 限平均功率最大熵定理：对于相关矩阵 一定的随机变量X，当它是正态分布时 具有最大熵
1 H c ( X ) log 2 e log( 2e 2 ) 2
2
•
冗余度，表示给定信源在实际发出消息时所 包含的多余信息。
号对应于短码，概率小的符号对应于长 码，充分利用了短码；
缩减信源的最后二个码字总是最后一位
不同，从而保证了哈夫曼码是即时码。
限失真信源编码定理

信息率R>R(D)，平均失真可以<=D 信息率R<R(D)，平均失真一定>D

算术编码 非分组码的编码方法之一——算术码
采用累积概率P(S)表示码字C(S)，符号概率 p(S)表示状态区间A(S)
信源编码、信道编码和加密编码来实现。
Shannon三大极限定理是：
无失真信源编码
定理 、 信道编码定理 、 限失真信源编码
定理
信源描述与分类 信源的基本特性是具有随机不确定性 分类——离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源

联合熵和条件熵的性质

1.
平均互信息的性质
对称性
2.
3.
与熵和条件熵及联合熵关系
非负性
4.
5.
极值性
凸性函数性质
6.
信息不增性原理
I ( X ;YZ ) I ( X ;Y ) I ( X ; Z / Y )
离散序列信源的熵

离散有记忆信源的序列熵和消息熵
结论1 结论2 结论3 结论4
离散信源
连续信源
R(D)
0
D
Dmax
D
0
Dmax
D
信息率失真曲线
第5章 信源编码
信源 编码 信道 编码 干扰 信道 信宿 信源 译码 解密 信道 译码 噪声
信源
加密
编码分为信源编码和信道编码，其中信源 编码又分为无失真和限失真。
一般称
无失真信源编码定理为第一极限定理；
信道编码定理（包括离散和连续信道）称为第
循环码

g(x) 、 h(x) 系统循环码 ｍ(x) 、 g(x) 、 r(x) 、 c(x)关系 G、G’、 H、 C、dmin、t、d 、S-E
第7章 加密编码

加密编码的基础知识 数据加密标准DES 公开密钥加密法

密码学的基本概念：
明文、密文、加密、解密、破译、密钥、密码 体制 保密性、真实性 对称密钥体制、非对称密钥体制

n 1
,,
) n 1


二进制对称信道容量
C＝1－H（）
准对称DMC信道容量
C log n H ( p1' , p2' , p s ' ) N k log M k
k 1 r
连续信道及其容量

限时限频限功率加性高斯白噪声信道
信道的容量
PS C WT log(1 ) N 0W
H(X ) H(X ) K< 1 log m log m
离散平稳无记忆序列变长编码定理：对于平 均符号熵为HL(X)的离散平稳无记忆信源，必 存在一种无失真编码方法，使平均信息率满 足不等式
H L ( X) K < H L ( X)
其中为任意小正数。
用变长编码来达到相当高的编码效率，一般 所要求的符号长度L可以比定长编码小得多。
码字所能携带的信息量大于信源序列输出 的信息量，则可以使传输几乎无失真，当 然条件是L足够大。
反之，当 K < H L (X ) 时，不可能构成无失真的 编码，也就是不可能做一种编码器，能使收 端译码时差错概率趋于零。
K H L (X ) 时，则为临界状态，可能无失真，
也可能有失真。
在连续信源的情况下，由于信源的信息量趋 于无限，显然不能用离散符号序列来完成无 失真编码，而只能进行限失真编码。
二极限定理；
限失真信源编码定理称为第三极限定理。
由于信源符号之间存在分布不均匀和相关性， 使得信源存在冗余度，信源编码的主要任务 就是减少冗余，提高编码效率。
信源编码的基本途径有两个：

使序列中的各个符号尽可能地互相独立， 即解除相关性；

使编码中各个符号出现的概率尽可能地相 等，即概率均匀化。


密码学中的熵概念
密码体制必须满足三个要求：

对所有密钥，加密解密都必须迅速有效 容易使用
体制的安全性只依赖于密钥的保密性，而不依赖 于E、D的保密性
PKB
SKB
SKA
PKA
(A)M
C
保障保密性
M(B) (A)M
C 保障真实性
M(B)
SKA
PKB
SKB
PKA
(A)M M(B)
C’
C 保密性 真实性
逆定理：信道容量C是可靠通信系统传信率 R 的上边界，如果 R > C ，就不可能有任何 一种编码能使差错概率任意小。

6.2.2最优译码与最大似然译码
消息组mi 编码器 码字ci 信道 接收码r 译码 估值
ˆ ci
消息 还原
消息
ˆ mi

最佳译码，也叫最大后验概率译码(MAP)
ˆ c i max P(c i / r )
Dmax，其值为0～H(X)。当D>Dmax时，R(D) 0。
R(D)是关于D的下凸函数，因而也是关于D的连
续函数。
R(D)是关于D的严格递减函数。
Dmax min
j 1 ,2 ,,m
pd
i 1 i
n
ij
由以上三点结论，对一般R(D)曲线的形态可以画出来
R(D) R(D)
H(X)
m
i 1
n
－Ki
1
无失真的信源编码定理
定长编码定理 变长编码定理
K是定值 且惟一可译码 码长K是变化的
根据信源各个符号的统计特性，如概率大的 符号用短码，概率小的用较长的码，使得编 码后平均码长降低，从而提高编码效率。 （统计匹配）
定长编码定理说明，
K L logm LH L (X) H (X)

最大似然译码( MLD)
ˆ c i max P(r / c i )


BSC信道的最大似然译码可以简化为最小 汉明距离译码。 由于BSC信道是对称的，只要发送的码字 独立、等概，汉明距离译码也就是最佳译 码。
线性分组码

G、G’、 H、 C、dmin、t、d 、S-E 缩短码、扩展码 汉明码（完备码）
第2章 信源与信息熵


信息量
自信息量 联合自信息量 条件自信息量
1 I ( xi ai ) log p( xi ) log p( xi )
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
第1章 绪论
信息是具体信号与消息的内涵，是信号
载荷的内容，是消息描述的对象
信号是信息在物理表达层的外延 消息是信息在数学表达层的外延

通信系统的模型
信源 信源 编码 加密 信道 编码 干扰 信道 信源 译码 信道 译码 噪声
信宿
解密
通常，可将信息与通信中的基本问题归纳为
三性：有效性、可靠性和安全性。分别通过
能获得最佳码的编码方ຫໍສະໝຸດ Baidu主要有：

香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等
进行哈夫曼编码时，为得到码方差最小的码， 应使合并的信源符号位于缩减信源序列尽可 能高的位置上，以减少再次合并的次数，充 分利用短码。
哈夫曼码是用概率匹配方法进行信源编码。
哈夫曼码的编码方法保证了概率大的符
马尔可夫信源
当信源的记忆长度为m+1时，该时刻发出的 符号与前m个符号有关联性，而与更前面的 符号无关。

马氏链极限熵
H ( X ) p( s i )H ( X / s i )
i
连续信源的熵与互信息

幅度连续的单个符号信源熵
相对熵 联合熵 条件熵 Hc (X )



p X ( x) log p X ( x)dx
C ( Sr) C ( S ) A( S ) Pr A( Sr) A( S ) p r
第6章 信道编码

有扰离散信道的编码定理 纠错编译码的基本原理与分析方法 线性分组码
香农信道编码定理

正定理：只要传信率 R小于信道容量 C，总 存在一种信道码（及解码器），可以以所 要求的任意小的差错概率实现可靠的通信。

单符号离散信源熵
H ( X ) p( x i ) log p( x i )
i
符号熵
条件熵
H ( X / Y ) p( y j ) p( x i / y j ) log p( x i / y j )
i,j
联合熵 H ( XY )
p( x , y
i i,j
信源编码的基础是信息论中的两个编码定理：
无失真编码定理 限失真编码定理
∆无失真编码只适用于离散信源 ∆对于连续信源，只能在失真受限制的情况下进行限
失真编码
非分组码 码 分组码 奇异码 非唯一可译码 非奇异码 唯一可译码 非即时码
即时码(非延长码)
唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式：
p ( ai )
C m ax I ( X ; Y )
若平均传送一个符号要T秒，则
C Ct T
比特/秒（bit/s或bps）

对称信道容量
C log m H (Y | ai ) log m pij log pij
j 1 m

强对称信道
C logn H (1 ,

H c ( X ,Y ) Hc
(Y / X )
p X ,Y ( x, y ) logp X ,Y ( x, y )dxdy p X ,Y ( x, y ) logpY ( y / x)dxdy
H c ( X , Y ) H c ( X ) H c (Y / X ) 互信息 I ( X ; Y ) I (Y ; X ) H c ( X ) H c ( X / Y ) H c ( X ) H c (Y ) H c ( X , Y ) H c (Y ) H c (Y / X )