信息论期末复习

第二章 信源熵一、自信息量1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。

定 义为其发生概率对数的负值。

若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ）2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。

在事件发生后，)(i a I 表示事件发生所提供的信息量。

二、信源熵1. 定义： 已知单符号离散无记忆信源的数学模型我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的平均信息量： )(log )(])(1[log )]([)( 212i ni i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别两者在数值上是相等的，但含义不同。

信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。

信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。

在离散信源的情况下，信源熵的值是有限的。

而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。

3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有：n X H 2log )(≤当且仅当X 中各个消息出现的概率全相等时，上式取等号。

4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N=)(,),(,),(),( , , , ,,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X三、平均互信息量 1. 定义：互信息),,2,1;,,2,1( )/()()()(log );(2m j n i b a I a I a p b a p b a I j i i i j i j i ==-==在联合概率空间中的统计平均值。

平均互信息 )()(log)();(11∑∑===n i mj i j i j i a p b a p b a p Y X I2. 三种不同的表达方式：)()()()/()()/()();(XY H Y H X H X Y H Y H Y X H X H Y X I -+=-=-=物理意义：（1）Y 对X 的平均互信息是对Y 一无所知的情况下，X 的先验不定度与收到 Y 后关于X 的后验不定度之差，即收到Y 前、后关于X 的不确定度减少 的量，也就是从Y 获得的关于X 的平均信息量。

3. 性质由定义式 )()(log)/(();(11∑∑===n i mj i j i i jia pb a p a bp a p Y X I ）我们可以知道（1）平均互信息量);(Y X I 是输入信源概率分布)}({i a p 的上凸函数 （2）平均互信息量);(Y X I 是信道转移概率分布)}/({i j a b p 的下凸函数四、最大连续熵定理1. 限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。

2. 限平均功率的最大熵定理若信源输出信号的平均功率P 和均值m 被限定，则其输出信号幅度的概率密度函数为 高斯分布时，信源具有最大熵。

3. 均值受限条件下的最大连续熵定理若连续信源X 输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源 X 具有最大熵。

五、编码的基本概念1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。

2. 唯一可译码3. 编码速率：设离散信源输出的消息为L 重符号序列消息，信源编码器采用m 进制信 道符号对离散消息进行编码，生成的m 进制代码组的长度为K,则信源编码速率为：符号/log 2bit m L KR =编码效率：RX H )(=η香农第一定理——离散无失真信源编码定理 1. 定长编码定理由L 个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列L X X X ......21，可用K 个符号K Y Y Y ......21（每个符号有m 种可能取值）进行定长编码，对任意ε>0, δ>0,只要ε+≥)(log 2X H m L K则当L 足够大时，必可使译码差错小于δ，反之，当ε2)(log 2-≥X H m L K译码必定出错。

2. 变长编码定理若一离散无记忆信源的符号熵为H(X)，对信源符号进行m 元变长编码，已定存在一种失真编码方法，其码字平均长度满足不等式：mX H K m X H 2__2log )(log )(1≥>+其平均信息率满足不等式：ε+<≤)()(X H R X H第三章 信道容量一、信道容量（C ）1. 定义： 在信道中最大的信息传输速率)/();(max max )()(信道符号比特Y X I R C i i x p x p ==单位时间的信道容量t C ：)/();(max )(1秒比特Y X I C i x p t t =2. 几种特殊信道的信道容量 （1）具有一一对应关系的无噪信道 （2）具有扩展性能的无噪信道 （3）具有归并性能的无噪信道二、香农公式)/()1(log 2s bit P P W C NXt += 1. 比值NXP P 称为信道的信噪功率比 2. 香农公式说明：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。

香农第二定理——信道编码定理信道编码定理：若有一离散无记忆平稳信道，其容量为 C ，输入序列长度为 L ，只要待传送的信息率 R<C ，总可以找到一种编码，当 L 足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。

反之，当 R>C 时，任何编码的 Pe 必大于零，当 L →∞，Pe →1。

信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。

它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。

信道编码的目的就是为了提高信息的可靠性。

第四章 信息率失真函数一、失真度定义1. 设离散无记忆信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121n n i x p x p x p x x x x p X⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121m m j y p y p y p y y y y p Y Y 到接收端信源符号通过信道传送[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)/()/()/()/()/()/()/()/()/()/(212222111211n m n n m m x y p x y p x y p x y p x y p x y p x y p x y p x y p X Y p信道的传递概率矩阵对每一对 ),(j i y x ，指定一个非负函数),(j i y x d ≥0 i=1,2,…,n j=1,2,…,m称 ),(j i y x d 为单个符号的失真度/失真函数。

表示信源发出一个符号 i x ，在接收端再现 j y 所引起的误差或失真。

2. 常用的失真矩阵（1）汉明失真函数：⎩⎨⎧≠==j i ji b a d j i 10),(（2）平方误差失真函数：2)(),(i j j i a b b a d -=二、信息率失真函数R(D));(min )()/(Y X I D R Di j P a b p ∈=已知信源概率分布为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121n n i a p a p a p a a a a p X 失真函数为),(j i b a d 1. 求min D ，max D （1）),(min )(1min jijni ib a d a p D ∑==（2）∑==nj jjjDb p D 1max )(min，其中，∑==ni jiij b a d a p D 1),()(2. 求)(min D R ，)(m ax D R 对于n 元等概率分布信源，)1ln()1()1(lnln )(ααααDDn DDn D R --+-+=香浓第三定理——信源编码定理限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。

对于任意允许平均失真度 D ≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C ，使译码后的平均失真度 ；反之，若R<R(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。

信息率失真函数也是一个界限。

只要信息率大于这个界限，译码失真就可限制在给定的范围内。

即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。

信源编码的目的是提高通信的有效性。

ε+≤D C D )(D C D >)(第五章 信源编码1. m 元长度为)......,,2,1(n i k i =的异前置码存在的充要条件是：∑=-≤ni k im11称为克拉夫特不等式。

2. 香农编码 3. 费诺编码 4. 赫夫曼编码5. L-D 编码中的每个码字传送两个数：Q 和T 。

Q 是本帧内信息位的数目，而T 则含有各信息位的位置信息。

第六章 信道编码1. 差错图案2. 最小码距的相关概念（1）最小码距是码的一个重要参数， 它是衡量码检错、纠错能力的依据。

线性分组码的最小距离等于它的最小重量。

最小距离决定了检纠错能力,因为它体现了码字之间的差别. （2）对一个最小距离为dmin 纠错码，如下结论成立: · 可以检测出任意小于等于l 个差错,其中: 1min -=d l · 可以纠正任意小于等于t 个差错,其中: ⎥⎦⎤⎢⎣⎡-=21min d t · 可以检测出任意小于等于l 同时纠正小于等于t 个差错，其中l 和t 满足:⎩⎨⎧<-≤+l t d t l 1min3. 线性分组码（1）分组码一般可用(n,k)表示。

其中，k 是每组二进制信息码元的数目，n 是编码码组的码元总位数，又称为码组长度，简称码长。

n-k=r 为每个码组中的冗余位数目。

（2）C=MG ，其中C 为码字，M 为信息序列，G 为生成矩阵 （3）],[Q I G =，],[I Q H T=，H 为一致校验矩阵1. 设输入符号与输出符号为X ＝Y ∈{0,1,2}，且输入符号等概率分布。