信息论与编码复习重点整理(1页版)

1

第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。 2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.

第2章 信源及信息量1. 单符号离散信源数学模型

2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-

log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。

3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。

三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)

4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、

物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源

的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P

相等时信息熵最大H (X )=log 2 n 。3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。噪声熵H(Y/X)：已知X 对符号集Y 尚存的不确定性，由信道噪声引起。

联合熵H (X,Y ) =-∑∑P(x,y) log2P(x,y) H(X,Y)=H(X)+H(Y/X)

H(X,Y)=H(Y)+H(X/Y)

6. 熵的性质：1)非负性H(X)≥0:因随机变量X 所有取值p 分布满足

0≤p(xi)≤1;当取对数的底大于1时log p(xi)≤0,而-p(xi)logp(xi)≥0,故熵H(X)≥0;只当随机变量是一确知量时熵H(X)=0。2)对称性：p(xn) 的顺序互换时熵不变。3) 最大离散熵定理,极值性：各个符号出现概率相等

时(p(xi)=1/n)熵最大。4) 扩展性5) 确定性：信源符号中有一个符号出

现概率为1熵就=0。6) 可加性7) 极值性：任一概率分布p(xi)对其它概率分布p(yi)的自信息取期望时必大于本身的熵：H (X/Y)≤H(X)，H(Y/X)≤H(Y) 8) 上凸性H[αP +(1-α)Q]>αH(P)+(1-α)H(Q) 7.

平

均

互

信

息

量

的

定

义

3个公式的物理意义：从

Y 获得的关于X 的平均信息量。发出X 前后关于Y 的先验不确定度减少的量。通信前后整个系统不确定度减少量。单位(bit/sym)。

8. 平均互信息量性质(①对称②非负(互信息可以负)③极值④凸函数⑤

数据处理定理)及证明（极值性、凸函数性）：1）极值性I (X ;Y )≤H (X ) .2）上下凸性：I (X ;Y )是p (x i )的严格上凸函数，是p (y j /x i )的严格下凸函数.3）数据处理定理：消息结果多级处理后随次数增多输入/出消息平均互信息量趋于变小.

11.无记忆扩展信源:每次发出一组2个以上相互独立符号序列消息的信源。平稳信源:各维联合P 分布都与t 起点无关的完全平稳信源。 12. 离散无记忆信源X 的N 次扩展信源熵H(X )=H(X N )=N · H(X) 13. 马尔可夫信源:任何t 发出符号的P 只与前已发的m 小于N 个符号有关，与更前的无关。状态的概念:与当前输出符号有关的前m 个随机变量序列的某个具体消息。平稳后信源的概率分布:各态历经的马尔可夫链的极限

P

方程为

极限熵:

14. 连续信源的概念:变量和函数取值连续。最大连续熵定理：离散信源等概率分布时熵最大;对连续信源，无限制就无最大熵，不同限制下信源最大熵不同：峰值功率（幅度）受限，均匀分布的连续信源熵最大：h (X)=log 2(b ﹣a )；平均功率受限，均值为零高斯分布的连续信源熵最大：

；均值受限，指数分布时连续信源熵最大: log2me 。

第3章 信道及其容量1. 信道模型｛X P(X/Y) Y ｝、分类:根据输入出的(时

间&取值特性/随机变量数/输入出数/有无干扰/有无记忆/恒参、随参)分类。2. 信道容量定义(最大的信息传输率)、

单符号离散特殊信道C 计算：

(1) 离散无噪信道的信道容量：①有一一对应关系的无噪信道C=log2n ②有扩展性能的无噪信道C=log2n ③有归并性能的无噪信道C=log2m (2) 强对称离散信道的信道容量: C=log2n+(1-P)log2(1-P)+Plog2P/n-1 n =2时是2进制均匀信道。(3) 对称离散信道的容量:C=log2m-H(Y/xi) 3. 连续信道，香农公式;Ct=Wlog2(1+Px/Pn)(bit/s): (信噪比/dB ，10log10P=PdB)。加性高斯白噪声是最基本的噪声与干扰模型,幅度服从高斯分布,功率谱密度是均匀分布。

5.有噪信道编码DL 内容意义：信道容量是一临界值，只要信息传输率不超过这个值，信道就可几乎无失真地把信息传送过去，否则就会失真。

6.信源信道编码DL ：H 信源熵

2. 信息率失真函数定义:找到某试验信道P(yi/xi)使信道传输速率I(X;Y)

达到的最小值，单位:比特/信源符号。RN(D)=NR(D)（R(D)=0时才无失真，故连续信源不能无失真传输）

3. 信息率失真函数性质：（1）定义域(Dmin, Dmax) Dmax=min(D1...Dm)（2）R (D )是关于D 的下凸函数

（3）单调递减/连续性4. 把 称为保真度准则. 第6章信源编码1.信源编码的目的+途径：目的是提高通信有效性。常压缩(减少)信源的冗余度,一般方法:压缩每个信源符号的平均bit 数/信源码率,即同样多信息用较少码率传送，使单位时间传送平均信息量增加。 第7章 信道编码的基本概念1. 信道编码概念,检、纠错定义:（1信道编码是提高通信可靠性为目的的编码（2码序列中信息序列码元与多余码元之间是相关的，根据相关性来检测（发现）和纠正传输中产生的差错就是信道编码的基本思想。

第8章 线性分组码1. 线性分组码概念:通过预定线性运算将长为k 位的信息码组变换成n 重的码字(n>k),由2k 个信息码组所编成的2k 个码字集

合，称为线性分组码。2.监督矩阵: 确定信息元得到监督元规则的一组

方程称为监督方程/校验方程，写成矩阵形式就是H 。3.生成矩阵（系统码形式）: 生成信息位在前监督位在后的(n, k)线性码的矩阵G 。 2. 编码:由H/G 将长为k 的信息组变成长为n >k 的码字；伴随式译码：

若伴随式S =0，判没出错，接收字是1个码字；若S ≠0，判为有错。 3. 最小距离的概念/性质/和纠、检错的关系：（1）最小距离&检错能力:d min ≥l +1（2）-&纠错能力:d min ≥2t +1（3）-&检、纠错能力:d min ≥t +l +1 4. 线性分组码的最小汉明距离=该码非0码字的最小重量.

第9章 循环码1. 循环码定义:任意码字i 次循环移位所得仍是一码字的

(n, k)线性分组码。生成多项式概念:生成了(n, k)线性码的g(x)。 DL1：(n , k )循环码中生成多项式g (x )是唯一(n －k )次码多项式且次数最低

DL2：(n , k )循环码中每个码多项式C (x )都是g (x )的倍式；而每个为g (x )倍式且次数≤n －1的多项式必是一码多项式。

DL3：在(n , k )线性码中，如全部码多项式都是最低次的(n －k )次码多项式的倍式，则此线性码为 (n , k )循环码。

DL4：(n , k )循环码的生成多项式g (x )是(x n +1)的因式：x n +1=h (x ) ·g (x

)

D D