信息论与编码知识点分布

信息论与编码知识点分布

注：

（1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。

（2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。

第二章 信源与信源熵

1信源的不确定性 2单符号离散信源

（1）单符号离散信源的数学模型

1212,,

,,,(),

(),

,(),

,

()()i n i n x x x x X p x p x p x p x P X ⎧⎫

⎡⎤⎪

=⎨⎬⎢⎥⎪⎣⎦⎭

⎩

（2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量：

()log ()i i I x p x =- 条件信息量：

2(/)log (/)i j i j I x y p x y =-

联合信息量：

22()log ()log ()(/)()(/)()(/)

i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+

互信息量：

2

(/)(;)log ()(/)()()()()

i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+-

信源熵：

∑=-===n

i i i i i x p x p x p E x I E X H 1

22)(log )(])(1

[log )]([)(

条件熵：

∑∑===

=m j n

i

j i j i j i y x I y x p y x I E Y X H 1

1

)/()()]/([)/( 联合熵：

∑∑∑∑====-==

n i m j n i m

j

j i j i j i j i y x p y x p y x I y x p XY H 1

1

1

1

2

)(log )()()()(

熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性；

平均互信息量：

2

11

()(;)()log (;)()()

n m

i j i j i j i j p x y I X Y p x y I Y X p x p y ====∑∑

各种熵之间的关系：

例题：在理解的基础上求解实际问题：

3多符号离散平稳信源

离散无记忆扩展信源：定义；

离散无记忆信源X 的N 次扩展信源的熵就是离散信源X 的熵的N 倍

()()N H X NH X =

离散平稳信源：定义；平均符号熵与极限熵；

4马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算

第三章 无失真信源编码

1信源编码的分类：

2 Kraft 不等式与码树表示法；平均码长；编码效率； 3定长编码定理；变长编码定理；

4香农、费诺、Huffman 、游程编码、LD 编码、算数编码、LZW 编码的编码过程。

第四章 限失真信源编码

1失真测度与失真矩阵； 2平均失真度与保真度准则；

3信息率失真函数R （D ）及其定义域的确定； 4汉明失真下的的二元信源R （D ）的定义式；

5对称失真矩阵下n 元等概信源率失真函数的定义式； 6限失真信源编码定理及应用； 7多媒体压缩编码（了解）

第五章 信道及信道容量

1一般信道的数学模型：

2信道容量的定义：

()

max (;)

bit/i p x C I X Y =信道符号

3信道容量的计算：

特殊的单符号离散信道的信道容量 一一对应关系的无损信道

22()

()

()

max (;)max ()max ()log log i i i p x p x p x C I X Y H X H Y n m =====

具有归并性能的无噪信道

2()

()

max (;)max ()log i i p x p x C I X Y H X n ===

具有扩展性能的无噪信道

2()

()

max (;)max ()log i i p x p x C I X Y H Y m ===

强对称离散信道的信道容量

对称离散信道的信道容量 （行可排列、列可排列性）

212()

max[()(/)]log (,,

,)i m p x C H Y H Y X m H q q q =-=-

准对称离散信道的信道容量（行可排列，列不可排列--〉分割）

一般离散信道的信道容量计算步骤：

4多符号离散信道：

离散无记忆信道的N 次扩展信道，如果信源也是离散无记忆信源的N 次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的N 倍。

独立并联信道（积信道与和信道）

N 个独立并联信道的信道容量等于各个信道容量之和

级联信道

多级级联信道的总信道矩阵等于所有信道军阵的乘积。其容量用单幅号信道的信道容量计算