信息论与编码复习资料(新)

“信息论与编码”复习

1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体

信号：具体的、物理的

消息：具体的、非物理的

信息：非具体的、非物理的

同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息

2．信息的特征与分类。

1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；

2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；

4信息是可以量度的，信息量有多少的差别。

31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。

信宿需要研究的问题是能收到或提取多少信息。

信道的问题主要是它能够传送多少信息，即信道容量的多少。

5．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？

通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。

从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。

提高可靠性：信道编码。增加冗余。

提高安全性：加密编码。

6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？

信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：

•不确定度是信源符号固有的，不管符号是否发出；

•自信息量是信源符号发出后给予收信者的；

•为了消除该符号的不确定度，接受者需要获得信息量。

自信息量

8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。

自信息量指的是该符号出现后，提供给收信者的信息量。

9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。

信源熵：

10. 信源熵的基本性质与定理及其理解？

•熵的性质

对称性

非负性

确定性

香农辅助定理

最大熵定理

小结：信源熵H(X)的三种物理含义：

表示信源输出后，每个离散消息所提供的平均信息量。表示信源输出前，信源的平均不确定度。

反映了变量X的随机性。

14. 最大离散熵定理及理解。

克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。

36. 什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。

37. 理解Huffman编码是最佳编码？

38. 游程编码相关定义与步骤？

40.简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则

BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。

46.纠错编码的分类（从不同的角度）？

48.分组码具有纠、检错能力的物理本质（许用码组和禁用码组）？

49.二进制分组码纠、检错能力与汉明距离的关系？

50.汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？

52.线性分组码的定义、构造、性质？

53.线性分组码的伴随式、标准阵的定义及性质？

54.循环码的定义及其性质？系统循环码的编码方法？

55.循环码的生成矩阵和一致校验矩阵的构造？

56.循环码的伴随式及其性质？

● 汉明距离与线性分组码

线性分组码通常用于前向纠错，可表示为(n,k)，其中n 为码字长度，k 为信息位长度，从而校验位长度为n-k

在m(=2k )个码字构成的码中，两个长度为n 的码字之间的汉明距离(码距)是指两个码字对应位置上不同码元的个数；对于二元码，码距可表示为：

1(,),1,2,,,k k

n

i j i j k d c c c c i j m i j ==⊕=≠∑

长度为n 的码字的汉明重量(码重)是指码字中非零码元的个数；对于二元码，码重可表示为：

1()1,2,,k

n

i i k w c c i m ===∑

对于二元码，两个长度为n 的码字之间的码距可用码重表示：

(,)()

,1,2,,,k k i j i j d c c w c c i j m i j =⊕=≠

线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件是：min 1d e t ≥++ 最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的min 3d ≥ 将错误序列E 的随机结果e i 称为错误图案，当e ik =1时，表示第i 个码字的第k 位在传输中出现错误。

最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的错误图案为00...01，00...10，...，01...00，10 (00)

● (7,4)汉明码 设码字为：12345671,2,,i i i i i i i i c c c c c c c c i m ==，，其中1234i i i i c c c c 为信息位，长度为

k=4，567i i i c c c 为校验位，长度为n-k=3 (7,4)汉明码的编码由生成矩阵产生：