信息论与编码复习资料

1、在认识论层次上研究信息时，必须同时考虑到形式、（含义）和（效用）3个方面的因素

2、如果从随机不确定性的角度来定义信息，信息反映（不确定性）的消除量。

3、信源编码的结果是（减少）冗余;而信道编码的手段是（增加）冗余。4（1948）年，香农发表了著名的论文（通信的数学理论），标志着信息论的诞生。5、信息商品是一种特殊商品，它有（客观）性、（共享）性、（时效）性和知识创造征。6、对信源进行观查之前，对认识的主体来说，信源存在（先验）不确定性，观察之后，信源还存在（后验）不确定性。7、联合符号（x i ,y j ）的不确定性，等于（关于y j ）不确定性加上（观查到y j 后还剩余）不确定性。8、256个亮度构成的信源，其熵值最大为（log256=8）。9、无条件熵（不小于）条件熵，条件多的熵（不大于）条件少的熵。10、信源编码实质上是对信源进行信息处理，无失真信源编码只是信息处理的方法之一，除此外，还可以对信源进行（限失真）编码。11、无失真编码对应于无损信道，有失真编码对应于（有噪）信道。12、有失真编码的（失真范围）受限，所以又称为限失真编码；编码后的（信息率）得到压缩，因此属熵压缩编码。13、满足（平均失真D D ≤失真度）的信道称为D 允许[试验]信道。1、无失真编码只对信源的（冗余度）一进行压缩，而不会改变信源的熵，又称冗余度压缩编码。2、无失真信源编码的作用可归纳为:(1)（符号变换）; (2)（冗余度压缩）。3、（含相同的码字）的码称为奇异码。

1、 研究信息论的主要目的是什么？答：能够高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。

2、信息论的定义（狭义、广义）答：狭义：在信息可以度量的基础上，研究有效和可靠的传递信息的科学。广义：包含通信的全部统一问题的研究，香农信息论、信号设计、噪声理论、信号检测与估值等。

3、信息有哪些特征？答：（1）接收者在收到信息前对它的内容未知；（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用的知识；3）信息可以产生、消灭、被携带、贮存及处理；（4）信息可以度量。 6、熵是描述什么的？熵越小说明信息量越大是否正确？答：（1）平均信息量或平均不确定度；（2）错。 7、满足哪两个条件是马尔可夫信源？答：（1）某时刻信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态及以前的输出符号无关；(2)信源某L 时刻所处的状态，由当前的输出符号和前一时刻（L-1）信源状态唯一确定。 10、冗余度来源？答：（1）信源符号间的相关性（2）信源符号分布的不均性1．信源编码的主要任务。答：减少冗余，提高编码效率。2．无失真编码适用于什么信源。答：离散信源。3．游程序列是如何构成的，说出其优、缺点。答：以在二元符号为例,在二元序列中只有两种符号,即“0”和“1”,这些符号可连续出现,连“0”这一段称为“0”游程,连“1”这一段称为“1”游程. “0”游程和“1”游程是总是交替出现称游程序列. 优点：很容易恢复成原来的二元序列，二元序列转换为多元序列较简单。

缺点：需大量的缓冲和优质的信道，只适用于二元序列。5、什么是无损压缩？无损压缩优点、不足？经常使用的无损压缩方法有哪些？答：利用数据的统计冗余进行压缩，可完全回复原始数据而不引起任何失真。优点是可以做到100％的保存、没有任何信号丢失，并且转换方便。不足是占用空间大、压缩比不高而且缺乏硬件支持。香农Shannon 编码，哈夫曼Huffman 编码，游程(Run-length)编LZW(Lempel-Ziv-Welch)编码和算术编码等。 6、什么是有损数据压缩？有损数据压缩主要在哪方面应用？有损压缩的优点、不足？答：经过压缩、解压的数据与原始数据不同,但是非常接近的压缩方法，又称破坏型压缩，即将次要的信息数据压缩掉，牺牲一些质量来减少数据量，使压缩比提高。有损压缩主要应用于语音，图像和视频数据的压缩。优点，在有些情况下能够获得比任何已知无损方法小得多的文件大小，同时又能满足系统的需要。不足，会影响图像质量，尤其是在仔细观察的时候，质量下降更加明显1、信道的作用：答：把携有信息的信号从它的输入端传递到输出端。2、什么是信道容量？答：互信息量I(X,Y)是输入符号X 概率分布的凸函数，对于一个给定的信道，总是存在某种概率分布p(xi),使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量既信息传递能力。 3、写出四种对称信道1）输入对称信道 2）输出对称信道3）准对称信道4）对称信道5、什么是线性分组码？答：编码器按一定规则,将输入的信息组编成长为n 的码字,码字前k 位为信息元,后r=n-k 个码元为校验元.若各校验元与前k 个信息元之间是线性关系,则称这样的码为线性分组码.6、什么是汉明距离？答：两个码字之间,对应位取值不同的个数,称为它们之间的汉明距离7、生成矩阵和校正矩阵作用。答：通过生成矩阵进行编码,通过校正矩阵检测接收码字是否是正确码。10、写出编码定理（香农第二定理）。 答：对任意一个离散无记忆平稳信道,设信道容量C,则只要信

息传输率R

概率实现可靠通信。既11、说出四种信道编码，指出最常用的信道编码方法，说出信道编码目的。答：描述编码、约束编码、扩频编码、纠错编码。最常用的是纠错编码（重复编码、循环编码、卷积码）。信道编码目的：通过构造出以最小冗余度的代价换取最大抗干扰性能的“好码”。提高信号传输的可靠性。11.说明平均失真的含义答：将失真函数的数学期

望称为平均失真。是给定信源分布

)(i x p 经过某一种转移概率

分布)/(i j x y p 的信源编码时失真的总体度量。 9、什么是冗余度？答：给定信源在实际发出消息时所包含的多余信息.

M

H H H y r M

log 111∞∞

-

=-=-=8、写出离散信源熵最大熵公式，连

续信源熵在什么时候无最大熵？

答：（1）离散信源中各信息等消息出现时熵最大，最大离散熵定理（2）连续信源熵在无限制的情况下无最大熵。 信息率失真函数的性质：

（1）R(D)非负的实数，既R （D ）≥0，其定义域为0---Dmax,

其值为0--H （X ），当D ＞Dmax 时，R(D)≡0； （2）R(D) 是关于D 的下凸函数；

（3）R(D)是定义域上的连续和非增函数