信息论与编码课程总结

信息论与编码课程总结

信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用的一般规律的科学.通过学习信息论与编码，对这方面内容有基础的了解。

本学期学习的是傅祖芸等编著的《信息论与编码》教材。本书系统地论述信息论与纠错编码的基本理论。共9章,内容包括:信息的定义和度量;离散信源和连续信源的信息熵;信道和信道容量;平均失真度和信息率失真函数;三个香农信息论的基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理;若干种常见实用的无失真信源编码方法，以及信道纠错编码的基本内容的分析方法。

具体来说，第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农信息的定义，信息论研究的目的、内容。在这基础上讨论各类离散信源、连续和波形信源的信息测度——信息熵及离散信道、连续和波形信道的信息传输率和信道容量。第5、6、7章主要论述香农信息论的三个基本定理——离散信源的无失真编码定理、有噪信道编码定理及限失真信源编码定理。此部分内容是香农信息论的核心部分。第8章介绍若干种常见实用的无失真信源压缩编码方法。第9章在给出必要的数学知识基础上，论述信道纠错编码的基本内容和分析方法及一些主要的信道编码方法

同时为了加深理解，我查阅了许多相关的资料，我认为通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来，而这最重要的一步就是信源的编码，一个好的开始才能为以后的传输及接受、解码提供有利的条件。下面主要就信源编码问题就行讲述.

为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列施行变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种

方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴.一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个:?使序列中的各个符号尽可能地互相独立;?使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。在通信过程中，如何在不失真或允许一定失真条件下，用尽可能少的符号来传送信源信息，提高信息传输率;在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。这就产生了多种信源编码方式。

(以下所涉及数据均为一信源符号有6中字母a、b、c、d、e、f，概率为

0.32、0.22、0.18、0.16、0.08、0.04).

符号熵:H(X)=H(0.32、0.22、0.18、0.16、0.08、0.04)=2.3526 1、香农编码方法。香农第一定理指出了平均码长与信源之间的关系，同时也指出了可通过编码使平均码长达到极限值。香农第一定理指出，选择每个码字的长度Ki满足下

式:I(xi)

Pi二进制数的小数点后Ki位提取出，即为给细心符号的二进制码字。

香农码编码过程

信源符号符号概率p 累加概率P -logp 码字长度Ki 码字

a 0.32 0 1.64 2 00

b 0.22 0.32 2.18 3 010

c 0.18 0.54 2.47 3 100

d 0.16 0.72 2.64 3 101

e 0.08 0.88 3.64 4 1110

f 0.04 0.96 4.64 5 11110

信源的平均码长为:K=?p*Ki=2.84码元/符号

编码效率:η=H(X)/K=82.8%

2、费诺编码方法。费诺编码属于概率编码，但不是最佳的编码方法。在编N

进制码时首先将信源消息符号按其出现的概率依次由小到大排列开来，并将排列好的信源符号按概率值分N大组，使N组的概率之和近似相同，并对各组赋予一个N 进制码元“0”、“1”……“N-1”。之后再针对每一大组内的信源符号做如上的处理，即再分为概率和相同的N组，赋予N进制码元。如此重复，直至每组只剩下一个心愿符号为止。此时每个信源符号所对应的码字即为费诺码。

针对同一信源，费诺码要比香农码的平均码长小，消息传输速率大，编码效率高。

费诺码编码过程

信源符各个消息第一次第二次第三次第四次二元码长号ai 概率pi 分组分组分组分组码字 Ki

a 0.32 0 00 2 0

b 0.22 1 01 2

c 0.18 0 10 2

d 0.16 0 110 3 1

e 0.08 1 0 1110 4 1

f 0.04 1 1111 4

信源的平均码长为:K=?p*Ki=2.4码元/符号

编码效率:η=H(X)/K=98.0%

3、哈夫曼编码方法。编码方法:也是先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两个码元(先0后1或者先1后0，以后赋值顺序固定)，再将这两个概率想家作为一个新字母的概率，与未分配的二进制

符号的字母重新排队。并不断重复这一过程，直到最后两个符号配以0和1为止。最后从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即为相应的码字。

哈夫曼编码方式得到的码并非唯一的。在对信源缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减信源中的排序将会导致不同码字，但不同的排序将影响码字的长度，一般讲合并的概率放在上面，这样可获得较小的码方差。

哈夫曼码的平均码长最小，消息传输效率最大，编码效率最高。

哈夫曼编码过程

信源各个消码符号息概率编码过程码字长ai pi Ki a 0.32 00 2 b 0.22 10 2 c 0.18 11 2 d 0.16 010 3 e 0.08 0110 4 f 0.04 0111 4

信源的平均码长为:K=?p*Ki=2.4码元/符号

编码效率:η=H(X)/K=98.0%

明显用香浓编码的效率是最低的，但也是最简单的，而哈夫曼编码是最精确的不过内容比较繁琐，很多时候采用折中的费诺编码的方法。

同时，通过信道编码器和译码器可用于提高信道可靠性的理论和方法.信道编

码大致分为两类 :?信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。?构造性的编码方法以及这些方法能达到的性能界限。

信息与计算科学专业，必须经常和计算机打交道，编程，操作软件等每一项都需要懂得一定的编码知识。而信息论与编码这门课具有广泛的数学理论与知识，又有实际工程背景，所以初学者会感到有一定的吃力，而刚学编码的时候我也并不是很感兴趣，但是经过15周的信息论与编码的学习之后，我对信息论与编码产生了很浓厚的兴趣，不仅是因为这门课程与自身的专业有很大的相关性，更重要的是它