信息论与编码课程论文[1]

香农信息论的基本理论探究

制作者：陈喆指导老师：杜奕

【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。

【关键词】：平均自信息信道容量信源编码霍夫曼码

1211()()log()q q

i j i j i j H X X P a a a a ===-∑∑

此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122()

H X X 作为二维离散平稳信源X 的信息熵的近视值。

除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：

（1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。

（2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。

马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是：

121()lim ()N N H H X H X X X N

∞∞→∞== . 二．平均互信息

信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。 根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。

为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：

(|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ======

传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。 我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度：

,1(|)()log (|)X Y H X Y P xy P x y =∑

这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量

(;)()(|)I X Y H X H X Y =-

平均互信息是表示了收到输出Y 的前，后关于X 的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。平均互信息量具有一些基本的特征：第一点，非负性。我们通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。第二，平均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。第三点是平均互信息的交互性。第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。

后来，我们学习到信道容量的一般计算方法。其中最重要的是对称离散信道的信道容量的计算。信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道的信道容量公式是：

'''12log (,,,)(/)s C s H p p p =- 比特符号

其中，等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。比方说，前面提到的，二元对称信道的信道容量就是

1()(/)C H p =-比特符号

除了前面论述到得单符号离散信道之外，还有独立并联信道和串联信道。一般的独立并联信道如下：

图 1

独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号i X 相互独立，且输入符号i X 的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于个信道容量之和。

串联信道是一种比较常见的信道模型，比如微波中继竭力通信就是一种串联信道，还有，在信道输出端对接受到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中X 、Y 、Z 有如下关系：

……