信道容量与信息率失真函数的比较--王炤鑫

信息论与编码论文论文题目：《信道容量与信息率失真函数的比较》
专业：电子信息工程
姓名：王照鑫
日期：09.11.
这一学期我有新接触了一门课程《信息论与编码》，他是电子信息与电器学科规划教材，电子信息工程类专业的很重要的课程。

对于学习信息的我来说我该怎样完成这份论文呢？我想我应该先说明本文的主要角色，就是本文的题目《信息容量与信息率失真函数的比较》。

那么先来说说信息容量吧：
信道容量
我们定义为：信道能无错误传送的最大信息率。

那么对于只有一个信源和一个信宿的单用户信道，它是一个数，单位是比特每秒或比特每符号。

它代表每秒或每个信道符号能传送的最大信息量，或者说小于这个数的信息率必能在此信道中无错误地传送。

对于多用户信道，当信源和信宿都是两个时,它是平面上的一条封闭线。

信道容量（Channel capacity，又译通道容量）的单位为比特每秒、奈特每秒等等。

在电机领域、计算机科学领域、消息理论中，信道容量是指在一个通信信道中能够可靠地传送信息时可达至的最大速率上限。

根据有噪信道编码定理，一个已知通道的信道容量，则是指在一个有限的传送速率中可达到任意小的错误率。

香农在第二次世界大战期间发展出信息论，为信道容量提了定义，并且提供了计算信道容量的数学模型。

香农指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。

对不同的输入概率分布，互信息一定存在最大值。

我们将这个最大值定义为信道的容量。

一但转移概率矩阵确定以后，信道容量也完全确定了。

尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。

我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。

其中必有一个试验信源使互信息达到最大。

这个最大值就是信道容量。

信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。

通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。

在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。

接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。

如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。

最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。

通信信道，发端X，收端Y。

从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。

I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。

要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。

已经过严
格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。

对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。

那么我们再来说说我们大标题上的第二位关键人物《信息率失真函数》
研究在限定失真下为了恢复信源符号所必需的信息率，简称率失真理论。

信源发出的符号传到信宿后，一般不能完全保持原样，而会产生失真。

要避免这种失真几乎是不可能，而且也无必要，因为信宿不管是人还是机器，灵敏度总是有限的，不可能觉察无穷微小的失真。

倘若在处理信源符号时允许一定限度的失真，可减小所必需的信息率，有利于传输和存储。

率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。

因此，这一理论是现代所有信息处理问题的理论基础。

无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。

但是，无失真的编码并非总是必要的。

香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。

定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。

信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。

本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。

首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。

信息率失真函数
在实际问题中，信号有一定得失真是可以容忍的。

但是当失真大于某一个限度时，信息质量就会有严重损伤。

要规定失真限度，必须有一个定量的失真测度。

为此，可以引入失真函数。

信息率失真函数的定义
信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。

即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-------------这个下限值与D有关。

从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。

而接收端获得的平均信息量可用平均互信息I(U;V)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(U;V)的最小值。

寻找平均互信息I(U;V)的最小值。

而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj / ui) ，使I(U;V) 取极小值。

由于平均互信息I(U;V)是P(vj / ui)的U型凸函数，所以在BD集合中，极小值存在。

这个最小值就是在D D的条件下，信源必须传输的最小平均信息量。

率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。

连续无记忆信源的信息率失真函数：
连续无记忆信源的信息率失真函数。

高斯信源的信息率失真函数
对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但在平方误差失真度量下，其率失真函数有简单的封闭表达式。

连续无记忆信源信息率失真函数
值失真度量下连续无记忆信源的信息率失真函数
一般情况下，连续无记忆信源下信息率失真函数的计算相当困难，绝大多数情况下无解析解。

以上阐明两者的各自的一些概念和理论相关，从定理的描述可知，信息失真率R(D)
是一个界限。

通信过程中虽然有失真，但是仍然能满足要求，否则就不能满足通信的要求。

总体来说香农的信息论三个基本概念都是临界值，是从理论上衡量通信是否满足要求的重要界限。

三个定理都指出理想编码方式的存在，可是需要我们去寻找和探索。

连、两个概念既有不同点有存在共同的相关点，两者都是求平均互信息极值的问题，两个对偶问题值得我们去更深程度的挖寻和比较。

实际的信源编码(无失真编码或先限失真编码后无失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值，而同时又保证译码后能无失真地恢复信源的全部信息量、或限失真条件下的必要信息量。

编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量，
-----使得传输同样多的信源总信息量所需的码符号数大大减少
------使所需的单位时间传输信道单位时间信道容量大大减少，或在不变的前提下使传输时间大大缩短，从而提高了通信的效率。

香农三定理仍然只是个存在性定理，至于最佳编码方法如何寻找，定理中并没有给出，因此有关理论的实际应用有待于进一步研究。

如何计算符合实际信源的信息率失真函数如何寻找最佳编码方法才能达到信息压缩的极限值这是该定理在实际应用中存在的两大问题，它们的彻底解决还有赖于继续的努力。

尽管如此，香农第三定理毕竞对最佳限失真信源编码方法的存在给出了肯定的回答，它为今后人们在该领域的不断深入探索提供了坚定的信心。