信息论为不同的通信系统提供进行比较的度量

香农信息论在信息测度中的应用

摘要：从香农开始, 已经有很多人讨论了关于信息的测度问题, 香农等的测度方法主要从信息的功能方面进行了详细的分析,目前, 对于

统一的信息测度方法的需求日益迫切, 而香农信息论是最经典的信

息概念和测度方法。本文对以用香农信息论进行信息的测度做了简要介绍, 希望能更好地探索信息本质的绝对真理。

关键词: 香农信息论；香农定理：信息; 测度

信息论为不同的通信系统提供进行比较的度量,在上世纪40年代时这

种比较越来越显。为了使已有的有线系统得到保护且更好的加以利用，发明了多种多样的通信系统。在20年代时, 电报通信系统的比较这一课题引起了尼奎斯特(H.Nyquist)和哈脱莱(R.V.L.Hartley)的注意,他们

在信息论出现之前就已提出某些相关的基本原理。1918年香农

(C.E.Shannon)发表了周密的通用理论,成为信息论以后工作的基础。

选择性信息单位,即根据两个概率相同,互相排斥并包含所有可能的

事件出现个的已知结果推导得出的信息量。信息的对数计量单位,它是两种互不相关的并且具有相等概率的事态集合的判定含量, 表示

为以2为底的对数。在信息论中,一组互斥事件的判定量以2为底的对数量度单位。

根据香农公式，设信道带宽为口,信道内所传信号的平均功率为S,信道内部高斯噪声的功率为N,则信道容量C为：

C:Blg(1+S/N) 比特/秒

香农公式指出了当信号和噪声的平均功率给定之后,在单位时回内,在给定带宽的信道的最大信息传输量。

香农第一定理，亦即“无噪声(离散)信道编码定理, 为信息论基础中两个主要定理之一。该定理揭示了对信息源符号编码后的码字平均长度与信息源每个符号的平均信息量之间的内在规律。

香农第一定理指出: 码字的平均长度L只能大于或等于,但不能小于

信源的熵即L≥H(S),亦即码字的平均长度以H(S)为极限。

香农第二定理，亦即有噪声信道的编码定理。香农第二定理是信息论基础中两个主要定理中的另一个。

在一个有噪声干扰的信道中,传送消息通常会有错误。错误的大小,

一般用错误概率来表示,但是在通信实践中已经知道,可以有许多方法来降低错误。例如提高发送端信号的功率,即提高功率信噪比,从而提高信道容量,或者把一个消息重复发送几次。即降低传输消息的速

率等。这样就提出了一个问题,就是有无可能定量地来确切描述降低错误的编码方法，有无可能找到一种编码方法,能在有噪声的信遘中进行无错误的消息传输，香农第二定理对上述问题作出了明确的解答。该定理指出，只要传送消息的速率小于信道容量,就存在着一类编码,使传送消息的错误概率可以任意小。

香农定理，可应用于解决以下问题：

如计算事件信息量的问题，掷两粒股子，当其向上的面的小圆点之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量是多少？

两粒股子向上的小圆点数之和为3时有（1,3）（3,1）三种可能，总的组合为

，则原点之和为3出现的概率为P3=2/36=1/18

小圆点数之和为7的情况有（1，6）（6，1）（2，5）（5，2）（3，4）（4，3），则圆点之和为7出现的概率为 P7=6/36=1/6

再如，香农定理描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系. 在有随机热噪声的信道上传输数据信号时，数据传输率Rmax 与信道带宽B ，信噪比S/N 关系为： Rmax=B*Log ⒉（1+S/N ）在信号处理和信息理论的相关领域中，通过研究信号在经过一段距离后如何衰减,它以比特每秒（bps ）的形式给出一个链路速度的上限，表示为链路信噪比的一个函数，链路信噪比用分贝（dB ）衡量。因此我们可以用香农定理来检测电话线的数据速率。香农定理由如下的公式给出: C=Blog2(1＋S/N) 其中C 是可得到的链路速度，B 是链路的带宽，S 是平均信号功率,N 是平均噪声功率，信噪比（S/N ）通常用分贝（dB ）表示，分贝数=10×log10（S/N ）。 C=Blog2(1＋S/N) 其中C 是可得到的链路速度，B 是链路的带宽，S 是平均信号功率,N 是平均噪声功率，信噪比（S/N ）通常用分贝（dB ）表示，分贝数=10× log10（S/N ）。通常音频电话连接支持的频率范361616=⨯C C )(17.41812log 32log )3(bit p I =-=＝－所包含的信息量为

)(585.2612log 72log )4(bit p I =-=＝－所包含的信息量为

围为300Hz到3300Hz，则B=3300Hz－300Hz=3000Hz，而一般链路典型的信噪比是30dB，即S/N=1000，因此我们有C=3000×log2（1001），近似等于30Kbps，是28.8Kbps调制解调器的极限，因此如果电话网络的信噪比没有改善或不使用压缩方法，调制解调器将达不到更高的速率。

结论：从以上内容来看，香农信息论在信息测度中的具有以下几个特性。

(1) 结构性。要从信息的内部结构进行分析, 而不是仅仅把信息当成一种选择性, 这是信息的静态性质。

(2) 过程性。信息存在于从一个信息主体到另一个信息的传递过程中, 传递过程除了通信学中考虑的信号的选择和传递之外, 还要考虑传

递过程的组成、性质和意义, 这是信息的动态性质。

(3) 综合性。信息不仅仅包括语法信息, 还要考虑语义信息和语用信息, 要考虑它们的性质及其相互联系, 这是信息的整体性质。

作为一个经典的信息测度方法，香农信息论在各个领域均有广泛的应用，相信随着科学技术的日趋完善，香农信息论会对生活产生更加深远的影响。

计科0902 李梦宇2009111187