现代通信与香农三大定理
![现代通信与香农三大定理](https://img.360docs.net/img4f/19bs2dn8jqn02nnu1flccivehhffg1kk-f1.webp)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
现代通信与香农三大定理
姓名:杨伟章学号:201110404234
摘要:当我们提起信息论,就不得不把香农和信息论联系在一起,因为正是
香农为通信理论的发展所做出的划时代贡献,宣告了一门崭新的学科一一信息论的诞生。从此,在香农信息论的指导下,为了提高通信系统信息传输的有效性和可靠性,人们在信源编码和信道编码两个领域进行了卓有成效的研究,取得了丰
硕的成果。其实,信息论是人们在长期通信实践活动中,由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。
关键词:信息论基础现代通信系统香农三大定理
上个世纪四十年代,半导体三极管还未发明,电子计算机也尚在襁褓之中。
但是通信技术已经有了相当的发展。从十九世纪中叶,电报就已经很普遍了。电报所用的摩斯码(Morse Code),就是通信技术的一项杰作。摩斯码用点和线(不同长度的电脉冲)来代表字母,而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母E只有一个点。而不常用的Z有两划两点。这样,在传送英语时,平均每个字母的码数就减少了。事实上,摩斯码与现代理论指导下的编码相比,传送速度只差15%。这在一百五十多年前,是相当了不起了。
在二次世界大战时,雷达和无线电在军事上广泛应用。无线电受各种噪声的干扰很厉害,这也给通讯技术提出了新的课题。各种不同的调制方式也纷纷问世。于是就出现了这样一个问题:给定信道条件,有没有最好的调制方式,来达到最高的传送速率?
传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制,而每波特所含比特数受噪声的限制。”前一个限制,由那奎斯特(Harry Nyquist) 在1928年漂亮地解决了。而后一个问题则更复杂。1928年,哈特利(R. V. L. Hartley)首先提出了信息量的概念,并指出编码(如摩斯码)在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间,维纳( Norbert Wiener)发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有
进展。
在这种情况下,香农(Claude E Shanno"在1948年发表了《通信的一个数
学理论》(C. E. Shannon, A Mathematical Theory of Communication ” , The
Bell
System Tech nical Journal, VI. 27, pp. 379-423, 1948 http://cm.bell-
/cm/ms/what/sha nnon day/sha nnon 1948.pdf)完整地解决了通讯速度上限的问题。信息论”(In formation Scie nee)从此诞生。
要建立信息理论,首先要能够度量信息。信息是由信号传播的。但是信息与信号有本质的区别。所以如何度量一个信号源的信息量,就不是简单的问题。从
直觉上说,如果一个信号源发出不变的符号值(比如总是1),它是没有信息量的,因为它没有告诉别人任何东西。而且如果信号源发出的符号值是变化的但是可以预计的(比如圆周率的数字序列),那也是没有信息量的,因为我不需要接受任何东西,就可以把这些符号值重复出来。而且,即使信号源发出的符号不是完全可确定的,它的信息量也和确定”的程度有关。例如,如果一个地方90%的时候是晴天,气象报告就没有多大用处。而如果50%的时候是晴天其余时候下雨,人们就需要气象报告了。
从这点出发,香农就把信息量与信号源的不确定性,也就是各个可能的符号值的几率分布联系起来。他从直观上给出了信息量需要满足的几个简单的数学性质(如连续性,单调性等),而给出了一个唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量,也就是需要多少比特来传送数据,有什么关系呢?(比特就是二进制数据的位数)。为此,我们来看看一个含有固定符号数的序列(也就是信号或码字)。由于每个符号值的出现是随机的,这样的序列就有很多可能性。显然,每个可能的符号在序列中出现次数,对于所有可能序列的平均值正比于符号出现的几率。我们把每个符号出现次数正好”等于其次数平均值的序列叫做典型序列”,而其他的就叫作非典型序列”。而数学上可以证明,当N趋于无穷大时,非典型序列”出现的几率趋于零。也
就是说,我们只要注意典型序列”就行了。而典型序列的个数,就是它们出现概率的倒数(因为总概率为1)。而码字所携带的数据量,就是它的个数以2为底
的对数。所以,这样的分析就得出了序列所含的数据量。除以序列的长度,就得到每个符号所含的数据量。而这个结果恰好就等于上面所说的信息量!
至此,香农开创性地引入了信息量”的概念,从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。这个工作的意义甚至超越了通信领域,而
成为信息储存,数据压缩等技术的基础。
解决了信号源的数据量问题后,我们就可以来看信道了。信道(cha nnel)
的作用是把信号从一地传到另一地。在香农以前,那奎斯特已经证明了:信道每秒能传送的符号数是其频宽的一半。但问题是,即使这些符号,也不是总能正确地到达目的地的。在有噪声的情况下,信道传送的信号会发生畸变,而使得接收者不能正确地判断是哪个符号被发送了。对付噪声的办法是减少每个符号所带的比特数:而每个波特所含的比特数,则是受噪声环境的限制。这是因为当每个波特所含的比特数增加时,它的可能值的数目也增加。这样代表不同数据的信号就会比较接近。例如,假定信号允许的电压值在正负1伏之间。如果每个波特含一个比特,那么可能的值是0或1。这样我们可以用-1伏代表0,用1伏代表1。而假如每波特含两个比特,那么可能的值就是0, 1, 2, 3。我们需要用-1伏,-0.33伏,0.33伏,1伏来代表着四个可能值。这样,如果噪声造成的误差是0.5
伏的话,那么在前一种情况不会造成解读的错误(例如把-1V错成了-0.5伏,它
仍然代表0)。而在后一种情况则会造成错误(例如把-1V错成了-0.5伏,它就不代表0,而代表1 了)。所以,每个波特所含的比特数也是不能随便增加的。以上两个因素合起来,就构成了对于数据传输速率的限制。”其实,除此之外,还
有一个对付噪声的办法,就是在所有可能的符号序列中只选用一些来代表信息。例如,如果符号值是0和1,那么三个符号组成的序列就有8 个: 000, 001, 010, 011, 100, 101, 110, 111。我们现在只用其中两个来代表信息:000和111。这样,如果噪声造成了一个符号的错误,比如000变成了010,那我们还是知道发送的是000而不是111。这个方法的代价与前面的方法一样,就是降低了传送速率(原来可以送三个比特,现在只能送一个比特了)。这种选取特定序列,而不是使用所有序列的方法称为编码。以上的例子,是一个极为简单的码,远非最优。
可见,用降低速率来减少错误的方法有很多选项。那么怎样才能达到速度和准确度之间最好的权衡呢?这看来是一个非常棘手的问题。然而,香农却得出了
一个非常简明的结论:对于一个信道,有这样一个速率(称为信道的容量):一
定有一个方法能在这个速率以下传送数据而误差的几率达到任意小;而超过这个
速率的话,误差的几率就一定会大于某个下限。也就是说,香农同时给出了无错误的条件下传送速度的上限(即不可能超过)和下限(即有办法达到),而这两者是同一个值!