通信的数学原理中文版

,随机取样数字的表格, 剑桥,1939.
(B)用五个发生概率分别为0.4,0.1,0.2,0.2,0.1 的同样字母, 连续选择是不受约束的。一个来自
信源的典型如下: AAAC DCB DC E A ADADAC E D A E A D C A B E D A D D C E C A A A A A D。
如果这样的话，那么仅仅一个点或一个莫尔斯电码可以被发送并且状态经常改变。如果不是
的话，一些信号可以传输并且若空间被发送状态将改变，否则它保持不变。这种情形可以在
线状图图 2 中阐明。
莫尔斯电码
点
点
字母空间
莫尔斯电码
词空间
图 2—电报符号约束的图表
状态和线相应的那些连接点指示着状态中的可能符号和结果状态。在附录 1 中可以看出
此拥有存储十进制数字的能力。有时在综合和区分的解析工作中底数 很有用处。以此为底
的信息结果将被叫做自然对数。将底数由 a 改为 b 仅仅需要乘以
பைடு நூலகம்
。
对于通信系统我们想要用一个系统的示意图图 1 阐明。它包括五个重要的部分： 1.一个制造信息或排序信息的信息源将被传达到终端。信息可能有各种不同类型:(a)电传打 字系统的电报中的字母序列;(b)无线电话中的一个单一时间函数 f(t);(c)一个时间函数和其它 应用在黑白电视机中的变量—在这里信息可能被当做一个二个空间坐标和时间的函数 f
因此 C 等于
。其中 是方程
的根。我们可以解得
C=0.539。一 个置于允许序 列约束的普 通类型如下 :我 们想象一个可 能的数字序 列
。对于每一种情形仅仅设置
中的某些符号可以被传输(不同的子集
有不同的情形)。当其中之一被传输，就产生一个取决于老状态和当前传输信号的新状态。
发电报就是这其中的一个简单例子。存在两个取决于是否是一个空间最后传输信号的状态。
，“某些影响通报速度的因素”贝尔系统科技刊物，1924年 4月，第324页；“电报传输理论 中某些总联机程序和信息控制系统”， A.I.E.E. Trans.v.47,1924 年4月，第617页。
，“信息传输”， 贝尔系统科技刊物，1928年 7月，第 535页。
一个十进制数大约 比特。书桌上的一个阿拉伯数字计数器有十个稳定的位置并且因
未知者将会被选择。
如果设备的信息数目是有限的,那么这组数字或一些具有单调功能的数字可以被当做对
信息被关闭后再创造的测度, 所有的选择有相同的可能。像 Hartley 所指出的,最自然的选择
是对数的功能。虽然当我们考虑统计信息的影响力以及对信息的持续排列这个定义必须被凝
练地概括，我们将在所有情况下用一个本质为对数的量度标准。
我们已经看到在普通情况下可能信号的数目的对数在离散信道中随时间线性增长。信道 容量可以由给出的增长率说明，每秒的比特数目需要详细说明所用的特殊符号。
我们现在考虑信息源。如何将信息源用数学方式描述，在所给信源每秒产生多少信息位 呢？这个问题的关键是关于降低信源必需的信道容量的统计知识的影响，通过利用适当的信 息编码。在电信技术中，例如，包括字母序列的被传输信息。然而，这些序列并不是完全随 意的。一般而言，他们组成句子并且有所谓英文的统计结构。字母 E 比字母F 出现的频繁， 序列 TH 比序列 XP 出现的频繁，等等。这个结构的存在通过适当地编码信息序列到信号序 列能节省时间（或信道容量）。这已经被用来通过利用最短的符号信道、点、最常见的英文 字母 E 限制宽度，然而少见的字母 Q，X，Z 用长点的点和莫尔斯电码表示。
通信的基本问题是再制造一点或者准确地或者近似地一个从别处挑选的信息。通常信
息有意义；那是他们提到的或是依照一些特定物质或概念上实体的系统的相互关联。这些与
语意有关的通信方面是不切题的工程问题。重要的方面是真实的信息是从一组可能的信息挑
选来的。系统一定要有计划的操作每个可能的选择, 而不仅仅是哪一个因为在设计的时候是
在不同长度的符号和约束的允许序列的更普通情形中，我们作以下定义：
定义：一个离散信道容量 C 由此公式给出：
其中 N(T)是持续时间为 T 时允许信号数目。
很容易看出在电传打字的情形下降低了当前的结果。可以看出问题中的极限在多数情况
的影响下存在一个最终的数目。假使所有符号的次序
都可能发生，并且这些符号的
第一部分：离散的无噪声系统 1．离散的无噪声信道
电传打字机和电信技术是离散信道上信息传输的两个简单例子。一般来讲，一个离散信 道 就意 味着 一个 系 统怎 么从 可以 从 一个 点传 到另 一 个点 被传 输的 有限 集 合元 素符 号
选择次序。每一个符号 被假定有确定的连续时间 秒（对于不同的 没必要相同， 例如电信技术中的点和莫尔斯电码）。这不需要有可能传输到系统的 的所有可能排序，确 定次序仅仅是可能被允许。这将在信道产生可能的信号。这样在电信技术中可以推想符号有： （1）一个点，包括一个单位时间的关闭和一个单位时间的线性开启；（2）一个莫尔斯电码， 包括三个单位时间的关闭和一个单位时间的开启；（3）一个包括三个单位时间线性开启的字 母空间；（4）一个包括六个单位时间线性开启的词空间。我们可能放置约束在允许的无间隔 的次序（因为如果两个字母的间隔是接近的，它同一个字空间是一样的）。我们现在要考虑 的问题是如何测量这样一个信道传输信息的能力。
认为是离散信源的有限集的符号序列。这将包括如下情形：
1． 自然书写语言如英语、德语、汉语。
2． 由量子化过程离散呈递的连续信息源。例如由 PCM 发射机发送的量子化演说，或
者一个量化电视信号。
3． 在数学情形中我们仅仅定义抽象的产生符号序列的随机过程。如下是最终资源类型
的例子。
(A)假设我们有5 个都以 0.2 的可能性被选择的字母 A、B、C、D、E,连续选择是不受约束的。
实体，它将接近相关到(1)。有一个想法,举例来说,二张穿孔卡片与一张相比有两倍
的信息储藏能力,并且二个通道与一个相比有两倍的传输数据的能力。
3.它在数学方面更合适。许多极限运算在对数方式下很简单，但是在普通数字下却需
要笨拙的重述。对数底的选择对应测量信息单位的选择。如果以2 为底，产生的单位
可以叫二进位数字,或比较简要地叫比特,一个由 J.W.Tukey 建议的词。一个拥有两个
稳定位置的设备,像一个继电器或一个双稳态多谐振荡器,可以存储一比特的信息。N
个如此的装置能存储 N 比特的信息，因为可能情形的总数是
。
信息来源 传达者
接受者
目的地
信号 接收信号
信息
干扰源 图 1—一个常规信息系统原理图
并且
。 如 果以 10 为 底 产 生 的 单 位 可 以 叫 十 进 制 数 字 。 因 为 。
持续时间为
。信道容量是多少？如果 N(T)代表为期 t 的次序数目,我们就有
总数目等于以
为结尾的序列数目的总和并且是
。根据一
个著名的有限差结果,N(t)于是渐进大数 t 到 ,其中 是特征方程式的最大解:
因此
在允许序列受限制的情况下我们也有一个此种类型的不同方程式并且从特征方程式中得到
C。在 以上提 到的电 信技 术我们 知道依 照最后 或几 乎最后 出现的 序列计 算符 号序列 。
在电传打字的情况下所有符号有同样的持续时间，并且 32 个符号任何排序答案是简单 的。每个符号拥有5 比特的信息量。如果系统每秒传输n 个字符，那么自然来说信道有一个 每秒 5n 比特的传输能力。这并不意味电传打字信道总是这个传输速度，这是可能的最大值 并且实际比率能否达到最大值取决于进入信道不久将会出现的信息源。
对数的测度更方便，主要有以下多方面的理由:
1. 它在实践上更有用。工程的重要参数，像时间、带宽、数字的分程传递等等，趋向
于随可能数字的对数线性改变。 举例来说,增加一个继电器到小组会加倍数字的可
能情形。 它加1 到以2 为底的对数。加倍时间大致得到可能信息数目的平方,或加
倍其对数,等等。
2. 它以适当的尺寸接近我们的直觉感观。如果我们直觉地用共同的标准线性比较测量
如果允许序列的条件可以被描述在形态 C 中，结果将存在并且计算出它与以下结果一致：
定理 1：以 为从状态 i 到状态 j 的允许符号 的周期。那么信道容量 C 等于
中 W 是行列式方程式的最大实根：
=0
其中若 i=j 则
，否则
。
例如，在电报情形（图 2）中行列式是：
=0。
，其
在扩充式中这将导出以上这种情形所给的方程式。 2.信息的离散信源
这将产生一个序列，如下就是一个典型例子。它利用随机数字表格构造的。 B DC BC E C CC A DC B DD AAEC E E A AB B DAE EC AC E E B AE E CB C E AD
,例如, S. Chandrasekhar,“物理学和天文学中随机问题,”现代物理学的回顾，v.15,No.1,1943年一月,第一 页.
(x,y,t)；在点(x,y)的光强度，在光的金属板上获得的时间 t;(d)二或更多的时间函数,分别为 f (t)、g(t),h(t)—这是“三维”声音传播的情形，或者若系统有意维修个别多元通道;(e)一些变量 的一些函数—在彩色电视机中有三个函数 f(x,y,t),g(x,y,t),h(x,y,t)，定义在一个三维空间的闭 联集中—我们也可能想像这三个函数作为一个定义在区域矢量场的向量分量—同样地，个别 黑白电视机消息来源是许多三个变量的函数；(f)不同的混合物也会发生，例如在电视机中有 联合的音频信道。 2.用一些方法操作信息以产生在信道上传输的合适信号的传达者。在电话制造中这种操作包 括的仅仅是替换躁声压力为电流。在电信技术中我们有产生一系列点、莫尔斯电码、空间等 相关信息信道的编码、译码的操作。在一个多元的 PCM 系统不同的语音函数必须被取样压 缩, 量子化和编码,而且最后完全交叉存取地构造信号。声音传播机系统、电视和频率调制器 是其他的联合体操作应用于信息以获取信号的例子。 3.信道只是用来从传达者到接收者传送信号的媒介。它可能是一双电线、一个同桥电缆、一 条无线电电波,一个光束,等等。 4.接收者通常完成由传达者做的反运算,重建来自信号的信息。 5.目的地是信息对其有意的人(或者事物)。我们希望考虑特定的一般问题用于信息系统。这 首先需要描述不同数学实体的相关原理，将他们的物理副本合理的理想化。我们大致把通信 系统分为三大类：离散的，连续的和混和的。离散系统对于我们就意味着信息和信号是一系 列的离散符号。一个典型的情形是在电信技术中消息是一系列的字母和信号点、莫尔斯电码 及空间。连续型的系统就是一个信息和信号都被看作是连续函数的系统，例如无线电通信或 电视机。混合系统中既有离散的又有连续的变量，例如 PCM 语言传输。我们首先考虑离散 的情形。这种情形不仅应用于通信理论，而且应用于计算机理论，电话局和其他领域的设计。 另外离散的情形构成在下半页要处理的连续和混合情形的基础。
(C)如果连续的符号没有被独立地选择，但是他们的概率取决于在前的字母，一个更复杂的
结构将会获得。在简单的情况下，这种类型的选择取决于在前的字母并且不是它们之前的。
统计结构然后就通过一个跃进概率集合
描述，字母 j 的发生概率在 i 之后。复数 i 和 j
涉及所有的可能符号。第二个相等方法的指定结构是给出两个字母的概率 p(i，j),也就是两
这个方法还被广泛应用于商业编码，其中常见字和短语是由极大地缩短平均时间的 4 或5 位信码群表示。现在运用的标准问候和周年纪念电报扩充这一点到编码一到两个句子为 相关的短的数字序列。
我们可以考虑一个离散信源作为由符号产生的信息、符号。它通过某些可能的依靠选 择连续的符号，一般的，在前述的选择，像问题中的特殊符号。一个物理系统，或是一个产 生由可能集合支配的符号序列的系统的数学模型，叫做随机过程。 我们可以考虑一个离散 信源，因此，将通过一个随机过程描述。相反地，有一些随机过程，它们产生离散的选自被
通信的数学理论
近年来像 PCM 和 PPM 这些交换信号噪音比带宽等的多种调制方法的发展已经增强了
我们对一般通信理论的兴趣。这种理论的基础包括在重要的报纸
and
中
关于此学科的内容。在当今的报纸中我们将延伸这种理论从而包括许多新的因素，特别是噪
声通道的影响，和存储可能的基于最初信息统计的结构和基于数据的最后目的性性质。