通信的数学理论-香农

通信的数学理论-香农(总68页)
--本页仅作为文档封面，使用时请直接删除即可--
--内页可以根据需求调整合适字体及大小--
通信的数学理论
.香农
引言
各种调制方法的最新发展方向，都将其重点都放在一般的通信理论方面上，例如PCM和PPM都是以带宽来换取信噪比的改善。

在Nyquist 和 Hartley 的重要论文中对此学科的基本理论有所介绍。

在现在的论文中，我们拓展了该理论，提出了影响通信的一些新因素，尤其是噪声对信道的影响，根据初始消息的统计特性和信息终端的特性来尽可能恢复出信息。

通信的基本问题就是在一个点上能精确地或近似地再现出另外一个特定点上的消息。

消息常常是有含义的。

根据系统的物理特征或概念本质，它们都是有所指或者互相相关的。

通信的语义学方面与工程问题是不相干的。

最要意义是，实际消息是从一组可能的消息中选取的。

由于设计之时并不知道选择是哪个消息，因此设计系统必须要能针对每一个可能的选择来操作，而不是仅仅只针对一个实际选择的消息。

如果在这个集合中的消息的数字是有限的，那么这个数字或者这个数字的单调函数可以视为是一个信息的度量，这个是信息是等概率地从集合中选取一个信息时而产生的。

Hartley指出了最自然地选择是对数函数。

虽然这个定义
是非常概括的，当我们考虑消息的统计特性影响和一个连续范围的消息时，在所有的情况下，我都将基本上使用这个对数测量方法。

采用对数测量方法更加便利，这是因为：
1.非常实用。

一些重要的工程参数，例如时间，带宽，中继次数等等。

总趋势与可能的数字对数值是线性的。

例如，增加一次中继到一组使得中继的可能状态的数量翻倍。

增加1到这个数的底数为2对数。

双倍时间大概使可能的消息数量平方，或对数的两倍等
2.我们凭直觉认为这是比较合理的测方法。

由于我们凭直觉测量方法与通用标准进行线性比较，这是与第（1）密切相关的。

例如，我们觉得两个凿孔卡;应该是一个卡信息存储容量的两倍, 两个相同信道是一个信道发射信息容量的两倍。

3.数学上来讲比较合适。

使用对数进行很多极限运算比较简单，但是使用可能的数字的话，可能会要求繁琐地重述。

对数基数的选择必须要与测量信息的单位选择匹配。

如果基数2用于结果单位，那么被称为二进制数, 或者简称bits, 这个词是 J. W. Tukey 建议的。

具有两个稳定状态的设备（如中继器或触发电路）可以存储一个bit 的信息。

N 状态的设备可以存储N 个bits ，那是因为可能状态全部数量为 2N 和 log 2 2N = N 。

如果单位使用底数10应当被称为十进制。

因为：
log 2 M = log 10 M / log 10 2
= M
图1 通用通信系统原理框图
一个十进制数大于等于3
13个比特。

桌面计算机的数字轮有十个固定状态，因此一个数字轮有一个十进制数的存储容量。

在积分和微分的分析工作中牵涉到基数e 有时是非常有用的。

信息的结果单位将被称之自然单位。

从底数a 变化到底数仅仅要求成为log b a 。

按照图1所指的那种类型系统，我们可以了解一个通信系统。

它的基本组成有五个部分：
1）信号源 产生一个消息或一系列消息来与接收端进行通信。

消息可能是不同类型：（a ）作为电报机系统所发一封电报中的一系列字母；（b ）无线电或电话中的一个f(t)简单的时间函数；（c ）黑白电视中的时间函数或其他变量函数，这里的信息被认为是两个空间坐标和时间的函数f(x,y,t),这代表的是在显像管平面上t 时刻的点（x,y ）的光强度；（d ）两个及以上的时间函数，如f(t)，g(t)，h(t)，这种情况存在于“三维”声音传输中，或者系统打算要服务于多路复用的多个通道；（e ）多个变量的多个函数，在彩色电视系统中，消息由三种函数所组成如f(x,y,t),g(x,y,t),h(x,y,t)，这些函数定义域是三维连续体。

我们可以认为这三个函数在其定义域上组成了一个向量场。

类似的，黑白电视的信号源产生的消息由这些三个变量函数所组成。

（f ）不同的组合形式也出现，例如电视伴随声道。

2）发射机以某种方式进行处理消息，以产生一个合适其发射通道的信号。

在电话系统中这个处理仅仅是将声压变化为成比例的电流。

在电报系统中，我们可进行编码处理，可以产生一系列点、破折号和空，在其信道中进行消息传送。

在多分复用的PCM系统中，不同语音函数被采样、压缩、量化和编码。

最后，合适地转化建构出信号。

另外例子是，语音编码译码系统、电视和频率调制采用复杂的处理从消息变为信号。

3）信道仅仅是用来传输信号从发射到接受及的媒介。

它可能是双平行线、同轴电缆、无线电频率的带宽，光束等等。

4）接收机通常的是接收机处理过程逆向，从信号中重构消息。

5）终端这可能是人（或物），这个消息是他（它）所需要的。

我们希望讨论一下通信系统的一些普遍问题。

为了实现这一点，我们第一需要做的对其相应物理实体进行理想化，是用数学实体来代表其不同因素。

我们可以粗略地将通信系统划分为三个主要门类：离散型、连续型和混合型的。

对于一个离散系统，我们指出其消息与信号都是一系列离散的符号。

典型例子就是电报，它的消息是一连串的字母，信号是一连串的点、破折号和空格。

连续系统的消息和信号都被看做为连续函数，例如无限广播与电视。

混合系统则是离散和连续变量同时出现，例如语音的PCM传输。

我们首先讨论是离散的类型。

这种类型不但应用于通信理论，还应用计算机理论，电话交换机的设计和其他领域中。

此外，离散型为连续型和混合型构筑起了基础，连续型和混合型将在论文下半部分进行讨论。

1离散无噪声系统
离散无噪声信道
电传与电报是两个发送信息的离散信道的简单例子。

一般而言，离散信道意味着系统从有限元素的码元S1…S n中选择出一组序列，从一点发送到另一个点。

假设每个码元S i的持续时间为t i(不同的S i的持续时间没有必要相同，如电报中的点和破折号)。

并不是要把系统中的全部可能的S i序列进行发送。

仅仅要求特定序列进行传输。

这些将都成为信道中的信号。

因此，假设电报系统的码元为：（1）一个点，由一个时间单位的闭合线和一个时间单位的断开线所组成。

（2）一个破折号，由三个时间单位的闭合线和一个单位断开线组成。

（3）一个字母的空由三个单位的断开线组成。

（4）一个字的空有6个单位的断开线所组成。

我们对于一些允许的序列可以设置一些规定，这些空没有必要
相互一样（如果两个字的空是相邻的，那么一个字的空是一样的）。

我们需要讨论的问题是怎样测量一个发射信息的信道的容量。

在电传的例子中，全部的码元持续时间都是一样的。

32个码元的任一序列要求应答是比较简单的。

每一个码元代表了信息的五个bit 。

如果一个系统每秒钟发送n 个码元，那么很自然，这个信道拥有5n 个bit 每秒的容量。

这个并不意味着电传信道总是以这个速率发送信息。

最大可能速率或是实际所能达到最大速率都有信源是否能满足信道的情况而决定，这些稍后一些会出现。

在那些更广泛的实例中，这些允许序列的码元长度和限制不一致。

我们定义如下。

定义：设离散信道容量C 为
log ()
lim T N T C T →∞=
这里的N(T)是持续时间为T 允许信号的数量。

显而易见，电传的N(T)减少至先前的结果水平。

可以看出，在大多数的感兴趣实例中公式中的极限是作为有限数存在的。

假设许可使用码元S 1…S n 的全部序列，这些码元的持续时间为t 1 , . . . , t n 。

信道容量是什么？如果N(t) 代表持续时间t 的序列的数量。

N(t) = N(t - t1) + N(t - t2) +... + N(t - tn)
总数等于结束于S 1…S n 的序列数量之和，各自的总数为N(t -t1),N(t- t2),... ,N(t- tn)。

根据众所周知的有限差分的结论，N(t) 渐进t 取大值时等于X o t ，这里的X o 是特征方程最大实数解
121n t t t X X X ---+++=
因此：C = log X 0
在这个例子中，允许序列有一些限制，我们仍然可以得到此类一个差分方程，得到从特征方程得到C 。

电报例子通过上面指出：
N(t) = N(t- 2) + N(t-4) + N(t- 5) + N(t- 7) + N(t- 8) + N(t- 10) 根据最后一个或者下个最后一个码元出现，通过计算码元的序列可以看出。

因此，C 是-log μ0，μ0是1=μ2+μ4+μ5+μ7+μ8+μ10的正解。

解这方程，得出C=。

很多对于允许序列的通用限制如下：我们可以虚构出了很多可能的状态a 1,a 2,…,a m 。

从S 1…S n 集合总对于每个转台仅有一个特定码元用来发送。

当其中一个被发送时，依据旧状态和特定被发送的码元的状况，状态变化为一个新的状态。

电报就是这种情况简单的例子。

根据是否有一个空来决定两种状态，这是最后一个发送的码元。

假如这样的话，下一次仅发送有一个点或者破折号，那么这个状态是总是变化的。

如果不是这样的话，发送任何一个码元，如
果发送一个空的话，状态是变化的，否则状态保持不变。

如图所示为通过一个点线图来表示状态。

接连点表示状态，连线表示码元从一个状态到一个结果状态。

图2 电报码元限制描述图
在附录1中所知，如果一个允许序列的状态可以用这个C 形式来描述将是存在，可以联系下面结论来进行进行计算。

定理1：设b ij (s)为第从状态i 转移至状态j 第S 个码元的持续时间。

那么信道容量C 等于log W ,W 是行列式方程最大实数解。

()-0s ij b ij S W
δ-=∑
如果i=j ,这里的δij =1，否则δij =0。

例如，如图2的电报的例子。

行列式为：
2436241
()0()(1)W W W W W W -------+=++-
由上面的情况，在信号恢复状态下推导出这个方程。

信息的离散源
我们可以看出在一般状态下，在一个离散信道中可能存在信号数量的对数随着时间线性增加。

发送信息的容量可以用给定增长速率进行描述，比特/秒的数量可以描述所使用的特定信号。

我们现在考虑一下信号源。

一个信息源怎么通过数学的方式来描述，一个假设源能产生多少比特/秒的信息？比较有争议的主要观点是关于减少信道容量要求的信息源的统计学方面作用，可以使用合适信息编码技术。

例如，在电报中的发送的消息时有字母组成的。

但是这些序完全不是随机的。

一般而言，字母可以形成段落，他们的组成具有统计学方面特征。

字母E 比Q 出现概率要大，TH 序列出现概率比XP 要大等等。

由于存在这种结构采用合适的编码是消息序列变为信号序列可以节约时间（或者信道容量）。

可以采用最短信道码元
来有限的扩容电报，一个点可以代替最常见英文字母E 。

而那些不太频繁出现的字母Q ，X ，Z 可以用点和破折号的较长序列还表示。

我们可以这么认为一个离散源产生消息，用符号表征码元。

我们可以根据先前的选择和问题中特定码元特定概率来进行选择。

一个物理系统或者一个系统的数学模型由一个概率集合所约束产生如此一个系列码元序列，这就是众所周知的随机过程。

因此，我们可以认为离散源可用一个随机过程来描述。

反过来，任何一个从有限集合中选择产生的码元离散序列的随机过程都可以产生一个离散源。

这将包含如下情况：
1.一些自然书写语言如英语，德语，中文等。

2.连续信息源通过量化处理方法表达为离散的。

例如有PCM 发射机量化后语音，或者量化电视信号。

3.数学情况下，我们仅仅抽象地定义了随机过程可以产生一个序列的码元。

下面是最新的一种信息源的例子。

（A ）假设我们有5个字母A ，B ，C ，D ，E ，以相同的概率从中选择出一个。

连续的选择是独立的。

下面是一个典型例子，这产生了一个序列。

BDCBCECCCADCBDDAAECEEA
ABBDAEECACEEB AEECBCEAD
这个使用了随机数表进行构造。

（B ）使用相同五个字母，设各自的概率为,,,,，连续选择是独立的。

从这源所产生典型的消息为：
AAACDCBDCEAADADACEDA
EADCABEDADDCECAAAAAD
（C ）如果连续的码元选择不是独立的，而且它们的概率依据前一个字母，那么得到这个结构将是更加复杂的。

在最简单的情况下，选择仅仅基于前一个字母而不是后面的。

这样统计结构可以用转移概率P i (j )来描述，这是字母i 伴随字母j 之后出现的概率。

指标i 和j 覆盖整个可能出现概率。

第二种表述这种结构等效方向是给出这个“两个字母组”概率P (i,j )。

例如ij 两字母组的相关频率。

字母频率P (i )(字母i 的概率)。

转移概率P i (j )和两字母组概率P (i,j )依照如下公式相关起来。

,()(,)(,)()()(,)()()()()(,)1
j j j j
j j i i j p i p i j p j i p j p i p j i p j p i p j p i p i j =======∑∑∑∑∑∑
举一个典型的例子，假设有三个字母A ，B ，C 依照表
中概率
从这个源产生一组典型的消息为：ABBABABABABABABBBABBBBBABABABABABBBACACABBA
BBBBABBABACBBBABA.
下来为了增加复杂程度，仅牵扯进三字母组频率。

一个字母的选择依据前两个字母但不是这个点之前信息。

这里规定三字母组频率P (i,j,k )的集合或者等效的转移概率组合p ij (k )。

使用这种方法连续产生序列获得连续的更加复杂的随机过程。

在一般的n
个字母组的情况下的n 个字母组概率p (i 1,i 2,...,i n )或者转移概率P i1,i2,...in-1(i n )要求来描述统计学结构。

（D ）随机过程也可以这样来定义，产生一个文本由一系列“词”所组成。

假设有五个字母A,B,C,D,E 和一种语言的16个“词”相关的概率为
A BEBE
假设独立地连续选择“词” ，用一个空来分开。

一个典型的消息可能是： DAB EE A BEBE DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED DEED BEBE CABED BEBE BED DAB DEED ADEB.
如果全部的单词是有限的长度，这过程等效于先前的一个类型。

但是依据单词结构和概率，这种描述方式更加简单。

我们也可能归纳出这些，引入单词之间的转移概率。

使用人工语言来构建出一个小问题和小例子是非常有用的，可以说明各种可能性。

我们也可以用一系列的简单人工语言来逼近一个自然语言。

以相同的概率独立选择所有的字母可以获得零阶逼近。

连续独立地选择字母可以获得一阶逼近，但是这些字母在自然语言方面有相同的概率。

因此，用一阶逼近于英语。

选择E 的概率为（在普通的英语用的频率），W 的概率为，但是相邻字母
之间没有影响，没有形成优选两字母组合的趋势（例如TH，ED）等。

在二阶逼近中，介绍二字母组合的结构。

选择一个字母以后，选择下一个的相关频率与第一个字母后面不同的字母有关系。

这满足一个二字母组频率表格。

在三阶逼近中，介绍三字母组合机构。

选择每个字母的概率依据的前两个字母。

英语逼近的系列
为了能给出这一系列如何逼近一种语言的视觉想法，逼近英语的典型序列已经构建成，在下面给出。

在所有情况下，我们假设一个27个符号“阿尔法，”、26个字母和一个空。

1、零阶逼近（符号都是独立和等概率的）
XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYDQP
AAMKBZAACIBZLHJQD.
2.一阶逼近（符号都是独立的，但是具有英文文本的概率）
3.二阶逼近（双字母组合如同英文）
ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.
4.三阶逼近（三字母组合如同英文）
IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE.
5.一阶词语逼近。

而不是继续四个字母组合，…，n个字母组合这是很容易的，更好的从这个点跳到词的单位。

这里的单词是独立地挑出来的，但是具有它们合理的频率。

REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE.
6.二阶词语逼近。

词语的转移概率是正确。

但是进一步的结构没有包括。

THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.
在上述步骤中，普通英文文本的相似性逐渐明显。

值得注意的是，这些样本具有想当不错的的结构，关于两倍跨度应该被考虑到结构中。

因此在（3）中统计保证合理的文本符合两个字母的序列,但是从样本中挑选的四个字母序列通常与较好的段落相配。

在（6）中，只要不是不常见或口语结构中，四个或更多词语序列可以很容易放置在段落中。

十个单词的特殊序列"attack on an
English writer that the character of this" 是合理的。

这表明，一个足够复杂的随机过程可以给出一个离散源好的满意的表达。

前两个样本是通过使用一本随机数字与一个字母频率表一起构成的（如例2）。

由于使用两字母组、三字母中和词语的概率表，在（3）、（4）和（5）中续使用这种方法，但是使用更加简单等效方法。

为了构建例（3），一个人随机打开一本书，从这一页速记挑出一个字母。

记录这个字母。

打开这本书另外一页，只到再次读到这个字母为止。

然后记录下来这个字母。

在转到另外一页找到一个单词，记录下次这个字母，等等。

在（4）、（5）和（6）中使用这个类似过程。

感兴趣的是否可以构建进一步的逼近，但是在下一个阶段的介入的工作将变得更加繁重。

马尔科夫过程的图形化表示
上述描述这种随机过程就是数学上众所周知的离散马尔科夫过程，在文献[6]中有比较深入的研究。

大致的情况可以这样描述，如下：一个系统的可能存在有有限个数量的“状态”；S1，S2，...,Sn。

此外，还有一个转移概率子集；Pi(j)是假如系统中的一个状态Si下一步将要转移到状态Sj的可能性。

为了使这个马尔科夫过程进入一个源，我们仅仅需要假设对于从状态到另外一个转移转移而产生一个字母。

这个状态表达出的“残余影响”来源于前一个字母。

这位置可以用如图3,4和5来图像化表示。

“状态”是图中的交汇点。

在对应的线旁边给出了转移概率和产生的字母。

图3是在第2节中的例B，而图4对应于例C 。

在图3中只有一个状态，因为连续的字母是独立的。

在图4中有与状态同样多的字母。

如果构建一个三字母例子，这将有最多n2状态，可能对应前一个选择了一对字母。

图5是例D中构建一个词语的情况。

这里的S对应的“空间”的符号。

图3 例B中对应源的图
图4 例C中对应源的图
遍历混合源
我们在上述所描述这一个离散源的目的是为了其被认为可以代表一个马尔科夫过程。

在可能的李三联马尔科夫过程。

在有可能的离散马尔科夫过程中，存在一个组通信原理中具有特殊意义的组。

这个特殊种类有“遍历”过程组成，我们将要调用对应的遍历源。

虽然一个遍历过程的严格定义有些复杂，但是大意上还是比较简单。

每一个由遍历源所产生的序列在统计特征上都是相同的。

因此，从特定序列中获得的字母频率、两字母组，将随着序列长度的正解，接近特定序列独的定义的极限。

实际上，每个序列都是错的，但是都是错误概率为0的集合。

遍历特征大致上意味着概率上的均匀性。

上述给出的人工语言的全部例子都是遍历的。

这个特性与图中结构是相关的。

如果图中有用一下的两个特征，那么这个过程就是遍历的。

1.图形不是由两个孤立部分A和B组成的，如此图形中的沿着箭头方向从A部分的交点到B部分的交点的连线是不可能存在，从B部分的交点到A部分的交点也是不可能存在的。

2.图形中拥有相同方向箭头闭环连线系列被称之为“环”。

这个环的“长度”就是图中线的数量。

因此，图5中的系列BEBES是长度为5的环。

第二个特征要求，图中全部的环的长度最大公约数是1。

如果满足第一个条件，但是由于最大公约数d＞1违反了第二个条件，这个有特殊类型的周期结构。

不同序列归类于除过从统计上相同的原点位移的d不同的类型。

（例如序列中的字母被称之字母1）。

通过从0到d-1的位移任何序列在统计学上等于其他序列。

一个d=2简单的例子如下：字母a,b,c有三种可能。

字母a后面是b或者c随后发生的概率分别是1/3和2/3。

b或c后面跟随的总是a。

因此，一个典型序列是
abacacacabacababacac
这种情况对于我们的工作来说不是太重要的。

如果违反了第一种条件，图形可能被分成每个都满足第一种条件的子图像的集合。

我们也假设每个子图形也满足第二种条件。

图5 例D中图形所对应的源
在这个情况下，我们有一个一些纯元素所组成的被称之为“混合”源。

元素对应的是不同的子图。

如果L1，L2，L3，......是元素的元。

我们可以这么写
L=p
1L
1
+p
1
L
1
+p
1
L
1
+...
这里的p i是元素源L i的可能性。

物理上，这种代表情况是这样的：有很多不同的源L1，L2，L3，......这些源的具有均匀的统计特性（例如它们是遍历的）。

我们不知道先用那一个，但是一旦序列从假设纯元件L i开始的话，那就会按照元素统计特性无限地继续下去。

举一个例，采用如上定义的两个过程。

假设P1=和P2=。

从混合源取得一个序列
L=+
首先以概率首先选择L1或者以概率选择L2，不管首先选择哪一个，这个选择都会产生一个序列。

除了当相反的状态，我们将假设一个源是遍历的。

这个假设可以使让确认这个序列的平均值，这个序列拥有全部可能的序列总的平均值。

（偏差的概率为0）。

例如，在一个特殊有限序列中的字母A的相关频率等于序列集合的相关频率（概率为0）。

如果P i 是状态i 的概率，P i (j)是到状态j 转移概率,然后由于过程是固定
的。

很显然P i 必须满足均衡条件：
P ()j i i i
p p j =∑
在遍历的情况下，可以证明任何开始状态j 概率Pj(N),经过N 个码元后，接近于均衡值N →∞的值。

选择，不确定性与熵
我们用一个离散信息源来代表一个马尔科夫过程。

在某种以上将讲，我们能定义一个将要被测量的量吗？有多少信息是由这个过程“产生”的或者更好能知道信息是以多少速率产生的
假设有一组可能事件，其发生概率为p 1,p 2,……p n 。

这些概率都是已知的，
但是我们都想知道那些时间是将要发生的。

我们找到一种可以测量在事件的选择中有多少种“选择”数量方法或者我们选择的结果的不确定性有多少？
如果有一种测量，称之为H(p1,p 2,……p n ),符合以下属性是合理的：
1. H 应该在P i 上是连续的；
2.如果所有的P i 都是相等的，1i P n
=
，那么H 就是n 单调递增函数。

党有更多可能事件时，同样有可能的事件会有更多的选择，或不确定性。

3.如果一个选择可以分成两个连续的选择，原先的H 应该是单个H 值得权重之和。

这个意思通过图6所示。

在左边有个三个可能性：
图6 一种选择分解为三种可能性
123111,,236
P P P ===。

在右边我看第一个选择各有两个概率为1/2的可能性，如果第二个发生使另外选择有2/3,1/3选择性。

最后的结果与以前一样的相同概率。

在这种特殊情况下，我要求：
11111121(,,)(,)(,)23622233
H H H =+ 系数1/2是因为第三种选择仅仅有一半时间。