通信的数学理论
通信的数学理论-香农
通信的数学理论-香农(总68页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--通信的数学理论.香农引言各种调制方法的最新发展方向，都将其重点都放在一般的通信理论方面上，例如PCM和PPM都是以带宽来换取信噪比的改善。
在Nyquist 和 Hartley 的重要论文中对此学科的基本理论有所介绍。
在现在的论文中，我们拓展了该理论，提出了影响通信的一些新因素，尤其是噪声对信道的影响，根据初始消息的统计特性和信息终端的特性来尽可能恢复出信息。
通信的基本问题就是在一个点上能精确地或近似地再现出另外一个特定点上的消息。
消息常常是有含义的。
根据系统的物理特征或概念本质，它们都是有所指或者互相相关的。
通信的语义学方面与工程问题是不相干的。
最要意义是，实际消息是从一组可能的消息中选取的。
由于设计之时并不知道选择是哪个消息，因此设计系统必须要能针对每一个可能的选择来操作，而不是仅仅只针对一个实际选择的消息。
如果在这个集合中的消息的数字是有限的，那么这个数字或者这个数字的单调函数可以视为是一个信息的度量，这个是信息是等概率地从集合中选取一个信息时而产生的。
Hartley指出了最自然地选择是对数函数。
虽然这个定义是非常概括的，当我们考虑消息的统计特性影响和一个连续范围的消息时，在所有的情况下，我都将基本上使用这个对数测量方法。
采用对数测量方法更加便利，这是因为：1.非常实用。
一些重要的工程参数，例如时间，带宽，中继次数等等。
总趋势与可能的数字对数值是线性的。
例如，增加一次中继到一组使得中继的可能状态的数量翻倍。
增加1到这个数的底数为2对数。
双倍时间大概使可能的消息数量平方，或对数的两倍等2.我们凭直觉认为这是比较合理的测方法。
由于我们凭直觉测量方法与通用标准进行线性比较，这是与第（1）密切相关的。
例如，我们觉得两个凿孔卡;应该是一个卡信息存储容量的两倍, 两个相同信道是一个信道发射信息容量的两倍。
通信的数学理论
第 3 页 共 62 页
通信的数学理论
第 I 部分：离散无噪声系统 1. 离散无噪声信道
电传打字机和电报通讯是信息传送离散信道的两个简单例子。 一般来说，离散信道意味着可以通过一个系统， 从一点向另一点传送一个选择序列，而该序列选自一个由基本符号 , … , 组成的有限集合。假定每个符号 的特定持续时间为 秒（对于不同的 ，此持续时间不一定相同，比如电报中使用的点和划）。并不要求在此 系统中能够传送 的所有可能序列；可以仅允许出现特定序列。这些特定序列就是可能出现在该信道中的信 号。因此，在电报中，假定这些符号为：(1) 点，先将线路闭合一个时间单位，然后再断开一个时间单位； (2) 划，线路闭合三个时间单位，然后断开一个时间单位；(3) 字符空，比如将线路断开三个时间单位；(4) 字空，线路断开六个时间单位。我们可以对允许出现的序列设定限制：不允许两个空相邻（因此，如果两个 字符空相邻，则与一个字空相同）。我们现在考虑的问题是，如何度量这样一个信道的信息传输能力。 在电传打字机中，所有符号的持续时间相同，允许出现任何由 32 个符号组成的序列，上面的问题很容易解答。 每个符号表示 5 比特信息。如果系统每秒传送 n 个符号，那自然可以说该信道的容量为 5n 比特/秒。这并不 是说电传信道总是以这一速度传送信息——这是最大可能速率，后面将会看到，实际速率能否达到这一最大 值，取决于向信道馈送信息的信源。 在更一般的情况下，符号的长度不同，而且对允许序列设有限制，我们做出如下定义： 定义：离散信道的容量 C 给出如下： lim
通信的数学理论
(A Mathematical Theory of Communication)
C. E. SHANNON
引言
近来出现了许多以带宽换取信噪比的调制方法，比如 PCM 和 PPM，它们的出现进一步激发了人们对广义通信 理论的兴趣。在奈奎斯特（Nyquist） 和哈特莱（Hartley） 发表的一些重要相关论文中，奠定了这一理论 的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统 计结构和最终信宿的本质而可能减省的内容。 通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。 这些消息通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信 的语义与工程问题无关。重要的是：实际消息是从一个消息集合选出的。所设计的系统必须能够处理任意选 定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。 如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单 调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数 函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但 在所有情况下，我们使用的度量在实质上都是对数函数。 对数度量之所以更为便利，其原因有多种： 1. 它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性 的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求 以 2 为底的对数，则增加一个继电器后，会使结果加 1。使时间加倍，会使可能消息数近似变为原来的 平方，而其对数则是加倍，诸如此类。 2. 它更接近于人类对正确度量的直观认知。这一点与第 1 个原因密切相关，因为人们在对实体进行直觉度 量时，通常是与公共标准进行线性比较。比如，人们认为，两张打孔卡存储信息的容量应当是一张打孔 卡的两倍，两个相同信道的信息传输能力应当是一个信道的两倍。
香农通信的数学原理
香农通信的数学原理
信息的传递是人类社会发展的重要标志之一，而香农通信的数学原理则是信息传递的基础。
香农通信的数学原理是指在信息传递过程中，通过对信息的编码、传输和解码，使得信息能够在不同的媒介中进行传递和处理，从而实现信息的可靠传输和高效利用。
香农通信的数学原理主要包括信息熵、信道容量和编码理论。
信息熵是指信息的不确定性度量，它反映了信息的随机性和复杂性。
在信息传递过程中，信息熵越大，信息的传输和处理就越困难。
因此，信息熵的降低是实现信息传递的关键。
信道容量是指在给定的信道条件下，能够传输的最大信息速率。
它是衡量信道质量的重要指标，也是实现高效信息传输的基础。
编码理论则是研究如何将信息进行编码和解码的理论，它包括信源编码、信道编码和纠错编码等方面。
在实际应用中，香农通信的数学原理被广泛应用于通信、计算机、信息处理等领域。
例如，在通信领域中，通过对信息进行压缩编码和差错校正等处理，可以实现高效的数据传输和可靠的通信连接。
在计算机领域中，通过对数据进行压缩和加密等处理，可以实现数据的安全传输和存储。
在信息处理领域中，通过对信息进行分类、聚类和挖掘等处理，可以实现对信息的高效利用和分析。
香农通信的数学原理是信息传递的基础，它为实现信息的可靠传输和高效利用提供了重要的理论基础和技术支持。
在信息时代，我们需要不断地探索和应用香农通信的数学原理，以推动信息技术的发
展和应用，为人类社会的进步和发展做出更大的贡献。
通信的数学理论
通信的数学理论
信息通信技术是今天社会发展不可缺少的重要组成部分，而数学理论是它的核心。
信息通信是向传播媒体传输信息的技术，可以把信息传输到各个角落，从而实现社会的信息交流。
数学理论是信息通信技术的重要基础，它可以帮助人们提供有效的信息传输方法。
数学理论的核心思想是通过分析和抽象的方法来描述和解决问题，它涉及图论、代数、博弈论等多种数学分支学科。
在信息通信技术中，数学理论主要应用在信号处理和信道建模方面，其中包括信号处理、通信协议和信道建模等。
信号处理主要是从信号源中提取有用信息的过程，它主要使用数学方法和算法，如傅立叶变换、离散傅立叶变换、卷积和滤波等。
通信协议是信息通信技术中的重要组成部分，它用于定义网络中两个系统之间的沟通规则，是信息传输的核心技术。
它主要使用数学方法来描述和研究网络中的通信过程，如协议分层、协议架构、信号编码等。
信道建模是信息通信技术中的重要部分，它描述了网络中信号的传播过程，它主要使用数学方法和算法来描述和分析信号的传播特性，如信道建模、抗干扰技术等。
数学理论是信息通信技术的重要基础，它可以帮助我们更好地理解
信息传输的过程，从而实现更高效的信息传输。
通信的数学基石——信息论
通信的数学基石——信息论引言1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。
文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。
如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。
针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。
《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。
全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。
什么是信息论什么是信息论？信息论就是回答：1）信息是如何被度量？2）如何有效地被传输？3）如果接收到的信息不正确，如何保证信息的可靠性？4）需要多少内存，可实现信息的存储。
所有问题的回答聚集在一起，形成的理论，称为信息论。
总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。
香农三大定理简答
香农三大定理简答香农三大定理是指由数学家克劳德·香农提出的三个基本通信定理，分别是香农第一定理、香农第二定理和香农第三定理。
这三个定理是现代通信理论的基石，对于信息论和通信工程有重要的指导意义。
下面将对这三个定理进行详细的阐述。
1. 香农第一定理：香农第一定理是信息论的基石，提出了信息传输的最大速率。
根据香农第一定理，信息的传输速率受到带宽的限制。
具体而言，对于一个给定的通信信道，其最大的传输速率（即信息的最大传输率）是由信道的带宽和信噪比决定的。
信道的带宽是指能够有效传输信号的频率范围，而信噪比则是信号与噪声的比值。
这两个因素共同决定了信道的容量。
香农提出的公式表示了信道的容量：C = B * log2(1 + S/N)其中，C表示信道容量，B表示信道的带宽，S表示信号的平均功率，N表示噪声的平均功率。
2. 香农第二定理：香农第二定理是关于信源编码的定理。
根据香农第二定理，对于一个离散的信源，存在一种最优的编码方式，可以将信源的信息压缩到接近于香农熵的水平。
香农熵是对信源的输出进行概率分布描述的一个指标，表示了信源的不确定性。
具体而言，香农熵是信源输出所有可能码字的平均码长。
对于给定的离散信源，香农熵能够提供一个理论上的下限，表示信源的信息量。
通过对信源进行编码，可以有效地减少信源输出的冗余度，从而实现信息的高效传输。
香农第二定理指出，对于一个离散信源，其信源编码的最优平均码长与香农熵之间存在一个非常接近的关系。
3. 香农第三定理：香农第三定理是关于信道编码的定理。
根据香农第三定理，对于一个给定的信道，存在一种最优的编码方式，可以通过使用纠错码来抵消由信道噪声引起的错误。
信道编码的目标是在保持信息传输速率不变的情况下，通过增加冗余信息的方式，提高错误纠正能力。
纠错码可以在数据传输过程中检测和纠正一定数量的错误，从而保证数据的可靠性。
香农第三定理指出，对于一个给定的信道，其信道编码可以将信息传输的错误率减少到任意低的水平。
网络通信的排队等待理论
网络通信的排队等待理论在我们日常生活中，网络通信已经成为了必不可少的一部分。
不论是浏览网页、发送电子邮件，还是在线聊天和视频通话，我们都需要依赖网络进行信息传递。
然而，网络通信也面临着一个普遍存在的问题，那就是排队等待。
在网络通信中，当大量的用户同时发送数据包时，就会出现数据传输的排队等待现象。
这导致了网络的拥塞，降低了数据传输的效率。
为了解决这个问题，学者们发展了一些排队等待理论模型，这些模型可以帮助我们理解和优化网络通信的性能。
一、排队论的基本概念排队论是研究排队系统的数学理论。
在网络通信中，数据包的传输可以看作是一个排队系统，而排队论提供了分析和优化这个系统的方法。
排队论中的基本概念包括以下几个要素：顾客、服务设备和排队规则。
顾客代表数据包或请求，服务设备代表网络传输的资源，排队规则则决定了数据包的排队顺序和等待时间。
二、排队论的主要模型1. M/M/1模型M/M/1模型是排队论中最为经典的模型之一，它假设到达时间和服务时间都符合泊松分布，且只有一个服务设备。
在M/M/1模型中，我们可以通过计算顾客的平均等待时间和平均逗留时间来评估排队系统的性能。
这对于网络通信来说非常重要，因为我们可以根据这些指标来判断网络的拥塞程度，从而采取相应的优化策略。
2. M/M/c模型M/M/c模型是在M/M/1模型基础上进行扩展得到的，它允许有多个服务设备同时提供服务。
在M/M/c模型中，我们可以计算出系统中平均的顾客数和顾客的平均等待时间。
这些指标可以帮助我们评估多设备网络通信系统的性能，并进行资源的合理分配和负载均衡。
三、排队论在网络通信中的应用排队论的研究成果在网络通信中有着广泛的应用。
以下是一些例子：1. 流量调度通过排队论模型，可以确定不同流量的优先级和调度方式，从而合理分配网络资源，提高数据传输的效率和服务质量。
2. 延迟优化排队论提供了衡量网络延迟的指标，可以帮助我们优化网络的传输延迟，提升用户体验。
信息与通信工程专业一级学科
信息与通信工程专业一级学科信息与通信工程是一门关于信息传递、处理和网络通信的学科，它涉及到从基础理论到技术应用的广泛领域。
下面将为您提供一些与信息与通信工程专业相关的参考内容。
1. 离散数学：离散数学是信息与通信工程专业的基础学科，它包括图论、布尔代数、概率论和统计学等内容。
离散数学为信息与通信工程的算法设计、信息编码和信息传输提供了理论基础。
2. 信号与系统：信号与系统是信息与通信工程中的重要学科，它涵盖了信号的产生、传输和处理等方面。
学习信号与系统可以帮助理解和设计各种通信系统，如模拟通信系统、数字通信系统等。
3. 通信原理：通信原理是信息与通信工程专业的核心学科，它涵盖了模拟通信原理和数字通信原理两个方面。
学习通信原理可以了解到信号的调制与解调、信道编码与解码以及调制解调器和调制编码器等的原理与应用。
4. 通信网络：通信网络是建立在通信原理基础之上的学科，它包括了局域网、广域网、无线通信网络等各种类型的网络。
学习通信网络可以了解不同网络拓扑结构、路由选择算法、网络性能分析和网络安全等方面的知识。
5. 电磁场与电磁波：电磁场与电磁波是信息与通信工程专业中的重要学科，它涉及到电磁场的概念、电磁波的传播以及天线的原理与设计等内容。
学习电磁场与电磁波可以为无线通信、雷达和遥感等领域的应用提供理论支持。
6. 数字信号处理：数字信号处理是信息与通信工程中关于信号数字化和数字滤波等处理方法的学科。
学习数字信号处理可以掌握数字滤波器的设计与应用、时频分析方法以及功率谱估计等知识。
7. 编码与译码理论：编码与译码理论是信息与通信工程专业中关于信息编码与纠错编码的学科。
学习编码与译码理论可以了解到不同编码与解码算法的原理与特点，以及如何通过编码技术提高通信系统的可靠性和效率。
8. 无线通信：无线通信是信息与通信工程中的重要方向，它包括了移动通信、卫星通信、无线传感器网络等内容。
学习无线通信可以了解到无线通信系统的架构、无线信道的特点与建模以及无线信号处理技术等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通信的数学理论克劳德·香农著近年来的多种调制方法，例如PCM(脉冲编码调制)和PPM(脉冲相位调制)，它们都是通过带宽和信噪比之间的交换，增加了人们对通信普遍理论的兴趣。
在奈奎斯特和哈特莱有关这方面的重要文献奠定了该理论。
在本文中，我们将推广该理论，使它含有一些新的因素，特别是信道中噪声的影响，和利用原始消息的统计结构和最终受信者的性质来改善通信的可能性。
通信的基本间题是在一端精确地或者近似地复现另一端选择的消息，通常这些消息是有意义的。
那就是说它们按照某一系统与特定的物质或概念的实体相互联系。
通信的语义方面与工程间题是没有关系的，重要的方面是一个实际消息是从一组可能的消息集里面选择出来的，系统必须被设计成对所有可能的选择都能工作，而不是只适合工作于某一种选择，因为在设计时这是不知道的。
如果集合中消息的数目是有限的，则这个数目或这个数目的单调函数能被用来作为当一个消息被选出时所产生信息的度量，所有选择都是等概率的，正如哈特莱指出的，最自然的选择是取对数函数。
肃然当我们考虑到消息统计特性的影响和当我们有一组连续的消息，这一定义必须大大的推广。
但是我们在所有的情况下采用本质的对数度量。
对数度量更方便是因为有以下几个原因;1.实用性。
工程上的重要参量，如时间，带宽，中继器的数目等，都趋于随可能数目的对数关系作线性变化。
例如，在一组中继器中增加一个中继器则可能的状态就增加1倍。
这个数目以2为底的对数加1,时间加倍使得消息的数目成平方增加或是数目对数的2倍。
2.相对于合适的度量，对数更直观。
这与(1)密切相关，因为我们用与普通标准进行线性比较的方法来直观地测量事物。
例如，我们感觉两张凿孔卡应该具有两倍于一张凿孔卡的信息量，两个完全相同的信道信息容量是一个信道的一倍。
3.它在数学上更合适。
很多极限运算在对数方面要简单的多，但如果用可能性的数目那就要求笨拙的重述。
对于对数基底的选择与信息度量的单位选择相一致。
当基底是2时，所得到的单位可称为比特，这个字由TUKEY建议的，一个双稳态设备，如中继器或者触发器，能存储一个二进制单位的信息，N个双稳态设备就可以存储N比特，因为可能状态的总数为，而。
如果取基底为10，则单位被称为十进制。
因为故一个十进制单位约为个二进制单位。
一架台式计算机有十个稳定状态，因此有一个十进制单位的信息存储量。
在含有积分和微分的分析计算中，有时候取基底e，所以所得的单位叫自然单位，把基底a换为基底b仅仅需要乘以就可以。
通信系统可以用图1表示，它包含五个基本部分;图1;一般通信系统的示意图1.信息源。
它产生将要传输给接收端的消息或消息序列。
消息可以有各种类型;(a)在电报通信系统中的一系列字母。
(b)如电话或无线电中的单独时间函数f(t)(c)如黑白电视中的时间函数和其它变量，在这里，消息可以看成是二维空间和时间函数f(x,y,t)，即在t时刻摄像管上(x,y)点的光。
(d)两个或更多个时间函数f(t)，g(t)，h(t)。
例如在彩色电视中消息是由三个所谓的三维连续函数f(x,y,t)，g(x,y,t)，h(x,y,t)，组成的，我们可以把这三个函数定义为在这个区域上的矢量场的分量。
同样，几个黑白电视源可以产生由几个三变量的函数所组成的消息。
(f.)各种情况的组合，例如在电视中配有声音信道。
2.发送机。
它是采用某种方法把消息变换为适合于信道上传输的信号。
在电话中，这个工作就是把声压编程相应的电流。
在电报中，这个工作就是把消息变换为点，划，间隔序列的编码工作。
在多路脉冲编码调制系统中，不同的语言函数必须经过取样，压缩，量化和编码，而且最最后构成交叉信号。
除此之外把消息变成相应信号的例子还有自动语音合成系统，电视和调频等。
3.信道。
它是发送机到接收机之间用以传输信号的媒质。
它可以是一对导线，一条同轴电缆，一段射频的频带，一束光线等等。
在传输过程中，或在某一个端点上，信号都可能被噪声所干扰，这种噪声干扰的作用可以看做一个噪声源作用在所传输的信号上构成接收机的信号，如图1所示。
4.接收机。
它通常完成与发送机相反的工作，把信号重新构成消息。
5.消息收受者。
是接受消息的人或物。
我们将研究关系到通信系统的某些一般间题。
为此，首先必须通过理想化，把各单元用数学来表示。
我们可以粗略地把通信系统划分为三个主要类型;离散的，连续的和混合的。
离散系统指的是消息和信号都是离散符号的序列。
典型的情况是电报，其中，消息是字母序列，而信号是点，划和间隔的序列。
在连续系统中，信号和消息都是连续函数，例如无线电话和电视。
在混个系统中，离散的和连续的变量都有，例如传输语言的脉冲编码调制系统。
我们首先研究离散情况。
这种情况不但可用于信息论，而且也可用于计算机理论，电话交换的设计以及其他场合。
此外离散情况也是研究连续和混合情况的基础，后者将在本文后半部分讨论。
第一部分无噪声的离散系统1.无噪声的离散信道电报和电传打字机是用来传输离散信息的两个简单例子。
通常指的离散信道是这样一种系统;它能把选自有限基本符号集合的序列从一方传输到另一方。
假设每个符号熟持续时间为持续的时间为秒（不同的，其t:不一定相同，例如电报中的点和划)。
其实，并不要求所以可能的符号序列都能在系统上传输，而只要求某些序列能够获得传输，这就是对信道的可能的信号。
在电报中假设基本符号是;(1)点，它是由一个单位时间的线段和一个单位时间的间歇所组成;(2)划，它是由三个单位时间的线段和一个单位时间的间歇所组成;(3)字母间隔，它是由三个单位时间的间歇组成;(4)单词间隔，它是由六个单位时间的间歇组成。
我们可以对序列加以限制，即不允许有间隔相连的情况，因为两个字母间隔连在一起时会变成一个单词间隔。
现在我们要考虑的间题是，采用怎样的方法来度量这种信道的容量(或称为信道的传输能力)。
在打字电报，所有的符号都具有相同的持续时间，并且由32个符号所构成的任何序列都被允许传输。
每个符号都代表五个二进制单位的信息。
如果系统每秒能传输T1个符号，则可以自然地认为此信道具有每秒5n个二进制单位的容量。
这并不是说，打字电报信道经常能以这个速率传输信息，这是最大可能的速率，实际上未必能达到这个最大值，下面将谈到，它取决于信道输入端上的信息源。
在一般的情况中，各符号有不同的长度，并且允许的序列是有限制的，我们可以给出下面的定义;离散信道的容量C为其中N(T)是时间间隔T内允许信号的数目。
很容易看出，在打字电报中这将简化为前面的结果。
可以证明，在大多数情况中，极限是存在的。
假设符号的所有序列都是允许的，并且这些符号的持续时间为那么这种信道的容量是多少呢?如果N(T)表示t时间内序列的数目，则即这个总数等于终端符号为的序列数目的综合，并且这些数分别为;根据有限差分运算，在t很大时，N(t)就渐近于是下列特征方程式的最大实数解; 故该信道的容量为;当允许的符号序列有限制时，仍然经常可以得到这种形式的差分方程式，并可以从特征方程式求得C例如，在上述的电报情况下，则;这正和按最后一个符号或最后第二个符号计算符号序列的结果一样。
所以C为，其中是的正根。
解上式，得C=0.539。
下面是允许序列的一般限制形式。
我们假想有一系列可能的状态。
在每个状态下，只有集合中的某些符号可以被传输(这些是不同状态的不同子集)。
当其中某一符号被传输后，状态就转变为新的状态。
电报情况就是一个简单例子。
它有两个状态，取决卜终端符号是否是间隔。
如果是间隔的话，那么下一个传输的只能是点或划这两个符号，并且状态总发生变化。
如果不是间隔，那么任何符号都可以传输，而且状态只能传输间隔符号后才会转变，否则状态不变。
所有这些都可用图2来表示。
图中结点代表状态，而线条则表示一状态中的可能符号和它即将转成的状态。
在附录I中将证明，如果加在允许序列上的条件可以用这种形式来阐述时，那么信道容量C将存在，并可用下列定理来计算;定理1;设是第个符号的长度，这个符号的‘状态是可允许的，并且将转移到J状态，则信道容量C等于logW，其中W为下列行列式方程式中的最大实数根;如果i=j，则其中;如果，则。
例如，在电报情况下(图2)，其行列式为;展开这个行列式将可得到上面那个限制方程式。
2.离散信息源我们已经看到，在很普遍化的条件下，离散信道中的可能信号数目的对数将随时间作线性增长。
因此传输信息的容量可由这个增长速率来确定，即对某一信号需要每秒多少个二进制单位数。
现在我们来讨论信息源。
怎样利用数学来描述信息源?一个给定的信息源究竟能产生多少个二进制单位的信息?本文的要点在于研究在采用合理的编码以减少对信道容量要求方面，有关信息源的统计知识有什么作用。
例如，在电报中。
所传输的消息是由字母序列组成的，但是这些序列并不是完全随机的。
通常，它们构成句子而且还是有统计结构例如英文统计结构的句子。
字母E的出现要比Q经常的多，序列TH的出现要比XP出来的多等等。
这种统计结构的存在，允许我们采用合理的编码来节省时间(或信道容量)。
其实，这种措施在电报中，已经在一定程度上被采用了。
它用最短的信道符号一点来代表最常用的字母E,而不常用的字母Q，X，Z，等则用较长的点划序列来表示。
这种概念在某些商用电码中得到了进一步的改进，它采用四个到五个字母所组成的码组来表示最常用的单词和短语，因而大大地节省了平均时间。
现用标准化的间候语和节日贺电中则更简化到整个一句话或两句话用很短的一个数字序列的编码来表示。
可以这样设想，离散源是一个符号接着一个符号地产生消息的。
连续符号的选择是根据某些概率，通常这些概率取决于前面符号的选择及待选择的符号。
任何一个能产生由一组概率控制的符号序列的物理系统或物理系统的数学模型都可以称为随机过程。
因此，我们可用随机过程来表示离散源。
反过来，任何从有限集中选择符号而产生离散符号序列的随机过程都可看成离散源。
这包括下列一些情况;1.自然语言如英语，德语，汉语。
2.经过某些量化处理而离散化的连续信息源。
例如，在脉冲编码调制发送机中量化以后的语言，或量化以后的电视信号。
3.在数学上抽象定义的随机过程，该随机过程能够产生序列。
下面是最后一种信息源的例子。
(A)设有五个字母A,B,C,D,E，各以概率U.2独立选取，这样就会导致如下典型序列;BDCBCECCCADCBDDAAECEEAABBDAEECACEEBAEECBCEAD.这个例子是用随机数表构成的。
(B)采用同样五个字母，令概率依次为U.4 , U.1 , U.2 , U.2 , U.1，各个字母的选择仍是独立的，那么从这种源得到的典型消息为;AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD.(C)如果前后字母的选择是不独立的，它们的概率还取决于前面的字母则就得到一个比较复杂的结构。