1.3 信息及其度量
通信原理讲义
通信原理讲义第一章绪论1．1 通信系统的组成１.1．1 通信一般系统模型点对点通信模型:反映了通信系统的共性。
1．1．2 模拟通信与数字通信●消息可以分成两类ﻩﻩ离散消息：消息的状态是可数的或离散型的（如符号、文字等）,也称为数字消息。
连续消息：状态连续变化的消息（如语音、图像）,也称为模拟消息。
●消息与电信号之间必须建立单一的对应关系。
通常,消息被载荷在电信号的某以参量上。
ﻩﻩ数字信号:电信号的参量携带离散消息，该参量离散取值。
模拟信号:电信号的参量携带连续消息，参量连续取值。
●相应的通信系统分成两类ﻩ数字通信系统ﻩﻩ模拟通信系统●模拟信号与数字信号之间可以相互转换在信息源中使用模-数（数-模)转换器,接受端使用数－模（模－数)转换器。
●数字通信比模拟通信更能适应对通信技术越来越高的要求（1）数字传输的抗干扰能力强，中继时可以消除噪声的积累；（2）传输差错可以控制；（3）便于使用现代数字信号处理技术对信息进行处理；（4） 易于加密处理;（5） 可以综合传递各种消息,增强系统功能。
● 模拟通信系统模型（点对点）基带信号：携带信息，但具有频率很低的频谱分量,不适宜传输的原始电信号。
已调信号：基带信号经过调之后转换成其频带适合信道传输的信号，也称频带信号。
调制器:将基带信号转变为频带信号的设备。
解调器：将频带信号转变为基带信号的设备。
模拟通信强调变换的线性特性,既已调参量与基带信号成比例。
● 数字通信系统模型（点对点） 强调已调参量与基带信号之间的一一对应。
数字通信需要解决的问题:（2） 编码与解码：通过差错控制编码消除噪声或干扰造成的差错; （3） 加密和解密：对基带信号进行人为“搅乱”；（4） 同步:发送和接收节拍一致,包括：位同步（码元同步)和群同步、帧同步、句同步或码组同步。
数字通信模型:同步环节的位置不固定,图中没有出现。
消息消息数字基带传输模型：● 数字通信的缺点 比模拟通信占据更宽的频带。
通信原理期末考试复习重点总结(完整版)
通信原理期末考试复习重点总结(完整版)work Information Technology Company.2020YEAR《通信原理》考试重要知识点第1章绪论掌握内容：通信系统的基本问题与主要性能指标；模拟通信与数字通信；信息量、平均信息量、信息速率。
熟悉内容：通信系统的分类；通信方式。
了解内容：通信的概念与发展；1.1---1.3 基本概念1、信号：消息的电的表示形式。
在电通信系统中，电信号是消息传递的物质载体。
2、消息：信息的物理表现形式。
如语言、文字、数据或图像等。
3、信息：消息的内涵，即信息是消息中所包含的人们原来不知而待知的内容。
4、数字信号是一种离散的、脉冲有无的组合形式，是负载数字信息的信号。
5、模拟信号是指信号无论在时间上或是在幅度上都是连续的。
6、数字通信是用数字信号作为载体来传输消息，或用数字信号对载波进行数字调制后再传输的通信方式。
它可传输电报、数字数据等数字信号，也可传输经过数字化处理的语声和图像等模拟信号。
7、模拟通信是指利用正弦波的幅度、频率或相位的变化，或者利用脉冲的幅度、宽度或位置变化来模拟原始信号，以达到通信的目的。
8、数据通信是通信技术和计算机技术相结合而产生的一种新的通信方式。
9、通信系统的一般模型10、按照信道中传输的是模拟信号还是数字信号，可相应地把通信系统分为模拟通信系统和数字通信系统。
11、模拟通信系统是传输模拟信号的通信系统。
模拟信号具有频率很低的频谱分量，一般不宜直接传输，需要把基带信号变换成其频带适合在信道中传输的频带信号，并可在接收端进行反变换。
完成这种变换和反变换作用的通常是调制器和解调器。
12、数字通信系统是传输数字信号的通信系统。
数字通信涉及的技术问题很多，其中主要有信源编码/译码、信道编码/译码、数字调制/解调、数字复接、同步以及加密等。
13、数字信道模型14、通信系统的分类1 、按通信业务分类分为话务通信和非话务通信。
2、根据是否采用调制，可将通信系统分为基带传输和频带（调制）传输。
通信原理第一章
任何人、任何时候在任何地方以任意的方式进行通信。
1.1.1 通信系统的一般模型（主要培养全局系统的概念） 通信: 从一地向另一地传递和交换信息。
通信系统：实现信息传递所需的一切技术设备和传输媒质基于点与点之间的通信系统的模型用图1 -1 来描述。
送设备信道接收设备受信者噪声源接收端信息源：消息的产生地，其作用是把各种消息转换成原始电信号，称之为基带信号。
包括：电话机、电视摄像机和电传机、计算机等。
前者是模拟信源，输出模拟信号；后者是数字信源，输出数字信号。
发送设备：将信源和信道匹配起来，即将信源产生的消息信号变换成适合在信道中传输的信号。
变换方式是多种多样的，比如：放大、调制、编码等等； 信道：指传输信号的物理媒质。
包括：大气（自由空间）、明线、电缆或光纤。
模拟信号：凡信号参量的取值是连续的或取无穷多个值的，且直接与消息相对应的信号。
数字信号：凡信号参量只能取有限个值，并且常常不直接与消息相对应的信号。
通信系统分为模拟通信系统+数字通信系统。
1. 模拟通信系统模型图1-4 模拟通信系统模型信息源调制器信道解调器受信者噪声源课程重点调制器：原始基带信号变换成适合信道传输的信号；从信号与系统的角度：调制器=频带搬移。
调制后的信号称为已调信号、频带信号。
已调信号有三个基本特征：一：携带有完整的基带信息二：适合在信道中传输三：信号的频谱具有带通形式且中心频率远离零频，因而已调信号又称频带信号。
信道编译码 数字信号在信道传输时，由于噪声、衰落以及人为干扰等，将会引起差错。
为了减少差错，信道编码器对传输的信息码元按一定的规则加入保护成分（监督元），组成所谓“抗干扰编码”。
接收端的信道译码器按一定规则进行解码，从解码过程中发现错误或纠正错误，从而提高通信系统抗干扰能力，实现可靠通信。
作用：提高通信系统抗干扰能力。
数字调制与解调 把数字基带信号的频谱搬移到高频处，形成适合在信道中传输的频带信号。
基本的数字调制方式有振幅键控ASK、频移键控FSK、绝对相移键控PSK、相对（差分）相移键控DPSK。
通信系统的组成模型
• 信息源给出的是模拟语音信号时，信 源编码器将其转换成数字信号，以实 现模拟信号的数字化传输。
2） 信道编码与译码
为了减少差错，信道编码器对传输的信 息码元按一定的规则加入保护成分（监 督元），组成所谓“抗干扰编码”。接 收端的信道译码器按一定规则进行解码， 从解码过程中发现错误或纠正错误，从 而提高通信系统抗干扰能力，实现可靠 通信。
连续信号及其抽样
f (t )
O (a ) f (nT ) PAM 信号
t
O (b )
t
离散信号及其连续载波调制
f (nT )
1 O
0 0
1
1 0 1 (a )
1
1 0
0 1
t
数字信 息 PSK 波形
0
0
1
1
1
0
0
1
(b )
模拟通信系统模型
• 信源发出的是基带信号，具有频率很低的频谱 分量， 一般不宜直接传输。把基带信号变换成
返回
1.2 通信系统的组成模型
通信系统的一般模型
通信的目的是传输消息。 实现消息传递所需的一切设备和传输媒 质的总和称为通信系统。 基于点与点之间的通信系统的一般模型 可用图 1 - 1 来描述。
通信系统的一般模型
发送 设备 接收 设备
信源
信道 干扰源
信宿
返回
信源
• 定义——产生消息的来源。 • 作用——把各种消息转换成原始电信号。 • 距离——电话机、摄像机、电传机、计算 机等。 • 分类———模拟信源、数字信源
返回
发送设备
• —— 信源产生的消息信号变换成适合在 信道中传输的信号使信源和信道匹配。 发送设备的变换方式是多种多样的，在 需要频谱搬移的场合，调制是最常见的 变换方式。对数字通信系统，发送设备 常常又包括编码器与调制器。
信息及其度量
第1章 绪论
I = log a
1 = log a P( x ) P( x)
– 上式中对数的底： 若a = 2，信息量的单位称为比特(bit) ，可简记为b 2，信息量的单位称为比特(bit) ，可简记为b 若a = e，信息量的单位称为奈特(nat)， ，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特莱(Hartley) 。 10，信息量的单位称为哈特莱(Hartley) – 通常广泛使用的单位为比特，这时有
I 108 I= = = 1.89 每个符号的算术平均信息量为 (比特 / 符号） 符号数 57
第1章 绪论
若用熵的概念来计算：
3 3 1 1 1 1 1 1 H = log 2 log 2 log 2 log 2 8 8 4 4 4 4 8 8 = 1.906 （比特/ 符号）
则该消息的信息量
【解】此消息中，“0”出现23次，“1”出现14次，“2” 此消息中，“ 出现23次，“ 出现14次，“ 出现13次，“ 出现7次，共有57个符号，故该消息的 出现13次，“3”出现7次，共有57个符号，故该消息的 信息量
I = 23log2 8 / 3 + 14 log2 4 + 13log2 4 + 7 log2 8 = 108 (b)
– 模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端最终输出信噪比来度量。
第1章 绪论
– 数字通信系统 有效性：用传输速率和频带利用率来衡量。
– 码元传输速率RB：定义为单位时间（每秒）传送码元的数 1 R B = ），简记为B。 目，单位为波特（Baud ( B) 目，单位为波特（Baud），简记为B T 式中T － 码元的持续时间（秒） – 信息传输速率Rb：定义为单位时间内传递的平均信息量或 比特数，单位为比特/ 比特数，单位为比特/秒，简记为 b/s ，或bps ，或bps
管理信息系统第七版(-第1章)信息系统与管理
2022/1/28
第一章 信息系统与管理
6
1.3信息的度量
利用概率度量
• 数据资料中含信息量的多 少是由消除对事物认识的
示例 • 例如，现在某甲到1 000人的学校去找某乙，这时，在
某甲的头脑中，某乙所处的可能性空间是该学校的1000
“不确定程度”来决定的。
人。当传达室告诉他：“这个人是管理系的”，而管理
——姜旭平.信息系统开发方法.北京:清华大学出版社,1997.10
信息处理
信息传输
信息处理
• 信息处理系统对数据进行 处理，使它获得新的结构 与形态或者产生新的数据。
• 比如计算机系统就是一种 信息处理系统，通过它对 输入数据的处理可获得不 同形态的新的数据。
信息传输
• 信息传输系统不改变信息本身的内容， 作用是把信息从一处传到另一处。
信息管理
2022/1/28
全球经济一体化和知识经济到来
第一章 信息系统与管理
知识管理
8
本章内容
• 第一节 信息及其度量 • 第二节 信息系统的概念及发展 • 第三节 信息系统及管理 • 第四节 管理信息系统面临的挑战 • 第五节 信息系统的伦理
2022/1/28
第一章 信息系统与管理
9
2.1系统和信息系统
说明
• 在这种单位制度下，信息量的定义公式可写成：
H(x)＝–∑P(Xi) log2 P(Xi)
i＝1, 2, 3,•••, n
这里Xi代表第i个状态（总共有n个状态），P(Xi)代表出
现第i个状态的概率，H(x)就是用以消除这个系统不确定性
所需的信息量。
示例
• 例如硬币下落可能有正反两种状态，出现这两种状态的
通信原理 第1章
缺点： 缺点：
需要较大的传输带宽 对同步要求高
第1章 绪论 章
1.3 通信系统分类与通信方式
1.3.1 通信系统的分类
按通信业务分类：电报通信系统、电话通信系统、数据 按通信业务分类：电报通信系统、电话通信系统、 通信系统、 通信系统、图像通信系统 … … 按调制方式分类：基带传输系统和带通（频带或调制） 按调制方式分类：基带传输系统和带通（频带或调制） 传输系统
1.1 通信的基本概念
实现通信的方式和手段： 实现通信的方式和手段： 非电的：如烽火台、 旌旗、消息树… 非电的：如烽火台、 旌旗、消息树 电的：如电报、电话、广播、电视、遥控、 电的：如电报、电话、广播、电视、遥控、 遥测、因特网和计算机通信等。 遥测、因特网和计算机通信等。
1.1 通信的基本概念
1.3 通信系统分类与通信方式
串行传输 ：将数字信号码元序列以串行方式一个码元接 一个码元地在一条信道上传输
优点：只需一条通信信道， 优点 只需一条通信信道，节省线路铺设费用 只需一条通信信道 缺点：速度慢 速度慢， 缺点 速度慢，需要外加码组或字符同步措施
其他分类方式： 其他分类方式：
同步通信和异步通信； 同步通信和异步通信；专线通信和网通信
在工程应用中，习惯把一个二进制码元称作 比特 在工程应用中，习惯把一个二进制码元称作1比特 。
1.4 信息及其度量
若有M个等概率波形（ ），且每一个波形的出现 若有 个等概率波形（P = 1/M），且每一个波形的出现 个等概率波形 ）， 是独立的，则传送 进制波形之一的信息量为 是独立的，则传送M进制波形之一的信息量为
1.2 通信系统的组成
信道：将来自发送设备的信号传送到接收端的物理媒质。 信道：将来自发送设备的信号传送到接收端的物理媒质。 是信号传输的通道，分为有线信道和无线信道。 是信号传输的通道，分为有线信道和无线信道。 噪声源：集中表示分布于通信系统中各处的噪声。 噪声源：集中表示分布于通信系统中各处的噪声。 接收设备：从受到减损的接收信号中正确恢复出原始电信号。 接收设备 从受到减损的接收信号中正确恢复出原始电信号。 从受到减损的接收信号中正确恢复出原始电信号 受信者（信宿）：把原始电信号还原成相应的消息， 受信者（信宿）：把原始电信号还原成相应的消息，如扬声 ）：把原始电信号还原成相应的消息 器等。 器等。
考研西北工业大学《825通信原理》强化精讲 绪论
5
1.2.2 模拟通信系统
是利用模拟信号来传递信息的通信系统。可由一般通信系 统模型略加改变而成。
1.研究的问题
（1）模拟通信系统中两种重要变换： 消息←→原始电信号（基带信号） 调制信号（基带信号） ←→已调信号（频带信号） （第5章） （2）信号受噪声干扰的影响－－噪声背景下的信号传输。 （第3、4章）
接 收 方
优点：只需一条信道、设备简单、传输距离远。 缺点：速度慢，需要外加码组或字符同步措施。
16
并行传输：将代表信息的数字信号码元序列以成组的 方式在两条或两条以上的并行信道上同时传输。
同时发送8比特
0 1 1 0 1 1 0 0
发 送 方
接 收 方
优点：节省传输时间，速度快，不需要字符同步措施。 缺点：需要 n 条信道，设备复杂、成本高、传输距 离近。
RbM RBM log 2 M kRBM
Rb 2 RB 2 log 2 2 RB 2
28
4.多进制与二进制传输速率之间的关系
（1）码元速率不变，二进制信息速率与多进制信息速率之 间的关系：
RbN RBN log2 N RB 2 log2 N log2 N Rb 2
解决问题：模拟信源、数字通信系统如何对接。 模型：
关键：模拟信号数字化及其反之。 A/D转换器组成：抽样、量化、编码。 发端将模拟信号数字化，即进行A/D转换；
接收端需进行相反的转换，即D/A转换。
13
1.2.4
数字通信的主要特点
1. 优点
（1）抗干扰能力强； （2）差错可控； （3）易于加密处理，且保密性好； （4）便于处理、变换、存储； （5）便于将来自不同信源的信号综合到一起传输； （6）易于集成，使通信设备微型化，重量轻。
通信原理章节题目
解：由于每个像素等概率出现16个亮度等级，故每个像素包含
的信息量为： Ii log2 16 4 bit
6 7 I 3 10 log 16 1.2 10 bit 一幅彩色图片包含的总信息量为： 2
要求3分钟传完该图片，故信道的信息传送速率为：
R (1.2 107 ) (3 60) 6.67 104 bit / s
（2）量化误差 量化值为：1024+64*3 量化误差=样值-量化值=54Δ
(3)11位均匀量化码的输出: 10011000000
[例2] 采用13折线A律编码,设最小的量化级 为1个单位.已知抽样脉冲值为-138单位.试求: (1).此时编码器输出码组 (2).计算量化误差 (3).写出该7位码对应的11位均匀量化码
因为信息传输速率R 必须小于或等于信道容量C，取
C R 6.67 104 bit / s
又知信道中的信噪比为30dB，即 S/N＝1000，所以 由香农公式，得到所需的信道带宽为
B C log2 1 S N (6.67 104 ) log2 11000 6.67 103 Hz
已知PCM码组8位编码为01110101,求量化电平。—译码 例3
【解】： c7 c6 c5 c4 c3 c2 c1 c0
极 性 （1）极性码C 码7： 段落码 段内码
∵ C7 ＝0 ∴输入信号为负电平（-） ∵幅度码 C6 C5 C4 ＝111 ∵ C3 C2 C1 C0＝0101
（2）段落码C6 ～C4： （3）段内码C3～C0：
6. 什么是奈奎斯特速率和奈奎斯特带宽？此时的频带利用 率是多大？
R B B N 2 ( Bd Hz)
7. 什么是眼图？（答案）
信息及其度量
若a = e，信息量的单位称为奈特(nat) 若 a = 10，信息量的单位称为哈特莱(Hartley)
通常广泛使用的单位为比特，这时有：
1 I log 2 log 2 P( x) P( x)
3.度量信息的方法
（3）P(x) = 1时，I ＝ 0； P(x) = 0时，I ＝ ；
I [ P( x1 ) P( x2 )] I [ P( x1 )] I [ P( x2 )]
满足上述3条件的关系式如下：
1 I loga loga P( x) P ( x)
－信息量的定义
3.度量信息的方法
3.度量信息的方法
信息量是消息出现概率的函数； 消息出现的概率越小，所包含的信息量就越大；
设： P(x) － 消息发生的概率
I － 消息中所含的信息量，
则 P(x) 和 I 之间应该有如下关系：
（1） I 是 P(x) 的函数： I ＝I [P(x)]
（2）P术》课程
信息及其度量
目 录
01 02
基本概念 度量信息的原则
03
度量信息的方法
1.最佳接收准则
信 息
消息中包含的有意义的内容。
不同形式的消息，可以包含相同的信息。
信息量
信源的不肯定度就是信源提供的信息量。 传输信息的多少用信息量表示。
2.度量信息的原则
度量信息量的原则：
能度量任何消息，并与消息的种类无关； 度量方法应该与消息的重要程度无关； 消息中所含信息量和消息内容的不确定性有关； 如：一条概率几乎为零的消息（太阳将从西方升起）将会使人 感到惊奇和意外，而一个必然事件（如太阳从东方升起），人们不 足为奇，前一条比后一条包含了更多的信息。 这表明：消息所表达的事件越不可能发生，信息量就越大。
信息及其度量
传送M进制波形之一的信息量为：
I=－log2 1／M =log2 M(bit)
(1.3 - 3)
式中， P为每一个波形出现的概率， M为传送的波形数。
若M是2的整幂次，比如M=2K（K=1，2，3， …），则式
(1.3 - 3)可改写为
I=log2 2K=K (bit)
RB2=RBMlog2 M (B) 信息传输速率Rb简称传信率，又称比特率等。它表示单位 时间内传递的平均信息量或比特数，单位是比特/秒，可记为 bit/s ，或 b/s ，或bps。 每个码元或符号通常都含有一定 bit数的信息量，因此码元速率和信息速率有确定的关系，即
显然， 在二进制中有 Pb=Pe
下面举例说明信息量的对数度量是一种合理的度量方法。
例 1 – 1 设二进制离散信源， 以相等的概率发送数字0或1，则信
源每个输出的信息含量为:
I(0)=I(1)=log2 1／0.5 =log22=1 (bit) (1.3 - 2) 式中, K是二进制脉冲数目，也就是说，传送每一个M （M=2K）进制波形的信息量就等于用二进制脉冲表示该波形所 需的脉冲数目K。
(1.3 - 4)
如果是非等概情况，设离散信源是一个由n个符号组成的 符号集，其中每个符号xi(i=1, 2, 3, …, n)出现的概率为P(xi)， 且 有∑P(xi)=1, 则x1, x2, …, xn 所包含的信息量分别为-log2 P(x1), -log2 P(x2)， …，-log2 P(xn)。于是，每个符号所含信息量的统 计平均值，即平均信息量为：
可见，传送等概率的二进制波形之一（P=1/2）的信息量 为1比特。同理，传送等概率的四进制波形之一（P=1/4）的 信息量为2比特，这时每一个四进制波形需要用2个二进制脉 冲表示；传送等概率的八进制波形之一（P=1/8）的信息量为 3比特，这时至少需要3个二进制脉冲。
信源模型及信息的度量(P-1补充)-2015
p( yi ) p( xi / y j ) log p( xi / y j )
定义：在联合集XY上，条件自信息量 I ( xi / y 的概率加权平均值 j)
1、观察到 y j 后，对 xi 保留的不确定性（非平均不确定性）
I ( xi / y j ) log p( xi / y j )
2、观察到 y j 后，对整个信源集合X保留的平均不确定性
H ( X / y j ) E X I ( xi / y j ) E X log p( xi / y j ) p( xi / y j ) log p( xi / y j )
i 1 q
3、观察到Y后，对整个信源集合X保留的平均不确定性
信源模型及信息的度量
1.1 1.2 1.3 1.4 1.5 1.6 信源模型及分类 不确定性与信息量 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
§1.1 信源模型及分类
什么是信源？
在信息论中，信源是产生消息（符号）、消息序 列以及连续消息的来源；
数学上，信源是产生随机变量X、随机序列X和 随机过程X(t,ω)的源。
, an a2 , X a1 , P( x) P(a ), P(a ), , P(a ) n 1 2
, bm b2 , Y b1 , P( y) P(b ), P(b ), , P(b ) 1 m 2
，
Y=[b1=0，b2=1]，其中概率转移矩阵为[P(Y|X)]
p(b1 | a1 ) P(Y / X ) p(b1 | a2 )
p(b2 | a1 ) 0.8 0.2 p(b2 | a2 ) 0.2 0.8
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 1 章 绪论
综上所述， 信息量I与消息出现的概率P(x)之间的关系
应为
I
loga
1 p(x)
loga
P(x)
(1.3 - 1)
信息量的单位与对数底数a有关。a=2时， 信息量的单 位为比特(bit)；a=e时，信息量的单位为奈特(nit)；a=10时， 信息量的单位为十进制单位，叫哈特莱。目前广泛使用的单 位为比特。
H(x)=—P(x1)［log2P(x1)］—P(x2)［log2P(x2)］ +…—P(xn)［log2 P(xn)］
n
= p(xi ) log2 p(xi )(bit / 符号） i 1
由于H同热力学中的熵形式一样，故通常又称它为信 息源的熵，其单位为bit/符号。信息源的最大熵，发生在 每一个符号等概率出现时。
第 1 章 绪论
1.3信息及其度量
前已指出，信号是消息的载体，而信息是其内涵。任何 信源产生的输出都是随机的，也就是说，信源输出是用统计 方法来定性的。对接收者来说，只有消息中不确定的内容才 构成信息；否则，信源输出已确切知晓，就没有必要再传输
它了。因此，信息含量就是对消息中这种不确定性的度量。
首先，让我们从常识的角度来感觉三条消息： ① 太阳从 东方升起；② 太阳比往日大两倍； ③ 太阳将从西方升起 。 第一条几乎没有带来任何信息， 第二条带来了大量信息，第 三条带来的信息多于第二条。
第 1 章 绪论
连续信号的信息量
关于连续消息的信息量可以用概率密度函数来 描述。可以证明，连续消息的平均信息量为
H (x)
f
x loga
f
xdx
式中，f (x) － 连续消息出现的概率密度。
(1.3 - 3)
式中， P为每一个波形出现的概率， M为传送的波形数。
若M是2的整幂次，比如M=2K（K=1，2，3， …），则式
(1.3 - 3)可改写为
I=log2 2K=K (bit)
(1.3 - 4)
式中, K是二进制脉冲数目，也就是说，传送每一个M （M=2K）进制波形的信息量就等于用二进制脉冲表示该波 形所需的脉冲数目K。
3 8
1 4
log2
1 4
பைடு நூலகம்
1 8
log2
1 8
1.906(bit / 符）
则该消息的信息量为
I=57×1.906=108.64(bit)
第 1 章 绪论
可见，两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 而且随着消息序列长度的增加， 两种计算误差将趋于零。
以上我们介绍了离散消息所含信息量的度量方法。 对于 连续消息，信息论中有一个重要结论，就是任何形式的待传 信息都可以用二进制形式表示而不失主要内容。抽样定理告 诉我们：一个频带受限的连续信号，可以用每秒一定数目的 抽样值代替。而每个抽样值可以用若干个二进制脉冲序列来 表示。因此，以上信息量的定义和计算同样适用于连续信号。
现7次，共有57个符号，故该消息的信息量为
I
23 log 2
8 3
14 log2
4 13log2
4
7 log2
8
108(bit)
第 1 章 绪论
每个符号的算术平均信息量为
I
I 符
108 57
1.89(bit
/
符）
若用熵的概念来计算， 由式（1.3 - 5）得
H
3 8
log2
第 1 章 绪论
究其原因，第一事件是一个必然事件，人们不足为奇； 第三事件几乎不可能发生，它使人感到惊奇和意外，也就是 说，它带来更多的信息。因此，信息含量是与惊奇这一因素 相关联的，这是不确定性或不可预测性的结果。 越是不可预 测的事件， 越会使人感到惊奇，带来的信息越多。
根据概率论知识，事件的不确定性可用事件出现的概率 来描述。可能性越小，概率越小；反之，概率越大。因此， 消息中包含的信息量与消息发生的概率密切相关。消息出现 的概率越小，消息中包含的信息量就越大。假设P(x)是一个
消息发生的概率，I是从该消息获悉的信息，根据上面的认知， 显然I与P(x)之间的关系反映为如下规律：
第 1 章 绪论
（1） 信息量是概率的函数， 即 I=f［P(x)］
（2） P(x)越小， I越大； 反之， I越小， 且 P(x)→1时， I→0 P(x)→0时， I→∞
（3） 若干个互相独立事件构成的消息， 所含信息量等于 各独立事件信息量之和，也就是说，信息具有相加性， 即
制脉冲表示；传送等概率的八进制波形之一（P=1/8）的信
息量为3比特，这时至少需要3个二进制脉冲。
第 1 章 绪论
综上所述，对于离散信源，M个波形等概率（P=1/M）
发送，且每一个波形的出现是独立的，即信源是无记忆的，
则传送M进制波形之一的信息量为
1
1
I log2 P log2 1/ M log2 M (bit)
第 1 章 绪论
[例1–1] 设二进制离散信源，以相等的概率发送数字0
或1，则信源每个输出的信息含量为
I
(0)
I
(1)
log2
1 1/ 2
log2
2
1(bit)
(1.3 - 2)
可见，传送等概率的二进制波形之一（P=1/2）的信息
量为1比特。同理，传送等概率的四进制波形之一（P=1/4）
的信息量为2比特，这时每一个四进制波形需要用2个二进
第 1 章 绪论
例 1 - 2一离散信源由0，1，2，3四个符号组成，它们出 现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立 的。试求某消息
201020130213001203210100321010023102002010312032100120 210的信息量。
解 此消息中，0出现23次，1出现14次，2出现13次，3出
第 1 章 绪论
如果是非等概情况，设离散信源是一个由n个符号组成 的符号集， 其中每个符号xi(i=1, 2, 3, …, n)出现的概率为
n
P(xi)， 且有 P(xi)=1, 则x1, x2, …, xn 所包含的信息量分别 i 1
为-log2P(x1), -log2P(x2)， …，-log2P(xn)。于是，每个符号所 含信息量的统计平均值，即平均信息量为