通信原理第三章-离散信源及信息测度

源的信息测度。 设离散信源 X，其概率空间为
X P(x)
a1, P(a1),
a2 , P(a2 ),
aq
P(aq )，q 源自 1P(ai )1
我们将自信息的数学期望定义为信源的平均自信息量，即
1 q
H
(X
)
E
log
P(ai
)
i1
P(ai
) log
P(ai
)
（3-6）
H ( X ) 也被称为信源的信息熵。
言文字作为信源，输出的消息是由汉字和标点符号组成的符号序列，其中每个符号的出现是 不确定的、随机的，由此构成了不同的中文消息。又如，对离散化的平面灰度图像信源来说， 从 XY 平面空间上来看，每幅黑白灰度画面都是一系列空间离散的灰度值符号，而空间每一 点的符号（灰度值）又都是随机的，由此形成了不同的图像消息。上述这类信源输出的一系 列随机变量，即为随机矢量。这样，信源的输出可用 N 维随机矢量 X (X1X2 X N ) 来描 述,其中 N 可为有限正整数或可数的无限值。这 N 维随机矢量 X 也称为随机序列。
在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的， 所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。不同的信源输出的消息不 同，可以根据消息的不同的随机性质来对信源进行分类。
1）信源输出的单符号消息可用随机变量描述 在实际情况中，有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一
个消息，如书信文字、计算机的代码、电报符号、阿拉伯数字码等。这些信源输出的都是单
个符号的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量 X 来
描述这些信源的输出。这样的信源称为离散信源。它的数学模型就是离散型的概率空间
X P(x)
a1, P(a1),
a2 , P(a2 ),
aq
3.4 离散无记忆的扩展信源
前面几节，我们讨论的只是最简单的离散信源，即信源每次输出只是个单个符号的信息。
我们给出了信息熵 H ( X ) 来对基本离散信源进行测度，以及研究了解信息熵 H ( X ) 的基本
性质。从本节开始，我们将进一步讨论较为复杂的离散信源及其信息测度。 首先，我们来研究平稳离散无记忆信源，此信源输出的消息序列是平稳随机序列并且符
P(aq
)
（3-1）
显然， P(ai )(i 1, 2, , q) 应满足
q
P(ai ) 1
i 1
（3-2）
式中，ai 是离散信源可能的输出符号； 0 P(ai ) 1(i 1, 2, , q) 是信源输出符号
ai (i 1, 2, , q) 的先验概率。 有的信源虽然输出的是单个符号（代码）的消息，但其可能出现的消息数是不可数的无
信息熵是从平均意义上来表征信源的总体信息测度的一个量。信息熵具有以下两种物理 含义：
第一，信息熵 H(X)是表示信源输出后，每个消息（或符号）所提供的平均信息量。 第二，信息熵 H(X)是表示信源输出前，信源的平均不确定性。 应该注意的是：信息熵是信源的平均不确定的描述。在一般情况下，它并不等于平均获 得的信息量。只是在无噪声情况下，接收者才能获得信源的平均信息量 H(X)。
立。则由这个随机矢量 X 组成的新信源成为离散无记忆信源 X 的 N 次扩展信源。离散无记 忆信源 X 的 N 次扩展信源被表示为 X N 。
中，各随机变量 Xi (i 1,2, , N) 之间是统计独立的，即 N 维随机矢量的联合概率分布满足
P(X ) P(X1X2 X N ) P1(X1)P2 (X2 ) PN (X N )
（3-4）
因为信源是平稳的，根据离散平稳随机序列的统计特性可知，各变量 Xi 的一维概率分布都
相同，即 P1(X1) P2 (X2 ) PN (X N ) ，则得
3.3 信息熵的基本性质
令 P=( p1, p2, , pq ) 表示信源概率空间中的概率矢量。信源的信息熵为 P 的函数， 它具有下列一些性质
1）确定性
在概率矢量 P=( p1, p2, , pq ) 中，当某分量 pi 1时， H ( X ) 0 。
这个性质意味着从总体来看，信源虽然有不同的输出消息（符号），但它只有一个消息
3.2 离散信源的信息熵
我们首先研究最基本的离散信源，即信源输出是单个符号的消息。 对于一般实际输出为单个符号的离散信源都可用一维离散型随机变量 X 来描述信源的 输出，信源的数学模型统一抽象为
X P(x)
a1, P(a1),
a2 , P(a2 ),
aq
P(aq
)
q
其中 0 P(ai ) 1(i 1, 2, , q) 且 P(ai ) 1 i 1
限值，即输出消息的取值是连续的，或取值是实数集 (, ) 。例如，语音信号、热噪声信
号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据
取值是连续的，但又是随机的。我们可用一维的连续型随机变量 X 来描述这些消息，则这
种信源称为连续信源，其数学模型是连续型概率空间
X P(x)
可以用一组长度为 N 的序列来表示。这时，它就等效成了一个新信源。新信源输出的符号
是 N 长的消息序列，用 N 维离散随机矢量来描述，写成 X X1, X2, , X N ，其中每个
分量 Xi i 1, 2, , N 都是随机变量，样本空间均为 a1, a2, , aq ，并且分量之间统计独
假设随机矢量 X 为严平稳随机过程。若信源输出的随机序列 X (X1X2 X N ) 中，每
个随机变量 Xi (i 1,2, , N) 都是取值离散的离散型随机变量，即每个随机变量 Xi 的可能取
值都是有限的或可数的，这样的信源称为离散平稳信源；若每个随机分量 Xi (i 1,2, , N) 都
是取值为连续的连续型随机变量，则信源称为连续平稳信源。例如，语音信号X (t) 、热
这样的信源能输出多少信息？每个消息的出现又携带多少信息量呢？下面我们来讨论 这些问题。
3.2.1 自信息 我们已知信源发出的消息常常是随机的，所以在没有收到消息前，收信者不能确定信源 发出的是什么消息。这种不确定性是客观存在的。只有当信源发出的消息通过信道传输给收 信者后，才能消除不确定性并获得信息。如果信源中某一消息发生的不确定性越大，一旦它 发生，并为收信者收到后，消除的不确定性就越大，获得的信息量也就越大。在信息传输的 一般情况下，收信者所获得的信息量应等于信息传输前后不确定性的减少（消除）的量。因 此，我们直观地把信息量定义为： 收到某消息获得的信息量（即收到某消息后获得关于某基本事件发生的信息量） =（收到此消息前关于某事件发生的不确定性）-（收到此消息后关于某事件发生的不确 定性） 在无噪声时，通过信道的传输，关于消息的不确定性完全消除，因此 收到某消息获得的信息量=收到消息前关于某事件发生的不确定性
示事件 ai 所提供的信息量。
自信息采用的单位取决于对数所选取的底。如果选取以 2 为底，则所得的信息量单位称 为比特（bit，binary unit 的缩写）。
3.2.2 信息熵 前面定义的自信息量是指某一信源发出某一消息所含有的信息量。所发出的消息不同，
它们所含有的信息量也就不同。所以自信息 I (ai ) 是一个随机变量，不能用它来作为整个信
4.强可加性
H(XY) H(X ) H(Y | X )
（3-9）
两个互相关联的信源 X 和 Y 的联合信源的熵等于信源 X 的熵加上在 X 已知条件下信源
Y 的条件熵。
5.极值性
H ( p1, p2, , pq ) H (1/ q,1/ q, ,1/ q) log q
（3-10）
此性质表明，在离散信源情况下，对于具有 q 个符号的离散信源，只有在 q 个信源符号 等可能出现的情况下，信源熵才能达到最大值。这也表明等概率分布信源的平均不确定性为 最大。这是一个很重要的结论，称为最大离散熵定理。
号之间是无依赖的，即是统计独立的。因此，离散无记忆信源的数学模型与前最简单的离散
信源的数学模型基本相同，也用 X , P(x) 概率空间来描述，所不同的只是离散无记忆信源
输出的消息是一串符号序列（用随机矢量来描述），并且随机矢量的联合概率分布等于随机 矢量中各个随机变量的概率乘积。
如果有一个离散无记忆信源 X ，其样本空间为 a1, a2, , aq ，对它的输出信息序列，
几乎必然出现，而其他消息都是几乎不可能出现，那么，这个信源是一个确知信源，其熵等
于零。
2. 非负性
H(P) 0
（3-7）
这种非负性对于离散信源的熵而言是正确的，但对连续信源来说这一性质并不存在。以
后可以看到，在差熵的概念下，可能出现负值。
3.可加性
H(XY) H(X ) H(Y )
（3-8）
统计独立信源 X 和 Y 的联合信源的熵等于分别熵之和。
连续平稳信源情况下也分无记忆信源和有记忆信源。若信源输出的连续型随机矢量
X (X1X2 X N ) 中，各随机变量 Xi (i 1,2, , N) 之间无依赖，统计独立，称此信源为连
续平稳无记忆信源，否则称为有记忆信源。
3）信源输出的消息用随机过程描述 更一般地说，实际信源输出的消息常常是时间和取值都是连续的。例如，语音信号 X(t)、
R p(x)
（3-3）
并满足
b
p(x) d x 1 或 p(x) d x 1
a
R
式中， R 表示实数集 (, ) ； p(x) 是随机变量 X 的概率密度函数。
上述离散信源和连续信源是最简单、最基本的情况，信源只输出一个消息（符号），所
以可用一维随机变量来描述。
2）信源输出的符号序列用随机矢量描述 然而，很多实际信源输出的消息往往是由一系列符号序列所组成的。例如，中文自然语