第3章 离散信源

【例】从一个袋子里摸球，50个红的、50个白的，每 次摸完之后放回。
则无论已经摸过的球是红的还是白的，再摸一次球 ，红白出现的概率都是1/2。
3.2.2 离散有记忆信源
离散有记忆信源：信源先后发出的消息符号之间彼此依存、 互不独立。现实存在的信源多是离散有记忆信源
有记忆信源的例子
【例3-4，P30】例3-2中，老师是一个有记忆信源。信源先后 发出的消息符号之间彼此依存、互不独立。 • 例如：
M
p( X ) p(xM | xM 1xM 2 L x1) p(xM 1 | xM 2 xM 3 L x1)L p(x2 | x1) p(x1) p(xi ) i 1
无记忆信源的例子
【例3-3，P30】串口可以简单地理解为一个无记忆信源。 这是因为无论串口已经发出的符号是什么，它总是按照各 位1/2的概率发出“0”或 “1 ”中的一个。
x4 1/ 6
x4 1/ 6
1x/66
说明
信源输出哪个符号是不确定的
一旦输出一个符号，便消除了这种不确定性
即带来了信息
因此仍然用概率衡量信源包含的信息量的大小
【定义3-2 】 信源X中某个消息符号的自信息量定义为 I(xi) = -log p(xi)
含义 ➢ 当信源符号xi出现以前，I(xi)表示符号xi的不确定性； ➢ 当信源符号xi出现以后，I(xi)表示符号xi所提供的信息量。 ➢ 所以定义信源熵的单位为：比特
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
i 1
➢ 信息熵H(X)表示了信源输出前，信源的平均不确定性；
➢ 信息熵H(X)表示了信源输出后，每个消息或符号所提供的 平均信息量；
➢ 信息熵H(X)反映了随机变量X的随机性。
说明
➢ 信源符号（消息符号）的自信息量表示该符号带有多 少比特的信息量；
➢ 信源熵表示的是平均每个符号带有多少比特的信息量 ➢ 所以定义信源熵的单位为：比特/符号
N次扩展信源（也称为：离散无记忆序列信源） ：集合中 的每一个元素是一个长度为N的序列。
N次扩展信源的例子
【例3-7，P32】N次扩展信源例子： • 二进制信源： X={00,01,10,11}, N=2 • 汉语： X={我们在上课，张三睡着了，…}, N=5 • 英语： X={the, car, ear, she, you, …}, N=3
信源熵的例子1
【例3-5，P31】计算机中常见的信源Baidu Nhomakorabea二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
解：（1）信源两次发送，发出的信息量相同 I(x3)=-log2p(x3)=-log20.25=2(比特)
（2）第一次收到的符号为y，则条件自信息 I(x3/y)=-log2p(x3/y)=-log20.9=0.15(比特)
第一次接收得到的信息量为 I(x3;y)=I(x3)-I(x3/y)=1.85(比特)
们、要、的、把、看、… 我
碗、机、水、书、框、…
• p(们)=0.01，p(碗)=0.01 • p(们|我)=0.05， p(碗|我)=0.001
有限记忆信源和无限记忆信源
离散有记忆信源分为 • 有限记忆信源 • 无限记忆信源
有限记忆信源 • 当记忆长度为m时称这种记忆信源为m阶马尔可夫信源， 即信源每次发出的符号与前m个符号有关，与更前面的 符号无关。 • 假设m阶马尔可夫信源输出的随机序列为x1 x2…xi1xi …xN。在这序列中某i时刻的随机变量xi取什么符号 只与前m个随机变量xi-1 xi-2… xi-m取什么符号有关，与 其更前面的随机变量以及后面的随机变量取什么符号 都无关。
3.3 离散无记忆信源
3.3.1 离散无记忆信源及其熵 3.3.2 离散无记忆信源的扩展信源及其熵
3.3.1 离散无记忆信源及其熵
【定义3-1】信源X符号集为(x1, x2 , …, xn)，n为信源发出的 消息符号的个数，每个符号发生的概率为p(xi), i=1,2,…,n， 这些消息符号彼此互不相关，且有
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
有限记忆信源和无限记忆信源
• 有限记忆信源的数学描述 ： p(xi | xi-1 xi-2 … xi-m xi-m-1 … x1 ) =p(xi | xi-1 xi-2 … xi-m) m叫做记忆长度 • 这样就可以用马尔可夫链来描述此信源。
无限记忆信源：信源发出的消息符号与前面出现的所有符 号都有关系。其数学描述是 • p(xi | xi-1 xi-2 xi-3 … )
（31个0，29个1）
信源的例子2
【例3-2，P29】老师在讲课时不断地发出一个一个的汉 字，老师就是一个信源。该信源发出的符号包括所有的 汉字，每个汉字按照一定的概率出现，所有的已经发出 的汉字构成了信源序列。
3.2 信源的分类
信源的分类 3.2.1 无记忆信源 3.2.2 有记忆信源
信源的分类
信源熵的例子2
【例3-6，P31】有一个三元信源
X P
x1 1 2
x2 1
4
x3 1 4
则信源的熵为
H (X )
3
i 1
p(xi ) log p(xi )
1 log 2
1 2
2 1 log 4
1 4
1.5
比特/符号
3.3.2 离散无记忆信源的扩展信源及其熵
可以一个符号一个符号的来研究信源，但有时这样不能满 足实际应用的需要。 • 汉语：更多地考察的是句子，而不是汉字。 • 英语：更多地考察的是单词，而不是字母。 • 图像：更多地考察的是整幅图像，而不是单个像素。 所以，有必要研究N次扩展信源。
离散有记忆信源
• 离散有记忆信源：信源先后发出的消息符号之间彼此 依存、互不独立的。 - 这类信源的数学表示比较困难； - 现实存在的信源多是离散有记忆信源； - 离散有记忆信源又可分为：有限记忆信源（马尔可 夫信源）和无限记忆信源。
信源分类小结
信源
离散信源 连续信源
单符号的无记忆离散信源 离散无记忆信源 符号序列的无记忆离散信源
符号序列的有限记忆信源 离散有记忆信源
符号序列的无限记忆信源
信源的分类
3.2.1 离散无记忆信源
离散无记忆信源：信源发出的一个个消息符号是相互独立的。
如何用概率的方法定义无记忆信源？ • 已经出现的符号对将要出现的符号的概率没有影响： p(xi|x1x2…xi-1) = p(xi) • 更确切地，设X=x1x2…xM是信源发出的符号序列
• 因此，三次扩展信源为
X3 P
a1 p(a1
)
a2 p(a2 )
000 001
p3
p2 (1 p)
a8 p(a8 )
111
(1
p)3
3、N次扩展信源及其熵
根据前面例子，先归纳出N次扩展信源的数学模型，然 后再给出N次扩展信源熵的计算方法。
数学模型 • 离散无记忆N次扩展信源（也称为：离散无记忆序列 信源）输出消息由N个符号序列组成，前后符号的出 现是彼此独立的。 • 若基本离散无记忆信源的数学模型用[X，P(X)]概率空 间来描述，则离散无记忆信源X的N次扩展信源的数学 模型如下：
信源
消息
编码器
信号
信道 干扰
干扰器
译码器
信宿
消息
在实际通信中最常见的信源有话音、文字、图像、数据等。
离散信源的数学模型
离散信源的数学模型 • 信源可以输出多个符号，每个符号以一定的概率出现。 • 因此可以用概率来描述信源。
X P
x1 p( x1 )
x2 p(x2 )
xn p(xn )
第二次无误接收，得到到的信息量为2(比特)，或I(x3/y)=0 I(x3;y)=I(x3)-I(x3/y)=2(比特)
【定义3-3】 信源X的平均自信息量（即信源熵）定义为
含义
n
n
H (X ) E(I (xi )) p(xi )I (xi ) p(xi ) log p(xi )
i 1
说明
➢ X是信源能取的符号的集合；xi是信源符号（不再称为 事件）；
➢ pi(即p(xi))是信源符号出现的概率。
信源的例子1
【例3-1，P29】在串口（图2-2）通信中，串口就是一个 信源。该信源只发出两个符号“0”和“1”，两个符号出 现的概率相等，该信源的数学模型是
X P
0 1 2
1
1
2
说明
➢ 信源的输出序列有可能是
111011111011001110110011101110011010110010110011011100010011
（23个0，37个1） ➢ 信源的输出序列也可能是
110101100110010001111111000010001010011000011100001101001110
从信源发出的消息在时间上和幅度上的分布来考虑分类， 可将其分为离散信源和连续信源。
• 离散信源：指发出在时间和幅度上都是离散 分布的离散消息的信源。 如：文字、数字、数据、字母等。
• 连续信源：指发出在时间和幅度上都是连续分布 的连续消息（模拟消息）的信源。 如：语言、图像、视频等。
离散无记忆信源
• 因此，二次扩展信源为
X2 P
a1 p(a1)
a2 p(a2 )
a3 p(a3 )
a4 p(a4 )
00 01
10
11
p
2
p(1 p)
p(1 p)
(1
p)2
2、三次扩展信源
• 设离散无记忆二元信源
X P
0
p
1 1 p
• 三次扩展信源（N=3），包含8个长度为3的序列 {000,001,…,110,111}，分别记为a1，a2，…，a8，每个序 列出现的概率为序列中三个符号出现的概率的乘积。
信息量单位
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
X P
x1 p(
x1
)
x2 p( x2 )
L L
xn p(xn )
其中
n
p(xi ) 1
i 1
p(xi ) 0
则称X为离散无记忆信源。
离散无记忆信源的例子
【例，增】掷一颗质地均匀的骰子，研究其点数，每次实验 结果必然是1，2…6点中的某一个面朝上。信源输出的消息 是“一点”，“两点”，…“六点等6个不同的消息。每次 实验只能出现一种消息，出现哪一种消息是随机的，但必 是六6种情况中的一种。用xi,(i=1,…,6)来表示这些消息，则：
第3章 离散信源
3.1 离散信源的数学模型 3.2 信源的分类 3.3 离散无记忆信源 3.4 马尔可夫信源（有限记忆信源） 3.5 离散平稳信源 3.6 信源的相关性和剩余度
本章小结
3.1 离散信源的数学模型
几点说明 • 信源是信息的来源。 • 信源发出了消息，消息载荷着信息，信息具有不确定性。 • 从数学分析上看，由于消息具有的不确定性，因此信源可 以看成是产生随机变量、随机序列（矢量）和随机过程的 源。
为了讨论N次扩展信源的熵，下面先讨论离散无记忆二元 信源的二次扩展信源和三次扩展信源的熵。
1、二次扩展信源
• 设离散无记忆二元信源
X P
0
p
1 1 p
• 二次扩展信源（N=2），包含4个长度为2的序列 {00,01,10,11}，分别记为a1，a2，a3，a4，每个序列出现 的概率为序列中两个符号出现的概率的乘积。