信息论与编码第二章 离散信源新

例2：箱中有赤、橙、黄、青、兰、紫六种颜 色的32只彩球，其中赤16球，澄8球，黄4 球，青2球，蓝、紫各1球。有放回抽取：
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。
作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
XP(X)xp1(x1)
x 2
p(x2)
x m
p(xm)
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1
i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种
后关于某事件发生的不确定性（后验不定度）
精选ppt
某一特定事件 ai 发生后所含有的信息，称为自信息，记为 I(ai ) 。自信息量与事件发生的不确定性有关， 不确定性与事件发生的概率有关。因此，某事件 ai 发生后所含有的自信息量应该是该事件发生的先验概率 p(ai ) 的函数，即 I (ai ) f [ p(ai )]。
从直观概念出发， f [ p(ai )] 应具有以下特性。
（1）因为概率大，发生的可能性大，不确定性小。所以，若 p(a1) p(a2 ) ，则
f ( p1 ) f ( p2 ), f ( pi ) ，即 f [ p(ai )] 应是先验概率的单调递减函数。
（2）因为必然事件，不存在不确定性，不含信息量。所以，若 p(ai ) 1 ，则
精选ppt
获取信息量 = 收信前对某事件发生的不确定性 该事件发生后仍然存在的不确定性
假设发送符号为ai,，接收符号为收bj。可以直观 地把信息量定义为：
收到某消息bj后获得关于某事件ai发生的信息量 = 收到bj前、后对某事件ai存在的不确定性的消除 = 收信前关于某事件的不确定性（先验不定度）- 收信
q
H ( X ) p(ai ) log p(ai ) （信息单位∕信源符号） i 1
它是信源每发一个符号所提供的权平均信息量，称为“信息熵”。当对数的底为 r 时，可记为 H r ( X ) ，
以 2 为底时，常简记 H(x)。
精选ppt
例1续
（3） 如果每次摸出一个球后又放回袋中，
再进行下一次摸取。则如此摸取n次，红球
2
p(xi)log2 p(xi) i1
= 0.72比特/次
精选ppt
例2 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占
1／8)。又设乙地的天气预报为：晴 (占7／8)，小雨(占1／8)。试求两地天气预 报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率 为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求 这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平 均信息量。
P X(X)xp1(x1)
x2 p(x2)
xI p(xI)
p(xi )：信源输出符号消息xi的先验概率; I
满足：0 q(xi) 1，1 i I
p(xi) 1
i1
精选ppt
一 离散无记忆信源（续）
例1：掷骰子的结果作为信源消息，则就构成 了一个这样的信源，其概率空间为：
p (x x) 1 a /1 61 a /2 61 a /3 61 a /4 61 a /5 61 a /6 6
四马尔可夫信源
如如果在任何时刻其符号发生的概率只与前面已经发 生的m个符号有关，而与更前面发生的符号无关，则 称该信源为m价马尔可夫信源
p ( x i | x i 1 x i 2 x i 3 x i M x i M 1 ) p ( x i | x i 1 x i 2 x i 3 x i M ) 如果上述条件概率与时间起点i无关，则称为时齐马可夫信源。
精选ppt
说明：
自信息量I(x1)和I(x2)只是表征信源中各个符号的 不确定度，一个信源总是包含着多个符号消息， 各个符号消息又按概率空间的先验概率分布， 因而各个符号的自信息量就不同。所以自信息 量不能作为信源总体的信息量。
精选ppt
信息熵
定义：
考虑随机变量的所有取值（即信源各个不同符号），用自信息量 I(ai)在概率空间中的统计平均值，作为含 有 q 个符号信源的平均信息测度，即定义
概率空间
样本空间
q X (X)q x1 (x1)
x2 q(x2)
xI q(xI)
概率测度
例1 如果将掷一次骰子的结果作为信源消息，则就构成了一个这样的信源，其概 率空间为：
p (x x) 1 a /1 61 a /2 61 a /3 61 a /4 61 a /5 61 a /6 6
(2) t= i 时刻以前信源发出的符号。 [即与条件概率P(xi/xi-1 xi-2…)有关]
精选ppt
若当t = i，t = j时(i,j 是大于1的任意整数)，P(xi)=P(xj )=P(x)，则 序列是一维平稳的。具有这样性质的信源称为一维平稳信源。
除上述条件外，如果联合概率分布P(xixi+1)也与时间起点无关， 即P(xixi+1)=P(xjxj+1) (i,j为任意整数且ij)，则信源称为二维平稳信 源。它表示任何时刻信源发出二个符号的联合概率分布也完全相 等。
乙地天气预报的信源空间为:
Y P(y)
晴 7/8
小雨
1/8
H ( Y ) 7 lo 7 1 g lo 1 g lo 1 7 g lo 7 0 g .5( b 4 /符 i4 t) 8 888 88
第二章 离散信源
精选ppt
提纲
信源的数学模型及分类 离散信源的自信息和信息熵 离散无记忆的扩展信源 离散平稳信源 马尔可夫信源
精选ppt
2.1信源的数学模型及分类
信源是产生消息的源，根据X的不同情况，信源可分为以下
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
1nat 1.44bit 1Hart 3.32bit
需要注意的是此处 bit 是信息量的单位，而计算机中 bit 为二进制数字中的 1 位。两者之 间关系为：二进制的一位能提供的最大平均信息量为 1bit。
精选ppt
例1 一个布袋内放100个球，其中80个球是红 色的，20个球是白色的，若随机摸取一个球， 猜测其颜色，求平均摸取一次所能获得的自信 息量。
精选ppt
2.2 离散信源的自信息和信息熵
针对离散信源进行 基本概念
样本空间：某一事物各种可能出现的不同状态，即所有可 能选择的信息的集合
概率测度：对每个可能选择的信息指定一个概率（非负， 总和为1）
概率空间：一个样本空间和他的概率测度 先验概率： 后验概率 自信息： 信息熵
精选ppt
两个信源
X 晴 阴大雨 小雨 P(x)1/21/4 1/8 1/8
Y 晴 小雨 P(y)7/8 1/8
精选ppt
解：甲地天气预报构成的信源空间为:
PX (x)1晴 /21阴 /4 大 1/8雨 小 1/8雨
则其提供的平均信息ຫໍສະໝຸດ 即信源的信息熵:4H(X) P(ai)loPg(ai)
i1
1lo 1 g 1lo 1 g 1lo 1 g 1lo 1 g 1 .7（ 5 b/i符 t 号 2 24 48 88 8
解: 依据题意 这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
精选ppt
其中：x1表示摸出的球为红球事件，x2表示摸 出的球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
精选ppt
一 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
中国足球队3:0战胜巴西足球队 精选ppt 巴西足球队3:0战胜中国足球队
注意
1. I(ai)有两层含义： 第一事件 ai 发生前，收信者对 ai 存在的先验不确定性； 第二事件 ai 发生后，ai 所含有的（提供的）全部信息量。 2. I (ai ) log[1/ p(ai )]的单位取决于对数的底。 当用 2 为底时，单位为比特（bit）； 当以 e 为底时，单位为奈特(nat，naturl unit)； 当以 10 为底时，单位为哈特（Hart）。 用对数换底公式 loga x logb x / logb a 可以进行各单位之间的换算。可以算得
序列，x X。
N
序列的概率p (x) = p (x1x2 … xN) = p ( x i )
i1
精选ppt
例
假设一个二进制无记忆信源为
则其 2 次扩展信源为
x 0 1
p( x)
0.8
0.2
x 00
01
10
11 00 01 10 11
p (x)
0.8
0.8
0.8 0.2
0.8 0.2
出现的次数为np（x1）次，白球出现的次 数为np（x2）次。随机摸取n次后总共所 获得的信息量为
np（x1）I（x1）+np（x2）I（x2）
精选ppt
4) 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np(x1)I(x1)+np(x2)I(x2)] = -[p(x1)log2p(x1)+p(x2)log2p(x2)]
0.2 0.2 0.64
0.16
0.16
0.04
显然有
qN
p(ai ) 1
i 1
精选ppt
三 离散平稳有记忆信源
如果X的条件概率分布与时间起点无关，即任意两个不同时刻X的 概率分布都相同，则该信源为平稳信源。
对于离散平稳有记忆信源，在 t = i 时刻将要发出什么样的符号决 定于两方面：
(1) 信源在 t = i 时刻随机变量Xi 取值的概率分布P(xi)。 [一 般 P(xi) P(xj) ]
例2 箱中有赤、橙、黄、青、兰、紫六种颜色的32只彩球，其中赤16球， 澄8球，黄4球，青2球，蓝、紫各1球。现任取一球，将其色彩视为一个离 散信源的输出，则该信源可用下列概率空间描述：
x 赤橙黄青蓝紫 p(x) 1/21/41/8精选1 p/p1 t 6 1/32 1/3 2
ai
发送端
信道