第2讲——离散信源的数学模型及其信息测度(1)
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
第二章 离散信源及其信息测度讲解
空间称为信源空间。
6
单消息（符号）信源－－离散信源
特点：这些信源可能输出的消息数是有限的或可数的，
而且每次只输出其中一个消息。因此，可以用一维离散
型随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各消 息出现的先验概率，信源的概率空间必定是一个完备集。
一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。例如，在汉字组成的中文序列中，只有根 据中文的语法、习惯用语、修辞制约和表达实际意义的制 约所构成的中文序列才是有意义的中文句子或文章。所以， 在汉字序列中前后文字的出现是有依赖的，不能认为是彼 此不相关的。其他如英文，德文等自然语言都是如此。这 种信源称为有记忆信源。
X P(x)
a1, a2 ,aq
P(a1
),
P(a2
),
P(aq
)
重点掌握： 形式，每个 符号的含义
例：对于二进制数据/数字信源：U={0,1}，则
有
UP
u0
0, p0 ,
u1 p1
1
当p0
p1
1 2
0 ,1 1,1
• 离散信源的信息熵性质：
什么是信息熵； 九大性质
• 几种具体信源：
离散平稳信源 马尔可夫信源
3
信源特性与分类
信源的统计特性
• 1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、文字、 图像、数据…。在信息论中，信源是产生消息（符号）、消 息（符号）序列以及连续消息的来源，数学上，信源是产生
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习
![信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/4f9eb902763231126edb115f.png)
第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。
不同的信源输出的消息其随机性质不同。
根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。
2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。
而基本的信源数学模型有以下几种。
1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。
信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。
相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。
2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。
事件的自信息定义为式中P(a i)是事件a i发生的概率。
自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。
2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论基础第2章离散信源及其信息度量
《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
2离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
第2讲——离散信源的数学模型及其信息测度(1)
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为：
I(0) =-log2 (1/4)=log24= 2bit
I ( xi , y j ) I ( xi )
I ( y j ) I ( y j xi )
I ( xi y j )
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log 2 p( xi y j ) log 2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
n 1 H ( X ) E[ I ( xi )] E[log2 ] p( xi ) log2 p( xi ) p( xi ) i 1
• 熵函数的自变量是X表示信源整体，实质上是离散无 记忆信源平均不确定度的度量。与自信息不同,自信 息表示某一消息所含有的信息量，它是一个随机变量, 不能用它来作为整个信源的信息测度。
信源熵例题
该信源X输出符号只有两个,设为0和1输出符号发生 的概率分别为p和q，p＋q=l，即信源的概率空间为
X 0 1 P p q
则二元信源熵为
H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) = H(p)
简单信源
• 离散信源
a2 , , aq X a1 , P ( x) P (a ), P (a ),, P (a ) 1 2 q
信息论 基础理论与应用第三版(傅祖芸)第2章 离散信源及其信息测度
2）离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变 量Xi (i＝1,2,…,N)之间统计独立。
性质：
独立－>P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－>P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi)
5）m阶马尔可夫信源（非平稳信源）
不同时刻发出的符号间的依赖关系
P(xi | xi2 xi1xi1 xi2 xim x1 ) P(xi | xi1xi2 xim ) (i 1,2, , N )
记忆信源的记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。
若上述条件概率与时间起点 i 无关，信源输出的符号序 列可看成为时齐马尔可夫链，则此信源称为时齐马尔可 夫信源。
乙地天气预报的信源空间的信息熵为:
H (Y ) 7 log 7 1 log 1 log 1 7 log 7 0.544(bit / 符号)
8 88 8
88
讨论：甲地极端情况
X 晴 阴 大雨 小雨
极端情况1：晴天概率＝1
P(x)
1
0
0
0
H(X ) 1 log1 0 log 0 0 log 0 0 log 0
4）有记忆信源
信源在不同时刻发出的符号之间是相互依赖的，即信源输出 的随机序列X中，各随机变量Xi之间相互依赖。
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
信息论PPT第二章
2011-11-12
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
第二章 离散信源及其信息测度_01
I [ P2 ( x)] I [ P 3 ( x)]
第三次测量只需在2个灯泡中进行。图2.2中假设第二次测量的结果是不 通，也就知损坏的灯泡在最左边二个之一。这样，第三次测量如图2.2所示， 通过第三次测量完全消除了不确定性，能获知哪个灯泡是坏了的。第三次 测量后已不存在不确定性了，因此，尚存在的不确定性等于零。 第三次测量获得的信息量： I [ P ( x)] 0 I [ P ( x)]
a2 ... aq X a1 P( x) P(a ) P(a ) ... P(a ) 2 q 1
我们称由信源空间 X , P( x) 描述的信源 X 为离散无记忆信源。这信源在 不同时刻发出的符号之间是无依赖的，彼此统计独立的。
2.1 信源的数学模型及分类
a2 p2
... ...
xq pn
p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：投硬币、书信文字、计算机的代码、 电报符号、阿拉伯数字码等。
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
连续信源（连续平稳信源、连续非平稳信源）
按照信源符号之间的关系： 无记忆信源
发出单个符号的无记忆信源
发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
有些信源可能输出的消息数是有限的或可数的，而且 每次只输出其中一个消息。例如，扔一颗质地均匀的，研 究其下落后，朝上一面的点数。每次试验结果必然是1点、 2点、3点、4点、5点、6点中的某一个面朝上。这种信源 输出消息是“朝上的面是1点”、“朝上的面是2 点”、......、“朝上的面是6点”等六个不同的消息。 每次试验只出现一种消息，出现哪一种消息是随机的，但 必定是出现这六个消息集中的某一个信息，不可能出现这 个集合以外的什么消息。这六个不同的消息构成两两互不 相容的基本事件集合，用符号ai , i 1,...,6 来表示这些消息， , a6 } 。由大 得这信源的样本空间为符号集 A : {a1 , a2 , a3 , a4 , a5 。 量试验结果证明，各消息都是等概率出现的，都等于1 6 。
《信息论、编码及应用》课件第2章
r
H (X ) P(ai )logP(ai )
i1
H[P(a1), P(a2 ),, P(ar )]
H(P)
(2-11)
第2章 离散信源及其信息测度
2.4.2 对称性 根据式(2-11)，并根据加法交换律可知，当变量P1，
P2，…，Pr的顺序任意互换时，熵函数的值保持不变，即 H (P1, P2 ,, Pr ) H (P2 , P1,, Pr ) H (Pr , Pr1,, P1) (2-12)
在数学上可证明，同时满足以上四个公理条件的函数形 式为
I (ai )
f
[P(ai
)]
l
b
1 P(ai
)
lb P(ai )
(2-7)
在式(2-7)和后面的章节中，采用以2为底的对数，所得信息量的 单位为比特。
第2章 离散信源及其信息测度
2.3 信 息 熵
2.3.1 信息熵的数学表达式 为了求得整个信源所提供的平均信息量，首先，我们应
存在的平均不确定性。例如有三个信源X1，X2，X3，它们的 信源空间分别是：
X1
P(
X
1
)
a1 0.5
0a.25,
X2
P(
X
2
)
a1 0.7
0a.23,
X3 P( X 3
)
a1 0.99
a2 0.01
(3) 用信息熵H(X)来表示随机变量X的随机性。
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度
2.3第二章-离散信源及其信息测度
实际的信源输出的消息是时间或空间上离散的一系列 随机变量。这类信源每次输出的不是一个单个的符号， 随机变量。这类信源每次输出的不是一个单个的符号，而 是一个符号序列。在信源输出的序列中， 是一个符号序列。在信源输出的序列中，每一位出现哪个 符号都是随机的， 符号都是随机的，而且一般前后符号的出现是有统计依赖 关系的。这种信源称为多符号离散信源。 关系的。这种信源称为多符号离散信源。
•
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
∑ p(a ) = 1
i
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
ai = xi1 xi2 ⋯ xiN 的概率为 p ( ai ) = p ( xi1 ) p ( xi2 ) ⋯ p ( xiN ), i1 , i2 , ⋯ , iN ∈ {1, 2, ⋯ n}
上式共有N项 上式共有 项，考察其中第一项
∑ p(a ) log
i X
N
1 2 p ( xi1 )
= ∑ p( xi1 ) p( xi2 ) … p( xiN ) log 2
XN n n n
1 p ( xi1 )
= ∑∑ … ∑ p( xi1 ) p ( xi2 ) … p ( xiN ) log 2
X=X1X2X3…XN
信源在不同时刻的随机变量X 的概率分布P(Xi)和 信源在不同时刻的随机变量 i和Xi+r的概率分布 和 P(Xi+r)一般来说是不相同的，即随机变量的统计特性随 一般来说是不相同的， 一般来说是不相同的 着时间的推移而有所变化。 着时间的推移而有所变化。
•
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
∑ p(a ) = 1
i
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
ai = xi1 xi2 ⋯ xiN 的概率为 p ( ai ) = p ( xi1 ) p ( xi2 ) ⋯ p ( xiN ), i1 , i2 , ⋯ , iN ∈ {1, 2, ⋯ n}
上式共有N项 上式共有 项，考察其中第一项
∑ p(a ) log
i X
N
1 2 p ( xi1 )
= ∑ p( xi1 ) p( xi2 ) … p( xiN ) log 2
XN n n n
1 p ( xi1 )
= ∑∑ … ∑ p( xi1 ) p ( xi2 ) … p ( xiN ) log 2
X=X1X2X3…XN
信源在不同时刻的随机变量X 的概率分布P(Xi)和 信源在不同时刻的随机变量 i和Xi+r的概率分布 和 P(Xi+r)一般来说是不相同的，即随机变量的统计特性随 一般来说是不相同的， 一般来说是不相同的 着时间的推移而有所变化。 着时间的推移而有所变化。
第2章 离散信源及其信息测度
度有关，消除的不确定性＝获得的信息量； ▼不确定性就是随机性，可以用概率论和随机过 程来测度，概率小→不确定性大→信息量大，即 信息量是概率的单调递减函数；
2.2 离散信源的信息熵
设离散信源X的概率空间为：
a2 a3 ... ... aq X a1 P P(a ) P(a ) P(a ) ... ... P(a ) 2 3 q 1
log2 x Βιβλιοθήκη 比特ln x 奈特 log10 x 哈特
1奈特 1.443 比特
1哈特 3.32 比特 ★本书(以及通信理论中)当中,如无特殊说明,信 息量的单位均默认为比特. ★由以上定义可以看出： （1）自信息是关于事件发生概率P的减函数； （2）当P=1，自信息为0； （3）当P=0，自信息为无穷大； （4）两个独立的事件的联合自信息为它们各自自 信息的和。
2.2 离散信源的信息熵
[例2-6] 有甲、乙两箱球，甲箱中有红球50、白球
20、黑球30；乙箱中有红球90、白球10。现做从两 箱中分别随机取一球的实验，问从哪箱中取球的结 果随机性更大？。
解:设甲、乙分别用A
1.4855 (bit 符号)
B代表
H ( A) 0.5 log 0.5 0.2 log 0.2 0.3 log 0.3
a2 a3 ... ... aq X a1 P P(a ) P(a ) P(a ) ... ... P(a ) 2 3 q 1
def q i 1
P(a ) 1
i 1 i
q
H ( X ) EI ( xi ) E log p( xi ) p( xi ) log p( xi )
2.1 信源的数学模型及分类
2.2 离散信源的信息熵
设离散信源X的概率空间为：
a2 a3 ... ... aq X a1 P P(a ) P(a ) P(a ) ... ... P(a ) 2 3 q 1
log2 x Βιβλιοθήκη 比特ln x 奈特 log10 x 哈特
1奈特 1.443 比特
1哈特 3.32 比特 ★本书(以及通信理论中)当中,如无特殊说明,信 息量的单位均默认为比特. ★由以上定义可以看出： （1）自信息是关于事件发生概率P的减函数； （2）当P=1，自信息为0； （3）当P=0，自信息为无穷大； （4）两个独立的事件的联合自信息为它们各自自 信息的和。
2.2 离散信源的信息熵
[例2-6] 有甲、乙两箱球，甲箱中有红球50、白球
20、黑球30；乙箱中有红球90、白球10。现做从两 箱中分别随机取一球的实验，问从哪箱中取球的结 果随机性更大？。
解:设甲、乙分别用A
1.4855 (bit 符号)
B代表
H ( A) 0.5 log 0.5 0.2 log 0.2 0.3 log 0.3
a2 a3 ... ... aq X a1 P P(a ) P(a ) P(a ) ... ... P(a ) 2 3 q 1
def q i 1
P(a ) 1
i 1 i
q
H ( X ) EI ( xi ) E log p( xi ) p( xi ) log p( xi )
2.1 信源的数学模型及分类
第2章_离散信源及信息测度1
显然，信源空间必定是一个完备集，即
(2.1)
DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
(2.1)
DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
qN N
P(i ) P(aik ) 1
i 1
i1 ik 1
X 000 011 10 11
掷两一枚硬币
P
1/
42
1/ 42 1/ 4
1/ 4
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有依赖 关系，但记忆长度有限。
马尔可夫信源实例
Xr
Yr
+
Yr-1
T
相对码编码器 • Y与r是Yr-一1 、个Y马r-2氏…链等,Y无r确关定后,Yr+1概率分布只与Yr有关,
简单信源
• 离散信源
X P( x)
a1,
a2 , ,
P(a1
),
P
(a2
),
aq , P(aq )
且满足 : 0 P(ai ) 1
• 连续信源
q
P(ai ) 1
i 1
注：X代表随机变
量，指的是信源整
体；ai代表随机事 件的某一结果或信
源的某个元素。
X p( x)
(a, b)
p(
p(xi y j ) 1
或 log b X log a X log b a
自信息的性质
(1) I (xi)是非负值 (2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) =∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即
当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息
观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。
输入 码字 消息 (输出)
消息 先验 概率
x1 000 1/2 x2 111 1/2
消息后验概率
收到 收到 收到 0后 01后 010后
1-p 1/2 1-p p 1/2 p
Review
数字通信系统模型
消息
信源
编码器
信号＋干扰 消息
x)
并满足
b
a p(x)dx 1
注：这里的p(x)代 表概率密度函数。
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
X
P(
x)
1 ,
2 ,
P(1
),
P(
2
),
q
,
P(
q
)
q
其中，i 1,2 , ,q 且 P(i ) 1 i 1
离散无记忆信源 N次扩展信源
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有 依赖关系，但记忆长度有限。
• m阶马尔可夫信源：信源每次发出的符号只与前m个 符号有关，与更前面的符号无关。
• 随机波形信源：信源输出的消息在时间上和取值上都 是连续的。
自信息量定义
设单符号离散信源的信源空间为
X P( x)
量之和，即统计独立信源的信息量等于它们分别 的信息量之和。
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit
x1 ,
p(
x1
),
x2 , , p(x2 ),
,
xn p(xn )
且满足 : 0 p(xi ) 1, p(xi ) 1 i 1
如果知道事件xi已发生，则该事件所含有的信息量称 为自信息，定义为:
I (xi ) log
1 p(xi )
log
p(xi )
自信息量定义
• I (xi) 含义
√1
x5 100 1/8
×0 ×0
×0
x6 101 1/8
×0 ×0
×0
x7 110 1/8
×0 ×0
×0
x8 111 1/8
×0 ×0
×0
Review
设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为
p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当
• 由离散无记忆信源输出N长的随机序列构成的信源。
X N
P(i )
1, 2 ,
P(1), P(2 ),
qN , P(qN
)
其中i (ai1ai2 aiN ) (i1, i2 , iN 1,2, q)
N
并满足： P(i ) P(ai1ai2 aiN ) P(aik ) ik 1
qN
信道
译码器
信宿
干扰
噪声源
可靠性、有效性、保密性和认证性
离散信源的数学模型 及信息测度
信源的数学描述
通信系统中收信者在未收到消息以前对信 源发出什么消息是不确定的,是随机的，所 以可用随机变量、随机序列或随机过程来 描述信源输出的消息,或者说用一个样本空 间及其概率测度—概率空间来描述信源。
信源的分类
联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XY P( XY
)
x1 y1, p(x1 y1
, x1 ),
ym , x2 y1, , x2 p(x1 ym ), p(x2
ym , y1),
, ,
xn y1, p(xn ym
xn )
ym
nm
0 p(xi y j ) 1,
不同的信源输出的消息的随机性质不同，可以根据消 息的不同的随机性质来对信源进行分类： • 按照某时刻信源输出消息的取值集合的离散性和连续 性, 信源可分为离散信源和连续信源。 • 按照信源输出消息的所对应的随机序列中随机变量前 后之间有无依赖关系, 信源可分为无记忆信源和有记忆 信源。 • 按照信源输出消息的所对应的随机序列的平稳性, 信源 可分为平稳信源和非平稳信源。
第二讲
离散信源的数学模型 及其信息测度(Ⅰ)
Review
输 入 码 字 消 息 先 消息后验概率 消 息 输 出 验 概 率 收到0 收到01 收到011
x1 000 1/8
1√/4 ×0
×0
x2 001 1/8
1√/4 ×0
×0
x3 010 1/8
1√/4 1√/2
×0
x4 011 1/8
1√/4 1√/2
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
• I (xi)单位
– 常用对数底是2,信息量的单位为比特(bit)；
– 若取自然对数,则信息量的单位为奈特(nat);
1 nat＝log2e ≈ l.433 bit，
对数换底关系：log a
X
log b X log b a