第2章 离散信源及其信息测度
合集下载
第二章 离散信源及其信息测度讲解
空间称为信源空间。
6
单消息（符号）信源－－离散信源
特点：这些信源可能输出的消息数是有限的或可数的，
而且每次只输出其中一个消息。因此，可以用一维离散
型随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各消 息出现的先验概率，信源的概率空间必定是一个完备集。
一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。例如，在汉字组成的中文序列中，只有根 据中文的语法、习惯用语、修辞制约和表达实际意义的制 约所构成的中文序列才是有意义的中文句子或文章。所以， 在汉字序列中前后文字的出现是有依赖的，不能认为是彼 此不相关的。其他如英文，德文等自然语言都是如此。这 种信源称为有记忆信源。
X P(x)
a1, a2 ,aq
P(a1
),
P(a2
),
P(aq
)
重点掌握： 形式，每个 符号的含义
例：对于二进制数据/数字信源：U={0,1}，则
有
UP
u0
0, p0 ,
u1 p1
1
当p0
p1
1 2
0 ,1 1,1
• 离散信源的信息熵性质：
什么是信息熵； 九大性质
• 几种具体信源：
离散平稳信源 马尔可夫信源
3
信源特性与分类
信源的统计特性
• 1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、文字、 图像、数据…。在信息论中，信源是产生消息（符号）、消 息（符号）序列以及连续消息的来源，数学上，信源是产生
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习
![信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/4f9eb902763231126edb115f.png)
第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。
不同的信源输出的消息其随机性质不同。
根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。
2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。
而基本的信源数学模型有以下几种。
1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。
信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。
相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。
2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。
事件的自信息定义为式中P(a i)是事件a i发生的概率。
自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。
2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。
信息论：第2章离散信源及其信息测度
4
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论基础第2章离散信源及其信息度量
《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
2离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
信息论 基础理论与应用第三版(傅祖芸)第2章 离散信源及其信息测度
2）离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变 量Xi (i＝1,2,…,N)之间统计独立。
性质：
独立－>P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－>P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi)
5）m阶马尔可夫信源（非平稳信源）
不同时刻发出的符号间的依赖关系
P(xi | xi2 xi1xi1 xi2 xim x1 ) P(xi | xi1xi2 xim ) (i 1,2, , N )
记忆信源的记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。
若上述条件概率与时间起点 i 无关，信源输出的符号序 列可看成为时齐马尔可夫链，则此信源称为时齐马尔可 夫信源。
乙地天气预报的信源空间的信息熵为:
H (Y ) 7 log 7 1 log 1 log 1 7 log 7 0.544(bit / 符号)
8 88 8
88
讨论：甲地极端情况
X 晴 阴 大雨 小雨
极端情况1：晴天概率＝1
P(x)
1
0
0
0
H(X ) 1 log1 0 log 0 0 log 0 0 log 0
4）有记忆信源
信源在不同时刻发出的符号之间是相互依赖的，即信源输出 的随机序列X中，各随机变量Xi之间相互依赖。
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
信息论PPT第二章
2011-11-12
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
第2章离散信源及其信息测度
X
P
(a, b) p(x)
p(x) 0，
b
p(x)dx 1
a
2.1 信源的数学模型及分类
2.1.2 信源输出的消息用随机矢量描述
实际信源每次输出的消息是按一定概率选取的 符号序列，可以看做是时间上或者空间的随机矢 量。用N维随机矢量X=(X1,X2,…,XN)表示，又称 为随机序列。
主要内容
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆信源的扩展信源 2.5 离散平稳信源 2.6 信源剩余度
2.1 信源的数学模型及分类
通信过程是从信源开始的，信源发送的是消息 或消息序列，通信系统中传递的是消息，消息中 包含信息。因此，通过研究消息来研究信源。
若随机矢量的各维概率分布都与时间起点无关， 这样的信源称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是 有限的，这样的信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变 量，则为连续平稳信源。
2.1 信源的数学模型及分类
若信源先后发出的各个符号彼此统计独立，则：
P(X ) P(X1X 2 X N ) P(X1)P(X 2)P(X N )
小与信源的符号数及其概率分布有关。
用概率矢量P来表示概率分布，H(P)为熵函数。
P (P(a1), P(a2), , P(aq )) ( p1, p2, , pq )
2.1 信源的数学模型及分类
则信源X所输出的随机矢量X所描述的信源称 为离散无记忆信源X的N次扩展信源
若信源在不同时刻发出的符号之间是相互依赖 的，这种信源为有记忆信源。
通常符号之间的依赖关系（记忆长度）是有限 的，若记忆长度为m+1,则称这种有记忆信源为 m阶马尔可夫信源。
第二章 离散信源及其信息测度_01
I [ P2 ( x)] I [ P 3 ( x)]
第三次测量只需在2个灯泡中进行。图2.2中假设第二次测量的结果是不 通，也就知损坏的灯泡在最左边二个之一。这样，第三次测量如图2.2所示， 通过第三次测量完全消除了不确定性，能获知哪个灯泡是坏了的。第三次 测量后已不存在不确定性了，因此，尚存在的不确定性等于零。 第三次测量获得的信息量： I [ P ( x)] 0 I [ P ( x)]
a2 ... aq X a1 P( x) P(a ) P(a ) ... P(a ) 2 q 1
我们称由信源空间 X , P( x) 描述的信源 X 为离散无记忆信源。这信源在 不同时刻发出的符号之间是无依赖的，彼此统计独立的。
2.1 信源的数学模型及分类
a2 p2
... ...
xq pn
p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：投硬币、书信文字、计算机的代码、 电报符号、阿拉伯数字码等。
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
连续信源（连续平稳信源、连续非平稳信源）
按照信源符号之间的关系： 无记忆信源
发出单个符号的无记忆信源
发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
有些信源可能输出的消息数是有限的或可数的，而且 每次只输出其中一个消息。例如，扔一颗质地均匀的，研 究其下落后，朝上一面的点数。每次试验结果必然是1点、 2点、3点、4点、5点、6点中的某一个面朝上。这种信源 输出消息是“朝上的面是1点”、“朝上的面是2 点”、......、“朝上的面是6点”等六个不同的消息。 每次试验只出现一种消息，出现哪一种消息是随机的，但 必定是出现这六个消息集中的某一个信息，不可能出现这 个集合以外的什么消息。这六个不同的消息构成两两互不 相容的基本事件集合，用符号ai , i 1,...,6 来表示这些消息， , a6 } 。由大 得这信源的样本空间为符号集 A : {a1 , a2 , a3 , a4 , a5 。 量试验结果证明，各消息都是等概率出现的，都等于1 6 。
《信息论、编码及应用》课件第2章
r
H (X ) P(ai )logP(ai )
i1
H[P(a1), P(a2 ),, P(ar )]
H(P)
(2-11)
第2章 离散信源及其信息测度
2.4.2 对称性 根据式(2-11)，并根据加法交换律可知，当变量P1，
P2，…，Pr的顺序任意互换时，熵函数的值保持不变，即 H (P1, P2 ,, Pr ) H (P2 , P1,, Pr ) H (Pr , Pr1,, P1) (2-12)
在数学上可证明，同时满足以上四个公理条件的函数形 式为
I (ai )
f
[P(ai
)]
l
b
1 P(ai
)
lb P(ai )
(2-7)
在式(2-7)和后面的章节中，采用以2为底的对数，所得信息量的 单位为比特。
第2章 离散信源及其信息测度
2.3 信 息 熵
2.3.1 信息熵的数学表达式 为了求得整个信源所提供的平均信息量，首先，我们应
存在的平均不确定性。例如有三个信源X1，X2，X3，它们的 信源空间分别是：
X1
P(
X
1
)
a1 0.5
0a.25,
X2
P(
X
2
)
a1 0.7
0a.23,
X3 P( X 3
)
a1 0.99
a2 0.01
(3) 用信息熵H(X)来表示随机变量X的随机性。
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 单符号离散信源的数学模型 2.2 自信息和信息函数 2.3 信息熵 2.4 信息熵的基本性质 2.5 联合熵和条件熵的分解与计算 2.6 信息熵的解析性质 2.7 离散信源的最大熵值 2.8 多符号离散平稳信源 2.9 多符号离散平稳无记忆信源及其信息熵 2.10 多符号离散平稳有记忆信源及其信息熵 2.11 信源的相关性与冗余度
第2章_离散信源及信息测度2
熵函数
H P H ( p1 , p2 , , p N ) pi log pi
i 1
N
非负性
H P 0
该性质是很显然的。因为随机变量X的所有取值的概率分布满足0 log p i 0，而 p i log p i 0 ， <pi<1，当取对数的底大于1时，
三者反映的内容及可能产生的影响大相径庭，但它们的信息熵是相
同的，即表示这三个信源总的统计特性是相同的。所以熵表征信源 总的统计特征，总体的平均不确定性。这也说明了所定义的熵有它 的局限性，它不能描述事件本身的具体含意和主观价值等，仅考虑 了语法信息，而未涉及语义信息和语用信息。
DUT
信息论基础
6
q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信 息熵才能达到最大值。
DUT
信息论基础
14
2.3 信息熵的基本性质
上凸性 定义2.1 n维欧氏空间的子空间K，如果对于子空间K中任意二个矢量
x 1 和 x 2 ，它们的线性组合矢量 x x 1 (1 ) x 2 仍在子空间K内， 且 0 1，则我们定义子空间K是凸状的，称K为凸域。
i 1 j 1 q m i 1 j 1 q
p ai p b j / ai log p ai p ai b j log p b j / ai
m i 1 j 1 q i 1 j 1
p ai log p ai p b j / ai H Y / X
12
2.3 信息熵的基本性质
例2.7 运用熵函数的递增性，计算熵函数 解: 根据熵函数的递增性，可得
1 1 1 1 H , , , 3 3 6 6
H P H ( p1 , p2 , , p N ) pi log pi
i 1
N
非负性
H P 0
该性质是很显然的。因为随机变量X的所有取值的概率分布满足0 log p i 0，而 p i log p i 0 ， <pi<1，当取对数的底大于1时，
三者反映的内容及可能产生的影响大相径庭，但它们的信息熵是相
同的，即表示这三个信源总的统计特性是相同的。所以熵表征信源 总的统计特征，总体的平均不确定性。这也说明了所定义的熵有它 的局限性，它不能描述事件本身的具体含意和主观价值等，仅考虑 了语法信息，而未涉及语义信息和语用信息。
DUT
信息论基础
6
q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信 息熵才能达到最大值。
DUT
信息论基础
14
2.3 信息熵的基本性质
上凸性 定义2.1 n维欧氏空间的子空间K，如果对于子空间K中任意二个矢量
x 1 和 x 2 ，它们的线性组合矢量 x x 1 (1 ) x 2 仍在子空间K内， 且 0 1，则我们定义子空间K是凸状的，称K为凸域。
i 1 j 1 q m i 1 j 1 q
p ai p b j / ai log p ai p ai b j log p b j / ai
m i 1 j 1 q i 1 j 1
p ai log p ai p b j / ai H Y / X
12
2.3 信息熵的基本性质
例2.7 运用熵函数的递增性，计算熵函数 解: 根据熵函数的递增性，可得
1 1 1 1 H , , , 3 3 6 6
2.3第二章-离散信源及其信息测度
实际的信源输出的消息是时间或空间上离散的一系列 随机变量。这类信源每次输出的不是一个单个的符号， 随机变量。这类信源每次输出的不是一个单个的符号，而 是一个符号序列。在信源输出的序列中， 是一个符号序列。在信源输出的序列中，每一位出现哪个 符号都是随机的， 符号都是随机的，而且一般前后符号的出现是有统计依赖 关系的。这种信源称为多符号离散信源。 关系的。这种信源称为多符号离散信源。
•
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
∑ p(a ) = 1
i
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
ai = xi1 xi2 ⋯ xiN 的概率为 p ( ai ) = p ( xi1 ) p ( xi2 ) ⋯ p ( xiN ), i1 , i2 , ⋯ , iN ∈ {1, 2, ⋯ n}
上式共有N项 上式共有 项，考察其中第一项
∑ p(a ) log
i X
N
1 2 p ( xi1 )
= ∑ p( xi1 ) p( xi2 ) … p( xiN ) log 2
XN n n n
1 p ( xi1 )
= ∑∑ … ∑ p( xi1 ) p ( xi2 ) … p ( xiN ) log 2
X=X1X2X3…XN
信源在不同时刻的随机变量X 的概率分布P(Xi)和 信源在不同时刻的随机变量 i和Xi+r的概率分布 和 P(Xi+r)一般来说是不相同的，即随机变量的统计特性随 一般来说是不相同的， 一般来说是不相同的 着时间的推移而有所变化。 着时间的推移而有所变化。
•
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
∑ p(a ) = 1
i
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
ai = xi1 xi2 ⋯ xiN 的概率为 p ( ai ) = p ( xi1 ) p ( xi2 ) ⋯ p ( xiN ), i1 , i2 , ⋯ , iN ∈ {1, 2, ⋯ n}
上式共有N项 上式共有 项，考察其中第一项
∑ p(a ) log
i X
N
1 2 p ( xi1 )
= ∑ p( xi1 ) p( xi2 ) … p( xiN ) log 2
XN n n n
1 p ( xi1 )
= ∑∑ … ∑ p( xi1 ) p ( xi2 ) … p ( xiN ) log 2
X=X1X2X3…XN
信源在不同时刻的随机变量X 的概率分布P(Xi)和 信源在不同时刻的随机变量 i和Xi+r的概率分布 和 P(Xi+r)一般来说是不相同的，即随机变量的统计特性随 一般来说是不相同的， 一般来说是不相同的 着时间的推移而有所变化。 着时间的推移而有所变化。
第2章_离散信源及信息测度1
显然，信源空间必定是一个完备集，即
(2.1)
DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
(2.1)
DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I ( xi y j ) log2 log2
1 p ( xi ) p ( y j / xi ) 1 p ( y j ) p ( xi / y j )
第一节 信源的数学模型及分类
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
第一节 信源的数学的概率越小，我们猜测它有没有发生的困难程度就
越大，不确定性就越大。概率等于1的必然事件，就不存在 不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的 函数。
第二节 离散信源的信息熵
1、自信息 某事件发生所携带的信息量是和该事件出现的概率有 关，概率可以表征自信息量的大小
量单位； 计算机术语中“比特”是代表二元 数字； 这两种定义之间的关系是：每个二 元数字所能提供的最大平均信息量 为1比特。
第二节 离散信源的信息熵
例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用a1来表示晴天，以a2 来表 a2 示雨天，则我们的信源模型如下：
X a1, p( x) 1/ 4,
a2 3/ 4
I (a1 ) log 4 2 4 I ( a2 ) log 0.415 3
联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
a2 p2
... ...
aq pn
p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出的消 息，集合P中包含对应消息的概率密度，各个消 息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类
2、连续信源指发出在时间和幅度上都是连续分布的连 续消息（模拟消息）的信源。 数学模型如下：
其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为
I ( xi y j ) log 2
log2
1 p( xi )
1 p ( xi y j )
p( x y ) 1
i j i 1 j 1
n
m
当X和Y相互独立时，p(xiyj)=p(xi)p(yj)
f (P i) 0
（3）当 P(ai ) 0 时 f ( P i) （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
第二节 离散信源的信息熵
根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 I (ai ) log P(ai )
I (ai ) 有两个含义：
随机变量x描述 信源输出的消息 离散信源 连续信源
随机序列x描述 信源输出的消息
非平稳信源
平稳信源
离散平稳信源 连续平稳信源
第一节 信源的数学模型及分类
1、离散信源: 指发出在时间和幅度上都是离散分布 的离散消息的信源，如文字、数字、数据等符号都 是离散消息。 数学模型如下：
X a1 P p 1
1奈特＝1.44比特 1哈特＝3.32比特
一般都采用以“2”为底的对数，为了书写简洁，有
时把底数2略去不写。
如果p(xi)=1/2，则I(xi)=1比特。所以
信息论中 “比特”与 计算机术语 中“比特” 区别
1比特信息量就是两个互不相容的等 可能事件之一发生时所提供的信息 量。
信息论中“比特”是指抽象的信息
X (a, b) p ( x) p ( x)
b
a
p( x)dx 1
每次只输出一个消息，但消息的可能数目是无穷多个。
例：电压、温度等。
第二节 离散信源的信息熵
在信息传输的一般情况下，直观地把信息量定义为： 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） 事件发生的不确定性与事件发生的概率有关。
信息量I(xi/yj)定义为 I ( x / y ) log i j 2
1 p( xi / y j )
表示在特定条件下（yj已定）随机事件xi 所带来的信息量
1 同理，xi已知时发生yj的条件自信息量为 I ( y / x ) log j i 2 p( y j / xi )
自信息量、条件自信息量和联合自信息量之间的关系
I (ai ) f [ P(ai )]
P (ai ) 是事件的发生的先验概率。
根据客观事实和人们的习惯概念，应满足以下条件：
第二节 离散信源的信息熵
（1）f ( pi ) 应是先验概率的单调递减函数，即
当 P 时 1 (a1 ) P 2 (a 2) （2）当 P(ai ) 1 时
f (P 1 ) f (P 2)
1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量。
第二节 离散信源的信息熵
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit,以 纪念哈特莱首先提出用对数来度量消息)
I ( xi y j ) log2
1 p( xi ) p( y j )
log2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于
各自自信息量之和。
条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自
1 p ( xi ) p ( y j / xi ) 1 p ( y j ) p ( xi / y j )
第一节 信源的数学模型及分类
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
第一节 信源的数学的概率越小，我们猜测它有没有发生的困难程度就
越大，不确定性就越大。概率等于1的必然事件，就不存在 不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的 函数。
第二节 离散信源的信息熵
1、自信息 某事件发生所携带的信息量是和该事件出现的概率有 关，概率可以表征自信息量的大小
量单位； 计算机术语中“比特”是代表二元 数字； 这两种定义之间的关系是：每个二 元数字所能提供的最大平均信息量 为1比特。
第二节 离散信源的信息熵
例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用a1来表示晴天，以a2 来表 a2 示雨天，则我们的信源模型如下：
X a1, p( x) 1/ 4,
a2 3/ 4
I (a1 ) log 4 2 4 I ( a2 ) log 0.415 3
联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
a2 p2
... ...
aq pn
p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出的消 息，集合P中包含对应消息的概率密度，各个消 息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类
2、连续信源指发出在时间和幅度上都是连续分布的连 续消息（模拟消息）的信源。 数学模型如下：
其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为
I ( xi y j ) log 2
log2
1 p( xi )
1 p ( xi y j )
p( x y ) 1
i j i 1 j 1
n
m
当X和Y相互独立时，p(xiyj)=p(xi)p(yj)
f (P i) 0
（3）当 P(ai ) 0 时 f ( P i) （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
第二节 离散信源的信息熵
根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 I (ai ) log P(ai )
I (ai ) 有两个含义：
随机变量x描述 信源输出的消息 离散信源 连续信源
随机序列x描述 信源输出的消息
非平稳信源
平稳信源
离散平稳信源 连续平稳信源
第一节 信源的数学模型及分类
1、离散信源: 指发出在时间和幅度上都是离散分布 的离散消息的信源，如文字、数字、数据等符号都 是离散消息。 数学模型如下：
X a1 P p 1
1奈特＝1.44比特 1哈特＝3.32比特
一般都采用以“2”为底的对数，为了书写简洁，有
时把底数2略去不写。
如果p(xi)=1/2，则I(xi)=1比特。所以
信息论中 “比特”与 计算机术语 中“比特” 区别
1比特信息量就是两个互不相容的等 可能事件之一发生时所提供的信息 量。
信息论中“比特”是指抽象的信息
X (a, b) p ( x) p ( x)
b
a
p( x)dx 1
每次只输出一个消息，但消息的可能数目是无穷多个。
例：电压、温度等。
第二节 离散信源的信息熵
在信息传输的一般情况下，直观地把信息量定义为： 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） 事件发生的不确定性与事件发生的概率有关。
信息量I(xi/yj)定义为 I ( x / y ) log i j 2
1 p( xi / y j )
表示在特定条件下（yj已定）随机事件xi 所带来的信息量
1 同理，xi已知时发生yj的条件自信息量为 I ( y / x ) log j i 2 p( y j / xi )
自信息量、条件自信息量和联合自信息量之间的关系
I (ai ) f [ P(ai )]
P (ai ) 是事件的发生的先验概率。
根据客观事实和人们的习惯概念，应满足以下条件：
第二节 离散信源的信息熵
（1）f ( pi ) 应是先验概率的单调递减函数，即
当 P 时 1 (a1 ) P 2 (a 2) （2）当 P(ai ) 1 时
f (P 1 ) f (P 2)
1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量。
第二节 离散信源的信息熵
自信息的测度单位及其换算关系
如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit,以 纪念哈特莱首先提出用对数来度量消息)
I ( xi y j ) log2
1 p( xi ) p( y j )
log2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于
各自自信息量之和。
条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自