信息论 第二章1
合集下载
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
第二章基本信息论1信源不确定性
2
H ( X ) p(xi )lb p(xi ) lb(1/ p) lb 2 1比特/消息
i 1
2）如果p(0)=1，p(1)=0，则：
H ( X ) p(0)lb p(0) p(1)lb p(1) 0
3）如果p(0)=0，p(1)=1，则：
H(X)
1
H ( X ) p(0)lb p(0) p(1)lb p(1) 0
证明：自然对数具有性质： ln x x 1, x 0
当且仅当x=1时，上式取等号
n
n
H ( X ) lb n p(xi )lb p(xi ) p(xi )lb n
i 1
n i 1
p(
xi
)
lb
1 np( xi
)
i 1
令x 1 np( xi )
n
p(xi )lb x
j
p(
y
j
)
i
p( xi / y j ) lb p( xi )
p( y j ) p(xi / y j ) lb p(xi )
i j
p(xi y j ) lb p(xi )
i j
p(xi )lb p(xi ) H ( X )
, xi , , wi ,
, ,
xn wn
其中wi 0为消息xi的权重
n
信源X的加权熵： Hw ( X ) wi p(xi )lb p(xi )
i 1
例1：
X p( X
)
1 0.99
H ( X ) p(xi )lb p(xi ) lb(1/ p) lb 2 1比特/消息
i 1
2）如果p(0)=1，p(1)=0，则：
H ( X ) p(0)lb p(0) p(1)lb p(1) 0
3）如果p(0)=0，p(1)=1，则：
H(X)
1
H ( X ) p(0)lb p(0) p(1)lb p(1) 0
证明：自然对数具有性质： ln x x 1, x 0
当且仅当x=1时，上式取等号
n
n
H ( X ) lb n p(xi )lb p(xi ) p(xi )lb n
i 1
n i 1
p(
xi
)
lb
1 np( xi
)
i 1
令x 1 np( xi )
n
p(xi )lb x
j
p(
y
j
)
i
p( xi / y j ) lb p( xi )
p( y j ) p(xi / y j ) lb p(xi )
i j
p(xi y j ) lb p(xi )
i j
p(xi )lb p(xi ) H ( X )
, xi , , wi ,
, ,
xn wn
其中wi 0为消息xi的权重
n
信源X的加权熵： Hw ( X ) wi p(xi )lb p(xi )
i 1
例1：
X p( X
)
1 0.99
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论第二章
I(a2)log30.415
例 甲袋中有n个不同阻值的电阻，从中随机取 出一个，猜测所取得的是何种阻值的困难程 度是多少？
解： 这相当于求事件的不确定性
事件等概
p(ai
)
1 n
I(ai)lop gi logn
例 甲袋中有n(n+1)/2个不同阻值的电阻，其中 1Ω的1个，2Ω的2个，……，nΩ的n个，从 中随机取出一个，求“取出阻值为i（0 ≤ i≤ n）的电阻”所获得的信息量。
1
I(ai)
log P(ai)
其中： 1）p(ai)1 ，0 pi 1 i 2）I(ai)非负 对数的底数大于1
自信息量的单位取决于对数所取的底
关于对数底的选取：
log2x 比特 lnx 奈特 log10x 哈特
1奈特 1.443比特 1哈特 3.32比特
（5）自信息的物理意义
★自信息的含义包含两方面：
第一节信源的数学模型及分类第二节离散信源的信息熵第三节信息熵的基本性质第四节多符号离散信源第五节马尔可夫信源第六节信源剩余度与自然语言的熵第一节信源的数学模型及分类在通信系统中收信者在未收到信息以前对信源发出什么样的消息是不确定的是随机的所以可以用随机变量随机矢量或随机过程来描述信源输出的消息或者说用一个样本空间及其概率测度来描述信源
收到某消息获得的信息量=收到消息前关于某事件发生的 不确定性=信源输出的某消息中所含有的信息量
（2）自信息
事件发生的不确定性与事件发生的概率有关。因此， 某事件所含有的信息量应该是事件发生的先验概率的 函数。
I(ai)f[P(ai)]
根据客观事实和人们的习惯概念，应满足以下条件:
（3）自信息满足的条件
• 如语音信号，热噪声信号。
例 甲袋中有n个不同阻值的电阻，从中随机取 出一个，猜测所取得的是何种阻值的困难程 度是多少？
解： 这相当于求事件的不确定性
事件等概
p(ai
)
1 n
I(ai)lop gi logn
例 甲袋中有n(n+1)/2个不同阻值的电阻，其中 1Ω的1个，2Ω的2个，……，nΩ的n个，从 中随机取出一个，求“取出阻值为i（0 ≤ i≤ n）的电阻”所获得的信息量。
1
I(ai)
log P(ai)
其中： 1）p(ai)1 ，0 pi 1 i 2）I(ai)非负 对数的底数大于1
自信息量的单位取决于对数所取的底
关于对数底的选取：
log2x 比特 lnx 奈特 log10x 哈特
1奈特 1.443比特 1哈特 3.32比特
（5）自信息的物理意义
★自信息的含义包含两方面：
第一节信源的数学模型及分类第二节离散信源的信息熵第三节信息熵的基本性质第四节多符号离散信源第五节马尔可夫信源第六节信源剩余度与自然语言的熵第一节信源的数学模型及分类在通信系统中收信者在未收到信息以前对信源发出什么样的消息是不确定的是随机的所以可以用随机变量随机矢量或随机过程来描述信源输出的消息或者说用一个样本空间及其概率测度来描述信源
收到某消息获得的信息量=收到消息前关于某事件发生的 不确定性=信源输出的某消息中所含有的信息量
（2）自信息
事件发生的不确定性与事件发生的概率有关。因此， 某事件所含有的信息量应该是事件发生的先验概率的 函数。
I(ai)f[P(ai)]
根据客观事实和人们的习惯概念，应满足以下条件:
（3）自信息满足的条件
• 如语音信号，热噪声信号。
信息论第二章
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类 2、连续信源 数学，模型如下：
离散信源的进一步分类
发出单个符号的无记忆信源 离散无记忆信源指信源每次只发出 发出符号序列的无记忆信源 离散信源 一个符号 代表一 发出符号序列的有记忆信源 个消息． 离散有记忆信源 发出符号序列的马儿可夫信源
H( p1, p2 ,..., pq ) H(1/ q,1/ q,...,1/ q) log q
上式表明，对于具有q个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最 大值，这也表明等概分布的信源的平均不确定性最大， 这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit
H ( X 2 ) 2H ( X )
第五节 离散平稳信源 1、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述：
第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列 中只有前后两个符号间有依赖关系，我们可以对其二维 扩展信源进行分析。 信源的概率空间:
n
n是指发出在时间和幅度上都是离散分布的
离散信源 连续信源
符号都是离散消息。 是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、 图像、图形等都是连续消息。
n
第一节 信源的数学模型及分类 1、离散信源
信源种类 离散信源 （数字信源） 连续信号 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
第二章-信息论基本概念(2)(1)
(四） 平均互信息（平均交互信息熵/交互熵） 四 平均互信息（平均交互信息熵 交互熵） 交互熵
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
信息论第二章课后习题解答
自信息之和。各消息所包含的信息量分别为：
发出的消息中，共有14个“0”，13个“1” ，12个“2” ，6 个“3” ，
则得到消息的自信ቤተ መጻሕፍቲ ባይዱ为：
平均每个符号携带的信息量为
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%， 女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色 盲？”，他的回答可能是“是”，也可能是“否” ，问这两个 回答中各含有多少信息量？平均每个回答中含有多少信息量？ 如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解：男为红绿色盲的概率空间为：
问男，回答“是”所获昨的信息量为：
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
解： “两骰子总点数之和为2”，即两骰子的点数各为1，由于
二者是独立的，因此该种情况发生的概率为
，该事
件的信息量为：
“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5
和3、6 和2，概率为
，因此该事件的信息量为：
“两骰子面朝上点数是3和4”的可能性有两种： 3和4、 4和3， 概率为
发出的消息中，共有14个“0”，13个“1” ，12个“2” ，6 个“3” ，
则得到消息的自信ቤተ መጻሕፍቲ ባይዱ为：
平均每个符号携带的信息量为
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%， 女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色 盲？”，他的回答可能是“是”，也可能是“否” ，问这两个 回答中各含有多少信息量？平均每个回答中含有多少信息量？ 如果你问一位女同志，则答案中含有的平均自信息量是多少？ 解：男为红绿色盲的概率空间为：
问男，回答“是”所获昨的信息量为：
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
解： “两骰子总点数之和为2”，即两骰子的点数各为1，由于
二者是独立的，因此该种情况发生的概率为
，该事
件的信息量为：
“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5
和3、6 和2，概率为
，因此该事件的信息量为：
“两骰子面朝上点数是3和4”的可能性有两种： 3和4、 4和3， 概率为
信息论PPT第二章
2011-11-12
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
7
2.1 信源的数学模型及分类
B. N次扩展信源的信源空间 次扩展信源的信源空间
因为信源XN 的每一个消息[Xi]，(i=1,2,…,N)均 因为信源 的每一个消息 ， 均 由信源X的符号集 的符号集A:{a1,a2,…aq}中的 个符号组成， 中的N个符号组成 由信源 的符号集 中的 个符号组成， 所 以 ， XN 的 某 一 个 具 体 符 号 α i 可 以 表 示 为 [αi]=(ai1,ai2,…aij…aiN) aij∈A:{a1,a2,…aq}，这个关系 ， 表明扩展信源的每个符号取值于同一个单符号信源 空间， 空间，A:{ a1,a2,…aq}。 。 因此扩展信源X 就有q 种不同的符号， 因此扩展信源 N就有 N 种不同的符号 ， 可以表 示为 [XN ]: {[α1],[α2],…[αi],…[αqN]}; (i=1,2, qN)
X1 1 2 ＝ P（x1） 1/4 1/4
H(x) － H(x1) = 1－－获得1bit信息量 X2 1 2 3 4 5 6 7 ＝ P（x2） 1/2 1/2 0 0 0 0 0 H(x1) － H(x2) =1 －－获得1bit信息量 X3 ＝ P（x3） 1 1 2 0 3 0 4 0 5 0 6 0 7 0
根据消息的不同的随机性质对信源进行分类： 根据消息的不同的随机性质对信源进行分类： 离散信源：信源输出的都是单个符号（ 离散信源：信源输出的都是单个符号（或代 的消息， 码）的消息，它们符号集的取值是有限的或 可数的。 可数的。可用一维离散型随机变量X来描述这 些信源的输出。这样的信源称为～。 些信源的输出。这样的信源称为～。
H(x2) = log2 = 1(bit/符号)
8 H(x3) 0 = log1 = 0(bit/符号)
第二章信息论
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
补充解释 信源和信宿
信源亦称信息源，它能够形成和发送一组有待于传输
给接收端的消息或消息序列。
信宿即信息接受者，它能够接收信息并使信息再现从
而达到通信的目的。
说明：
信源和信宿是多方面的，既可以是人，也可以是 物
信源和信宿是相对的 信源发出的信息对于信宿来说是不确定的
第二节 信息论基础知识
一、通信系统模型 1、通信系统模型
申农认为通信应该是信息在系统中识别、 传输、变换、存储、处理、显示的过程。因此 通信系统必须是一个发送与接收，输入与输出 两者相互联系的不可分割的统一体。
通信系统模型
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。 各种通信系统，一般可概括为下图所示的统计模型：
信源
信源编码器 信道编码器
等效信源 等效信宿
信宿
信源译码器 信道译码器
等效干扰 信道
信
干
道
扰
源
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
维纳从控制和通信的角度研究了信息问题，以自动 控制的观点解决了信号被噪声干扰时的处理问题，建立 了“维纳滤波理论”，从而扩大了信息论的研究范围。
申农信息论
申农使信息论成为了一门独立的学科，主要解决 了信息编码问题和如何提高通信的效率和可靠性。
《通信中的数学理论》和《在噪声中的通信》集 中了申农的研究成果，系统的论述了信息理论，奠定 了现代信息论的基础。
信息论与编码第二章
第二章1对于离散无记忆信源DMS=,试证明：HX=H2p=-p log p-1-plog1-p当p=1/2时,HX达到最大值;2对1中的DMS,考虑它的二次扩展信源X2=,证明：HX2=2HX;解：（1）函数HX=-plogp-1-plog1-p中的变量p在0到1中取值,从函数的结构上可以知道该函数在区间0,1上是关于p=1/2对称的函数;（2）H X==-logp-1-pp1-pp1ln2+（3）+1ln21-p-1ln2+log1-p-pln21-p=log1-pln21-p=log1-pp>0在区间0,上1-p>p,则1-p/p>1,所以log,在此区间上Hx>0,Hx 单调递增;又该函数是在区间0,1上是关于p=1/2对称的函数,那么在区间,1上单调递减;所以,HX=H2p=-plogp-1-plog1-p在p=1/2时,HX达到最大值;2二次扩展后的矩阵：=HX2=-p2logp2-p1-plog2p1-p-2p1-plogp1-p=2-plogp1-p-1-plog1-pp-21-plog1-pp-1-plog1-p=2HX1一个无偏骰子,掷骰子的熵为多少2 如果骰子的被改造使得某点出现的概率与其点数成正比,那么熵为多少3一对无偏骰子,各掷一次,得到总点数为7,问得到多少信息量解：1 Hx= -log1/6=log6=bit/符号2由qx i=kx i得21k=1 即 k=1/21Hx=-1/21log1/21-2/21log2/21-3/21log3/21-4/21log4/21-5/21l og5/21-6/21log6/21=bit/符号3IA+B=7=-log1/6=log6=bit一个盒子中放有100个球,其中60个球是黑色的,40个球是白色的; 1随机摸取一个球,求获得的自信息量;2进行放回摸取n次,求这n次所得到的平均自信息量;解：1Ix i=-log1/100=log100bit2总信息量为：nIx1Px1+nIx2Px2平均：1/n nIx1Px1+nIx2Px2=bit给定信源=,1 该信源是平稳信源吗计算信源熵；2计算Hx3,并列出信源;3 计算Hx3|x1x2及N维扩展信源在N趋于无穷时的熵.解：1 Hx= bit/符号Hx<=NHx 是平稳信源2Hx3==3Hx= bit/符号X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2} 记x i x j x t=b k,k=0 (7)则=3 Hx3|x1x2=-N维扩展信源在N趋于无穷时,qx i j几乎相等;所以,-=-=0所以,N维扩展信源在N趋于无穷时的熵0;证明几何分布=的熵为HX=;证明：由题意可得,x的二维扩展概率分布为：=Hx=-plogp-p1-plogp1-p…-p1-p i-1logp1-p i-1H2p=-p2logp2-p21-plogp21-p…-p21-p2i-2logp21-p2i-2将H2p进行化简,可得：H2p=Hxp所以,Hx=。
信息论第2章
第二章信息的定量描述第一节信息的传输通信——信息的传输。
信息传输的方式是多种多样的。
例如：带口信，写书信，打电话等等。
在这些场合，通信的双方都是人。
不过，传输媒介各不相同：带口信时，传输媒介是人；在写书信时，传输媒介是邮政系统；在打电话时，则是电报和电话系统。
再如，打旗语，吹军号，发口令，打拍子等等，也都是某种形式的通信，它们的作用都是把某一方的信息传送给另一方。
甚至谈话、讲演、看戏等等，也都包含着信息传输的过程，当然也可以看作是某种形式的通信。
此外，还有人与自然界、人与机器以及机器与机器之间的通信。
比如：用感官感受外部世界——人与自然界通信；用仪器检测人体状况——人与机器的通信；自动控制设备的状态——机器与机器通信；计算机及网络对各种信息进行处理、存取和交换—机林器或系统内部的通信等等。
其中：信源——信息的发出者；信宿——信息的接收者；信道——信息传输的媒介；噪声——阻碍信息传输的因素。
图2-1 信息系统简化模型8注：①这是一个抽象的模型；②信源和信宿可以是人、机器或其事物；③噪声是分布在系统的各部分的。
人们总是希望能迅速、准确地传输信息。
信息传输的速度——有效性。
信息传输的质量——可靠性。
有效性和可靠性,是通信的基本问题。
要想有效和可靠地传输信息，往往需要通过编码把信源发出的消息转换成便于在信道中传输信号。
一个完整的信息系统模型如图2-2来表示。
图2-2 信息系统模型⒈信源编码是为了解决通信的有效性所进行的编码，又叫有效性编码。
⒉信道编码是为了解决通信的可靠性所进行的编码，又叫可靠性编码。
⒊信源编码和信道编码的共同任务是把信源输出的消息变换为便于在信道中传输的信号。
⒋与它们相对应的信源译码和信道译码的共同任务是把信道输出的信号变换为信宿所需要的消息。
图中新增加的这四个部分，正是我们在后面的章节中所要讨论的主要内容。
单向信道——在这种通信系统中，信息只能单向传输。
例如，无线电广播等。
双向信道——在这种通信系统中，信息可以双向传输。
《信息论》第二章
(5)凸函数性 当 p(y|x) 给定时,I(X;Y) 是 p(x) 的上凸函数. 当 p(x) 给定时,I(X;Y) 是 p(y|x) 的下凸函数.
29
I(X;Y)与信息熵的关系 与信息熵的关系
H ( XY )
H(X)
I(X;Y)=0 集合X与集合Y 相互独立的情况
H (Y )
30
I(X;Y)与信息熵的关系 与信息熵的关系
13
信息熵,条件熵,联合熵 信息熵,条件熵, 三者之间的关系
H ( XY ) = H ( X ) + H (Y | X ) H ( XY ) = H (Y ) + H ( X | Y )
当集合X 和集合Y 相互独立时有
H(X |Y ) = H(X ) H (Y | X ) = H (Y ) H ( XY ) = H ( X ) + H (Y )
14
离散二元信源的信息熵 H ( X ) = [ p log p + (1 p) log(1 p)]
1 X 0 p( x ) = p 1 p
15
例题
有两个二元随机变量X和 , 有两个二元随机变量 和Y,它们的联合概率为 p(xy) x = 0 x = 1 y = 0 1/8 3/8 y=1 3/8 1/8 并定义另一随机变量Z=XY(一般乘积),试计算: 并定义另一随机变量 (一般乘积 ,试计算: (1) H(X),H(Y),H(Z),H(XY),H(XZ),H(YZ) , , , , , , H(XYZ) (2) H(X|Y),H(X|Z),H(Z|X), H(Z|Y), H(Y|Z), , , , , , H(Y|XZ),H(Z|XY) ,
11
联合自信息量与联合熵
联合自信息量定义
29
I(X;Y)与信息熵的关系 与信息熵的关系
H ( XY )
H(X)
I(X;Y)=0 集合X与集合Y 相互独立的情况
H (Y )
30
I(X;Y)与信息熵的关系 与信息熵的关系
13
信息熵,条件熵,联合熵 信息熵,条件熵, 三者之间的关系
H ( XY ) = H ( X ) + H (Y | X ) H ( XY ) = H (Y ) + H ( X | Y )
当集合X 和集合Y 相互独立时有
H(X |Y ) = H(X ) H (Y | X ) = H (Y ) H ( XY ) = H ( X ) + H (Y )
14
离散二元信源的信息熵 H ( X ) = [ p log p + (1 p) log(1 p)]
1 X 0 p( x ) = p 1 p
15
例题
有两个二元随机变量X和 , 有两个二元随机变量 和Y,它们的联合概率为 p(xy) x = 0 x = 1 y = 0 1/8 3/8 y=1 3/8 1/8 并定义另一随机变量Z=XY(一般乘积),试计算: 并定义另一随机变量 (一般乘积 ,试计算: (1) H(X),H(Y),H(Z),H(XY),H(XZ),H(YZ) , , , , , , H(XYZ) (2) H(X|Y),H(X|Z),H(Z|X), H(Z|Y), H(Y|Z), , , , , , H(Y|XZ),H(Z|XY) ,
11
联合自信息量与联合熵
联合自信息量定义
信息论第二章
第二章 信息的量度
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
信息论第二章ppt
1
特别，对于离散情形，记 xi 表示时刻t i 所取的值， { X (t )} 若 为平稳过程，则其各维联合概率分布均与 t i, t j,( i j) 时间起点无关，即当时 ，有 ， P( x ) P( x ) ，
i j
P( xi xi1 ) P(x j x j 1 )
为描述随机过程在不同时刻的状态之间的统 计联系，一般可对任意个 n(n 2,3, ) 不同时 刻 t1, t2 , , tn T，引入 n 维随机变 量 ( X (t1 ), X (t2 ), , X (tn )) ，它的分布函数记为：
FX ( x1, x2 , , xn ; t1, t2 , , tn ) P{X (t1) x1, X (t2 ) x2 , , X (tn ) xn}, xi R, i 1,2, , n
当t1 t2 t
2
2 2 ( t ) C ( t , t ) R ( t , t ) X X X (t ) 时， X
。
如果对每一个 t T ，随机过程 {X (t ), t T }的二 阶矩 E[ X (t )] 都存在，则称它为二阶过程。二阶过 程的相关函数总存在。 例3. 求随机相位正弦波的均值函数、方差函 数和自过程
(1) 如果X (t ) E[ X (t )] X (t ) 以概率1成立，称随机过程{ X (t )} 的均值具有各态历经性； (2) 若对任意实数 ，RX ( ) E[ X (t) X (t )] X (t) X (t ) 以概率1成立，则称随机过程 {X (t )} 的自相关函数具有各 态历经性，特别当 0 时，称均方值具有各态历经 性； (3) 如果随机过程 { X (t )} 的均值和自相关函数都具有各 态历经性，则称 { X (t )}是各态历经过程，或称{ X (t )} 是各 态历经的。各态历经性有时也称作遍历性或埃尔谷德性。
特别，对于离散情形，记 xi 表示时刻t i 所取的值， { X (t )} 若 为平稳过程，则其各维联合概率分布均与 t i, t j,( i j) 时间起点无关，即当时 ，有 ， P( x ) P( x ) ，
i j
P( xi xi1 ) P(x j x j 1 )
为描述随机过程在不同时刻的状态之间的统 计联系，一般可对任意个 n(n 2,3, ) 不同时 刻 t1, t2 , , tn T，引入 n 维随机变 量 ( X (t1 ), X (t2 ), , X (tn )) ，它的分布函数记为：
FX ( x1, x2 , , xn ; t1, t2 , , tn ) P{X (t1) x1, X (t2 ) x2 , , X (tn ) xn}, xi R, i 1,2, , n
当t1 t2 t
2
2 2 ( t ) C ( t , t ) R ( t , t ) X X X (t ) 时， X
。
如果对每一个 t T ，随机过程 {X (t ), t T }的二 阶矩 E[ X (t )] 都存在，则称它为二阶过程。二阶过 程的相关函数总存在。 例3. 求随机相位正弦波的均值函数、方差函 数和自过程
(1) 如果X (t ) E[ X (t )] X (t ) 以概率1成立，称随机过程{ X (t )} 的均值具有各态历经性； (2) 若对任意实数 ，RX ( ) E[ X (t) X (t )] X (t) X (t ) 以概率1成立，则称随机过程 {X (t )} 的自相关函数具有各 态历经性，特别当 0 时，称均方值具有各态历经 性； (3) 如果随机过程 { X (t )} 的均值和自相关函数都具有各 态历经性，则称 { X (t )}是各态历经过程，或称{ X (t )} 是各 态历经的。各态历经性有时也称作遍历性或埃尔谷德性。
信息论导论-第2章_20131
信息论导论-第2章
14
互信息量(简述)
1、互信息量的定义 2、互信息量的性质
信息论导论-第2章
15
互信息量
两个随机事件X和Y，分别取值于信源、信宿 发出的离散消息集合 a
信源X的数学模型
a2 , p (a2 ),
n i =1
X a1 , = P( X ) p (a1 ),
∴ I ( x1 ) = −lbP ( x1 ) = −lb(1/ 2) = lb 2 = 1(bit ) −lbP ( x2 ) = −lb(1/ 4) = I ( x2 ) = lb 4 = 2(bit ) I ( x3 ) = −lbP ( x3 ) = −lb(1/ 8) = lb8 = 3(bit ) I ( x4 ) = −lbP ( x4 ) = −lb(1/ 8) = lb8 = 3(bit )
0
logxP(x) P(x) 1
③I(xi)是P(xi)的单调递减函数。
信息论导论-第2章
11
一、自信息量
证明：
P( xi ) ∈ [0,1] dI ( xi ) d ∴ = [−lbP( xi )] dP( xi ) dP( xi ) −lbe d = −lbe <0 [ln P ( xi )] = dP( xi ) P( xi )
n
i =1
k = 1, 2, , n
信息论导论-第2章
21
二、单符号离散信源的信息熵
n n ∂ 即 {−∑ P( xi )lbP( xi ) + λ[∑ P( xi ) − 1]} ∂P( xk ) i 1 = i 1 =
= −[lbe + lbP( xk )] + λ = 0,
14
互信息量(简述)
1、互信息量的定义 2、互信息量的性质
信息论导论-第2章
15
互信息量
两个随机事件X和Y，分别取值于信源、信宿 发出的离散消息集合 a
信源X的数学模型
a2 , p (a2 ),
n i =1
X a1 , = P( X ) p (a1 ),
∴ I ( x1 ) = −lbP ( x1 ) = −lb(1/ 2) = lb 2 = 1(bit ) −lbP ( x2 ) = −lb(1/ 4) = I ( x2 ) = lb 4 = 2(bit ) I ( x3 ) = −lbP ( x3 ) = −lb(1/ 8) = lb8 = 3(bit ) I ( x4 ) = −lbP ( x4 ) = −lb(1/ 8) = lb8 = 3(bit )
0
logxP(x) P(x) 1
③I(xi)是P(xi)的单调递减函数。
信息论导论-第2章
11
一、自信息量
证明：
P( xi ) ∈ [0,1] dI ( xi ) d ∴ = [−lbP( xi )] dP( xi ) dP( xi ) −lbe d = −lbe <0 [ln P ( xi )] = dP( xi ) P( xi )
n
i =1
k = 1, 2, , n
信息论导论-第2章
21
二、单符号离散信源的信息熵
n n ∂ 即 {−∑ P( xi )lbP( xi ) + λ[∑ P( xi ) − 1]} ∂P( xk ) i 1 = i 1 =
= −[lbe + lbP( xk )] + λ = 0,
信息论2章1,23节(上课用)
i 1 j 1
q
m
P( xy)logP( xy)
XY
联合熵的性质：
通信与信息基础教学部
33
信息论课件
平均互信息量
定义：
两个离散随机事件集合X和Y，若 其任意两事件间的互信息量为I(xi；yj)， 则其联合概率加权的统计平均值，称为 两集合的平均互信息量，用I(X；Y)表示。
M N M
通信与信息基础教学部
16
信息论课件
联合自信息量
定义：若有两个消息
xi，xj同时出现， 可用联合概率P(xi，xj)来表示，这时的自 信息量定义为
I ( xi , y j ) log p( xi , y j )
通信与信息基础教学部
17
信息论课件
当xi和xj相互独立时，有P(xi， xj)= P(xi)P(xj)，那么就有I(xi， xj)= I(xi)+ I(xj)
XY XY
通信与信息基础教学部
30
信息论课件
条件熵
物理含义：
称：H(X/Y)为信道疑义度。
称：H(Y/X)为信道噪声熵或散步度。
通信与信息基础教学部
31
信息论课件
举例：已知信源 X、Y 0， 概率为
1 p(a1 0，b1 0） p(a2 1，b2 1） 8
信息论课件
信息论 Information Theory
蒋青
jiangq@ TEL：62460517
通信与信息基础教学部
1
信息论课件
2 离散信源及其信息测度
2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵
q
m
P( xy)logP( xy)
XY
联合熵的性质：
通信与信息基础教学部
33
信息论课件
平均互信息量
定义：
两个离散随机事件集合X和Y，若 其任意两事件间的互信息量为I(xi；yj)， 则其联合概率加权的统计平均值，称为 两集合的平均互信息量，用I(X；Y)表示。
M N M
通信与信息基础教学部
16
信息论课件
联合自信息量
定义：若有两个消息
xi，xj同时出现， 可用联合概率P(xi，xj)来表示，这时的自 信息量定义为
I ( xi , y j ) log p( xi , y j )
通信与信息基础教学部
17
信息论课件
当xi和xj相互独立时，有P(xi， xj)= P(xi)P(xj)，那么就有I(xi， xj)= I(xi)+ I(xj)
XY XY
通信与信息基础教学部
30
信息论课件
条件熵
物理含义：
称：H(X/Y)为信道疑义度。
称：H(Y/X)为信道噪声熵或散步度。
通信与信息基础教学部
31
信息论课件
举例：已知信源 X、Y 0， 概率为
1 p(a1 0，b1 0） p(a2 1，b2 1） 8
信息论课件
信息论 Information Theory
蒋青
jiangq@ TEL：62460517
通信与信息基础教学部
1
信息论课件
2 离散信源及其信息测度
2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7马尔可夫信源 2.8信源剩余度与自然语言的熵
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 自信息函数 I (ai ) 的含义
事件 a i 发生前，表示事件 a i 发生的不确定性。 事件 a i 发生后，表示事件 a i 所含有（或所提 供）的信息量。
3. 自信息的单位取决于对数所选取的底
底数 2，单位比特 底数 e，单位奈特 底数10，单位哈特
(bit ) binary unit (nat) nature unit
本节讨论输出单个符号消息的信源的
信息测度—自信息和信息熵。
单个符号的离散信源的数学模型为
a2 , , aq X a1 , P ( x ) P (a1 ), P (a2 ), , P (aq )
P (a ) 1
i 1 i
语言描述： 当变量 p1 , p2 , , pq 的顺序任意互换 时，熵函数的值不变。 推论：当某些信源的统计特性相同时（含 有的符号数、概率分布相同），则这些信 源的熵相同。 说明：熵的定义是客观的，它不能描述事 件本身的具体含义和主观价值等。
2.3.2 确定性
数学表达式：
H (1,0) H (1,0,0) H (1,0,0) 0
X a1 p(a ) 1 P ( x ) a2 p(a 2 )
1 P ( X a1 ) P ( X a 2 ) P ( X a6 ) 6
aq p(a q )
且
P (a i ) 1
i 1
q
例 掷色子
P(Y y j | X xi ) pij (0 pij 1)
( i 1, , n; j 1, , m )
pi pij P( X xi ) P(Y y j | X xi )
2.3.4 扩展性
数学表达式：
0
lim H q 1 ( p1 , p2 ,, pq , ) H q ( p1 , p2 ,, pq )
语言描述：概率很小的项在计算信息熵 时可忽略。
区别：
(1) 小概率事件若发生，给予 更多的信息量。 (2) 小概率事件几乎不发生，计 算信息熵时，所占的比重极小。
2.3.5 可加性
当信源X和信源Y 统计独立时 H ( XY ) H ( X ) H (Y ) 语言描述：统计独立信源X和Y的联合信 源的熵等于分别熵之和。 证明： 设X的概率分布 ( p1 , p2 , , pn ), Y的概率分布 (q1 , q2 , , qm ),
且 pi 1
语言描述： 当信源的某个输出符号必然出现时, 这个信源是确知信源，其熵为零。
2.3.3 非负性
数学表示式：
H ( p) H ( p1 , p2 , , pq ) pi log pi 0
i 1 q
log pi 0
语言描述： 信源确知时，熵最小为零，否则即存在 不确定性，熵应大于零。
H ( X ) 0.0808
H (Y ) 1
(1)每个消息所提供的平均信息量（Y大）
(2)信源的平均不确定性 (Y大) (3)信源输出的随机性 (Y大)
例2.4 甲地天气构成的信源空间
晴，阴， 大雨，小雨 X 1 1 1 1 ， ， ， P ( x ) 4 8 8 2
H (Y ' ) 0
H (Y ' ' ) 1 bit
结论: (1)等概率提供最大信息量 (2)消息数多的信源提供更多的信息量
2.3 信息熵的基本性质
2.3.1 对称性 2.3.2 确定性 2.3.5 可加性
2.3.6 强可加性
2.3.8 极值性 2.3.9 上凸性
2.3.3 非负性 2.3.4 扩展性
(3) 当 P (ai ) 0 时, f ( pi ) (4) 两个独立事件的联合信息量应等于它们分 别的信息量之和。
f [ p(a , b)] f [ p(a )] f [ p(b)]
1 1 1 1 log log log log P (a , b) P (a ) P (b) P (a ) P (b)
则
X' P ( x )
7 H ( X ) 1.75 bit 4 晴， 阴， 大雨， 小雨 1， 0， 0， 0
H ( X ) 0 bit
晴，阴， 大雨，小雨 X'' 1 1 1 1 ， ， ， P ( x ) 4 4 4 4 1 H ( X ) 4 log 4 2 bit 4
2.3 信息熵的基本性质
信息熵 自信息数学期望
概率分布的一阶原点矩函数 消息数q 消息的概率分布
X a1 , P ( a ), 1 P ( x )
a2 , P (a 2 ),
, ,
aq P ( a q )
当信源符号集的个数q 给定，则信源 的信息熵就是概率分布P(x)的函数。
第二章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度
2.1 信源的数学模型及分类
2.1.1 离散信源（一个消息）
2.1.2 连续信源 (一个消息)
2.1 信源的数学模型及分类
i 1 n
q
j 1
m
j
1
pq
i 1 j 1 i
n
m
j
1
H mn ( p1q1 , p1q2 ,, p1qm , p2q1 ,, pn qm )
pi q j log pi q j
i 1 j 1
n m
n
m
pi q j log pi
i 1 j 1
a1 X 1 P ( x ) 6 a2 1 6 a3 1 6 a4 1 6 a5 1 6 a6 1 6
P (a ) 1
i 1 i
6
P (a i ) 是先验概率
( i=1,2, …,q ) （q个）
特点： 消息数有限
每次必定输出一个消息（完备）
2.1.2 连续信源(一个消息) 定义:可能输出的消息数是无限的或不可 数的,每次只输出一个消息。 举例:语音输出信号、压力信号等 数学模型:一维连续信号变量X
获信息量
I[ P1 ( x )] I[ P2 ( x )] 1 bit
(3) 第二次测量后，可知2个灯泡之一是坏 1 的可能性 P3 ( x ) 不确定性 获信息量 I[ P2 ( x)] I[ P3 ( x)] 1 bit (4) 第三次测量后，可能性 P4 ( x ) 1 不确定性 获信息量 I[ P3 ( x)] I[ P4 ( x)] 1 bit 收到消息后获得的信息量=不确定性减少量 =信源消息含信息量（收后无不确定性）
1 I [ P4 ( x )] log 2 0 1
2 1 I [ P3 ( x )] log 2 1 bit 1 2
I 1、自信息函数应满足的条件： (ai )
I (ai ) f [ P (ai )] f ( Pi )
(1) f ( pi ) 应是先验概率 P (ai )的单调递减函数， 即 P (a1 ) P (a2 ) 时, f [ P(a1 )] f [ P(a2 )] (2) 当 P (ai ) 1 时, f ( pi ) 0
说明：
a2 X a1 , P ( x ) 0.99 0.01 Y b1 b2 P ( y ) 0.5 0.5
I (a1 ) 0.0145 I (a2 ) 6.6439
I (b1 ) 1 I (b2 ) 1
X (a , b) P ( x ) p( x )
或
R P ( x )
实数 概率密度
且
a p( x )dx 1
b
或
R
p( x )dx 1
2.2 离散信源的信息熵
2.2.1 自信息 2.2.2 信息熵
2.2 离散信源的信息熵
q
2.2.1 自信息 在绪论学习中，给出某消息自信息的定义 为： 1
I (a i ) log多 少有关，消除对某事件发生的不确定性就 获得了信息量。
例2.1 8个灯泡 x1 , x 2 ,, x8串联，已知 一个灯泡损坏，分析用万用表检查获得 信息量的过程。
例2.4 乙地天气构成的信源空间
晴， 小雨 Y 7 1 ， P ( y ) 8 8
H (Y ) 0.544 bit
晴， 小雨 Y' 1 P ( y ) 0 ，
晴， 小雨 Y'' 1 1 ， P ( y ) 2 2
1 (1) 未检查前的损坏可能性 P1 ( x ) 8 其不确定性 I [ P1 ( x )] log 1 3 bit 1 8
(2) 第一次测量后，可知4个灯泡之一是损 1 P2 ( x ) 坏的，可能性 4
不确定性
不确定性减少了！
1 I [ P2 ( x )] log 2 2 bit 1 4
H ( X）表示为：
H ( X ) H ( p) H ( p1 , p2 , p3 , , pq ) pi log pi
q
H(X) 是概率矢量P 的q-1元函数。
i 1
2.3.1 对称性
数学表达式：
H ( p1 , p2 , , pq ) H ( p2 , p3 , , pq , p1 )