信息论信息的度量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
4
有： I (0) ? I (1) ? I (2) ? I (3) ? log 2 4 ? 2b
【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1
个、3个，将从盒子中取出阻值为iΩ的电阻记为事件 x i（i = 1，2，
3），则事件集X = {x1, x2, x3}，其概率分布
?X? ??q( X)??
, anb1, ? , p(anb1),?
, ,
pa(nbamnbm)???
其中 0 ? p(aibj ) ? 1(i ? 1,2,L ,n; j ? 1,2,L , m)
nm
?? p(a ib j ) ? 1。
i?1 j?1
二维联合集 X Y 上元素x i yj的联合自信息量 I(xi yj)
定义为：
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
将某事件发生所得到的信息量记为 I(x)，I(x)应该是 该
事件发生的概率的函数，即
I(x)=f[ q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I (x)应该是q(x)的单调递减函数：概率小
（2- 4）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率 φ(xi
︱yj),条件自信息量 I( xi y j ) 定义为：
? I ( xi y j ) ? ? l og ( xi y j ) (2-5)
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足 非负和单调 递减性 ，同时，它们也都是随机变量 。
q(xi ) ?
I
q ( xi
i?1
0 )
?
1
i
?
1,2,?
,I
? ? ?
? ? ??
p( xi y
IJ
i?1 j?1
j) ? p ( xi
0 y
Байду номын сангаас
j
)
?
1
相应的条件概率为
? ??
?
(
xi
yj)
?
?
? ??
p( y j
xi )
?
p ( xi y j )
? (yj)
p (xi y j )
q ( xi )
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事
件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率
记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
??
? ? ??
I ( xi y j ) ? ? l og p ( xi y j )
(2-3)
当 X与 Y相互独立时 , 有 p ( a i b j ) ? p ( a i ) p (b j )， 代入式自信息量的公式就有
I (a ib j ) ? ? l ogp ( a i ) ? l ogp (b j )
? I (ai ) ? I (bj )
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当 q(x)=0时， I (x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
1bit ? 0 . 693 na
1bit ? 0 .301 Har
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
? 当p(0) ? p(1) ? 1 时，
2
有:(I
0)
?
I(1)
?
?
log2
1 2
?
log
2
21?
bit
? 当p(0) ? p(1) ? p(2) ? p(3) ? 1 时，
【例2.6】某住宅区共建有若干栋商品房，每栋有 5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息 ？
用xi代表单元数，yj代表户号：
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件 xi所能提供的最大 信息量（在无噪情况下）
2. 联合自信息量
? ??P
XY ( XY)
? ??
?
? ? ?
a1b1, ? p(a1b1),?
, a1bm, ? , p(a1bm),?
?
?x1 ?1 ??3
x2 1
6
x3 ? 1? 2 ??
计算出各事件的自信息量列表 2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I ( a i ) 是非负值。
图2.1 对数曲线
2 当p(ai ) ? 1时，I (ai ) ? 0 3 当p(ai ) ? 0时，I (ai ) ? ? 4 I (ai )是p(ai ) 的单调递减函数。
综合上述条件，将 自信息量定义为:
I (x)? ? log q(x) (2-1)
自信息量的单位与 log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1nat ? log 2 e ? 1.433bi
1Hart ? log 2 10 ? 3 .322 bi
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I(aibj ) ? ? log p(aibj ) ? ? log p(ai )p(bj ai ) ? I (ai ) ? I (b j ai ) ? ? log p(bj )p(ai bj ) ? I (b j ) ? I (ai b j )
（ 1 ） 甲 找 到 乙 这 一 事 件 是 二 维 联 合 集 X Y上 的 等 概 分
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
4
有： I (0) ? I (1) ? I (2) ? I (3) ? log 2 4 ? 2b
【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1
个、3个，将从盒子中取出阻值为iΩ的电阻记为事件 x i（i = 1，2，
3），则事件集X = {x1, x2, x3}，其概率分布
?X? ??q( X)??
, anb1, ? , p(anb1),?
, ,
pa(nbamnbm)???
其中 0 ? p(aibj ) ? 1(i ? 1,2,L ,n; j ? 1,2,L , m)
nm
?? p(a ib j ) ? 1。
i?1 j?1
二维联合集 X Y 上元素x i yj的联合自信息量 I(xi yj)
定义为：
2．1．1 自信息量和条件自信息量
信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量
将某事件发生所得到的信息量记为 I(x)，I(x)应该是 该
事件发生的概率的函数，即
I(x)=f[ q(x)]
信息量
自信息量
联合 自信息量
条件 自 信息量
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I (x)应该是q(x)的单调递减函数：概率小
（2- 4）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率 φ(xi
︱yj),条件自信息量 I( xi y j ) 定义为：
? I ( xi y j ) ? ? l og ( xi y j ) (2-5)
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足 非负和单调 递减性 ，同时，它们也都是随机变量 。
q(xi ) ?
I
q ( xi
i?1
0 )
?
1
i
?
1,2,?
,I
? ? ?
? ? ??
p( xi y
IJ
i?1 j?1
j) ? p ( xi
0 y
Байду номын сангаас
j
)
?
1
相应的条件概率为
? ??
?
(
xi
yj)
?
?
? ??
p( y j
xi )
?
p ( xi y j )
? (yj)
p (xi y j )
q ( xi )
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事
件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率
记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
??
? ? ??
I ( xi y j ) ? ? l og p ( xi y j )
(2-3)
当 X与 Y相互独立时 , 有 p ( a i b j ) ? p ( a i ) p (b j )， 代入式自信息量的公式就有
I (a ib j ) ? ? l ogp ( a i ) ? l ogp (b j )
? I (ai ) ? I (bj )
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当 q(x)=0时， I (x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
1bit ? 0 . 693 na
1bit ? 0 .301 Har
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
? 当p(0) ? p(1) ? 1 时，
2
有:(I
0)
?
I(1)
?
?
log2
1 2
?
log
2
21?
bit
? 当p(0) ? p(1) ? p(2) ? p(3) ? 1 时，
【例2.6】某住宅区共建有若干栋商品房，每栋有 5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息 ？
用xi代表单元数，yj代表户号：
自信息量
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件 xi所能提供的最大 信息量（在无噪情况下）
2. 联合自信息量
? ??P
XY ( XY)
? ??
?
? ? ?
a1b1, ? p(a1b1),?
, a1bm, ? , p(a1bm),?
?
?x1 ?1 ??3
x2 1
6
x3 ? 1? 2 ??
计算出各事件的自信息量列表 2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量具有下列性质:
1 I ( a i ) 是非负值。
图2.1 对数曲线
2 当p(ai ) ? 1时，I (ai ) ? 0 3 当p(ai ) ? 0时，I (ai ) ? ? 4 I (ai )是p(ai ) 的单调递减函数。
综合上述条件，将 自信息量定义为:
I (x)? ? log q(x) (2-1)
自信息量的单位与 log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1nat ? log 2 e ? 1.433bi
1Hart ? log 2 10 ? 3 .322 bi
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I(aibj ) ? ? log p(aibj ) ? ? log p(ai )p(bj ai ) ? I (ai ) ? I (b j ai ) ? ? log p(bj )p(ai bj ) ? I (b j ) ? I (ai b j )
（ 1 ） 甲 找 到 乙 这 一 事 件 是 二 维 联 合 集 X Y上 的 等 概 分