信息论第二章信息的度量 ppt

2.联合自信息量
XY
P
(
XY
)
p(a a 11 b b 11 ,) ,,,pa (1 a b 1m bm ,) ,,,pa (a nb n1 b,1) ,,,p a(nb am nbm )
其中 0 p(aibj ) 1(i 1,2,L ,n; j 1,2,L ,m)
nm
p(aibj ) 1。
qiI(1xqi )(xi0) 1i 1,2, , I
p(xi y j ) 0
I J
p(xi y j ) 1
i1 j 1
相应的条件概率为
( x i y j )
p(y j
xi )
p(xi y j )
(y j)
p(xi y j ) q(xi )
2．1．1 自信息量和条件自信息量
信息量直观的定义为：
收到某消息获得的信息量 = 不确定性减少的量
将某事件发生所得到的信息量记为I(x)，I(x)应该是该
事件发生的概率的函数，即
I(x)=f[q(x)]
-
4
信息量
自信息量
wk.baidu.com
联合 自信息量
条件 自 信息量
-
5
1．自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小
一个以等概率出现的二进制码元
(0,1)所包含的自信息量为1bit。
当p(0)p(1)1时， 2
有 :I(0)I(1)log21 2log221bit
当 p(0)p(1)p(2)p(3)1时， 4
有 I ( 0 ： I () 1 I () 2 I () 3 lo 2 ) 4 2 gb
-
8
【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1
的事件一旦发生赋予的信息量大，概率大的 事件如果发生则赋予的信息量小；
b.信息量应具有可加性：对于两个独立事件， 其信息量应等于各事件自信息量之和；
c.当q(x)=1时，I(x)= 0：表示确定事件发生 得不到任何信息；
d.当q(x)=0时，I(x)→∞：表示不可能事件 一旦发生，信息量将无穷大。
综合上述条件，将自信息量定义为:
I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特）
（2）在二维联合集X Y上的条件分布概率为 事件提供给甲的信息量为条件自信息量
p(y j
xi
)
1 12
，这一
I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2．1．2 互信息量和条件互信息量
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
-
I(a i)I(bj)
（ 2-4 ）
3.条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi
︱yj),条件自信息量 I( xi y j ) 定义为：
I(xi yj)log (xi yj) (2-5)
-
14
4.联合自信息量和条件自信息量间的关系
联合自信息量和条件自信息也满足非负和单调 递减性 ，同时，它们也都是随机变量。
个、3个，将从盒子中取出阻值为iΩ的电阻记为事件 3），则事件集X = {x1, x2, x3}，其概率分布
x i（i = 1，2，
X q(X)
x1 1
3
x2 1
6
x3 1
2
计算出各事件的自信息量列表2-1如下：
消息xi
概率分 布q (xi) 自信息 量I (xi)
x1 1/3 log 3
x2 1/6 log 6
i1 j1
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)
定义为：
I(xiyj) lop g (xiyj)
(2-3)
-
13
当 X 与 Y 相互 ,有 独 p (a ib j立 )p (a 时 i)p (b j)，
代入式自信息量的公式就有
I(a ib j) lo p (a g i) lo p (b g j)
x3 1/2 log 2
-
9
自信息量具有下列性质:
1 I ( a i ) 是非负值。
图2.1 对数曲线
-
10
2 当 p(ai)1 时I(a ， i)0 3 当 p(a i)0 时 I(a ， i)
4 I(ai)是p(ai)的单调递减函数。
自信息量
-
11
自信息量I(xi)代表两种含义：
1.事件xi发生以前，表示事件发生的先验不确定性 2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
1.互信息量
信 源 符 号 X={x1，x2，…，xI} ， xi∈{a1,a2,…,ak} ，i = 1,..., I。
自信息量、条件自信息量和联合自信息量之 间有如下关系式：
I(a ib j) lop (a g ib j) lop (g a i)p b j a (i)I(ai)I(bj ai) lop (g b j)p a i b (j)I(bj)I(ai bj)
-
15
【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个 单元住有12户，甲要到该住宅区找他的朋友乙，若：
I(x)loqg(x) (2-1)
自信息量的单位与log函数所选用的对数底数有关，
如底数分别取 2、 e、 10，
则自信息量单位分别为：比特、奈特、哈特
1 na lto2e g 1 .4b 3i3t
1 H a lo r2 1 tg 0 3 .3b 2i2 t
1 bi t0.69 n3 at
1bit0.30H 1art
2
2.1 自信息量和互信息量
一个事件的自信息量就是对其不确定性的度量。 互信息量则表明了两个随机事件的相互约束程度。
对于随机事件集X = {x1，x2，…，xi，…，xI}中的随机事 件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率 记为p(xi yj)，则q(xi) ，p(xi yj)应满足：
1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到 多少信息？
2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到 乙的概率又有多大？他能得到多少信息？
用xi代表单元数，yj代表户号：
（1）甲找到乙这一事件是二维联合集X Y上的等概分
布
p(xi
y
j
)
1 60
，这一事件提供给甲的信息量为