第2章 离散信源及其信息测度

4
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率 、 定义1 若试验结果一共有n个基本事件组成 个基本事件组成， 定义 若试验结果一共有 个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某 由其中某m个基 件的出现具有相同的可能性，且事件 由其中某 个基 本事件组成，则事件A的概率为 本事件组成，则事件 的概率为 有利于A的基本事件数 m P( A) = ＝ 试验的基本事件总数 n
I (a3 ) = 3bit， (a4 ) = 3bit。 I
19
对于2n进制的数字序列, 假设每一符号的出现完全随机 , 且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为p (xi)， 根据题意，
20
自信息量具有下列性质:
1 I (ai )是非负值
p 时，I (ai ) = 0 2 当 (ai ) =1 p I 3 当 (ai ) = 0时， (ai ) = ∞
23
3 条件自信息量
I (ai bj ) = −log p(ai bj ) I (bj ai ) = −log p(bj ai )
24
联合自信息量和条件自信息也满 足非负和单调递减性 ，同时，它们也 都是随机变量，其值随着变量 a、bj i 的变化而变化。 自信息量、条件自信息量和联合 自信息量之间有如下关系式：
(4)P(A+B)=P(A)+P(B)-P(AB) 称为广义加法法则 （5）若P(A)>0,则P(AB)=P(A)P(B|A) 若P(B)>0,则P(AB)=P(B)P(A|B) 关于n个事件A1,A2,…,An的乘法规则是
13 P(A1A2…An)＝P(A1)P(A2|A1)P(A3|A1A2)…P(An|A1A2…An－1)
i=1 j=1
18
6
某地二月份天气的概率分布统计如下： 某地二月份天气的概率分布统计如下：
), a1(晴), a2 (阴 a3(雨), a4 (雪) X 1 1 1 P( X ) = 1 , , , (X 2 4 8 8
这四种气候的自信息量分别为 : I I (a1) =1bit， (a2 ) = 2bit，
概率论基础
一、必然现象与随机现象 1、必然现象 在一定条件下肯定会发生的现象 如水100ºC沸腾，苹果从树上掉落 2、偶然现象或随机现象 即使条件一定，结果也不可预测 如 掷一枚硬币，出现正面或反面？ 买一张彩票，是否中奖？ 是否会发生水灾？
3
二、随机试验与随机事件 随机试验是对随机现象进行试验或观察 1、相同的条件下可以重复进行 2、每次试验有多种可能的结果，而且在试验 之前即可明确有几种可能。 3、每次试验不能预知哪一结果会发生。 随机试验的每个结果称为随机事件，简称事件。 每次试验一定发生的事件称为必然事件。 每次试验一定不发生的事件称为不可能事件。 所有基本事件对应的元素组成的集合称为样本空间。 每个基本事件对应的元素称为一个样本点。
n
m
(2.1.19)
是联合离散符号集合XY上的每个元素对的联 是联合离散符号集合 上的每个元素对的联 合自信息量的数学期望，也叫共熵。 合自信息量的数学期望，也叫共熵。用H(XY) 表示。 表示。
28
1
对称性
H( p1, p2 ,⋅⋅⋅, pq ) = H( p2 , p3,⋅⋅⋅, pq , p1) = H( pq , p1,⋅⋅⋅, pq−1)
11
随机矢量与随机过程
若随机变量ξ1 (ω ), ξ 2 (ω ), ⋅⋅⋅, ξ n (ω )定义在同一概率空间上，就称
ξ (ω ) = (ξ1 (ω ), ξ 2 (ω ), ⋅⋅⋅, ξ n (ω ))为n维随机向量或者n维随机矢量。
随机过程是随机函数的集合。若一随机系统的样本点是随机函 数，则称此函数为样本函数，这一随机系统全部样本函数的集 合是一个随机过程。实际应用中，样本函数的一般定义在时间 域或者空间域。随机过程的实例如股票和汇率的波动、语音信 号、视频信号、体温的变化，随机运动如布朗运动、随机徘徊 等等。
1 1 1 1 1 1 H( X ) = − log − log − ( log ) ×2 2 4 8 22 24 28 =1.75(bit 符 ) 号
26
2 条件熵
m n
H( X Y ) = E[I (ai bj )]
j =1 i=1
m n
= ∑∑ p(aibj )I (ai bj )
= −∑∑ p(aibj ) log p(ai bj )
10
随机变量
定义 对于随机试验，每个样本都对应着一个实数， 而这个实数是随试验结果变化的一个变量，称之为随机变量。 随机变量按取值情况分为两类：
(1)离散型随机变量 只可能取有限个或无限可列个值。 (2)非离散型随机变量 可以在整个数轴上取值，或至少有一部分值取某实 数区间的全部值。 非离散型随机变量中最常用的是连续型随机变量。 即取值于一个连续区间全部数值的随机变量。
4 函数。 I (ai )是p(ai )的单调递减函数。
21
2
联合自信息量
XY P( XY)
a1b1, L, a1bm, L, anb1, L, anbm = p(a1b1),L, p(a1bm ),L, p(anb1),L, p(anbm )
其中 ≤ p(aibj ) ≤1(i =1,2,L, n; j =1,2,L, m)， 0
定理1 (全概率公式)若事件A1,A2,…构成一个完备事件组 并且都具有正概率，则对任何一个事件B,有 P(B) = ∑P(Ai )P(B| Ai )
i
定理2 (贝叶斯公式)若事件A1,A2,…构成一个完备事件组， 且都具有正概率，则对任何一个概率不为零的事件B,有
P(Am|B) = P(Am)P(B| Am) ∑P(Ai )P(B| Ai )
， ∑p(a ) =1 ∑p(b ) =1, ∑p(b
i=1 i j =1 j j =1 n m m j
ai ) =1,
∑p(a
i=1
n
i
bj ) =1 ∑∑ p(aibj ) =1 ,
j =1 i=1
m
n
3
∑p(a b ) =p(b ), ∑p(a b ) =p(a )
i=1 i j j j =ห้องสมุดไป่ตู้ i j i
i
14
信息论中用到概率论基础
随机变量X、Y分别取值于集合
{a1, a2 ,L, ai ,L, an}、1, b2 ,L, bj ,L, bm} {b 。 若考察 X和Y同时发生的概率 联合随机变量 XY 取值于集合
联合概率 {aibj | i =1,2,L, n, j =1,2,L, m} ，
记 p(aibj ) = P( X = ai ,Y = bj )
5
例 掷一枚硬币，出现正面的概率 解：设硬币是均匀的 只有正、反面两个基本事件。 1 P(A) = 若A表示出现正面。 则 2 例 随意拨一个六位电话号码，正好找到朋友 张某的概率。 解：为简便，每位数字有10种选择。 基本事件总数是106。 事件A表示找到张某，则A只有一个基本事件。 1 故 P( A) = 6 = 0.000001 10
∑∑p(a b ) =1。
i=1 j =1 i j
22
n
m
I (aibj ) = −log p(aibj ) 当X与Y相互独立时 有p(aibj ) = p(ai ) p(bj )， ,
代入式(2.1.4)就有
I (aibj ) = −log p(ai ) − log p(bj )
= I (ai ) + I (bj )
I (aibj ) = − log p(aibj ) = −log p(ai )p(bj ai ) = I (ai ) + I (bj ai ) = − log p(bj )p(ai bj ) = I (bj ) + I (ai bj )
25
继续讨论某地二月份天气构成的信源
), a1(晴), a2 (阴 a3(雨), a4 (雪) X 1 1 1 P( X ) = 1 , , , (X 2 4 8 8 由式定义，该信源的熵为
17
n
m
4 5
p(aibj ) = p(bj ) p(ai bj ) = p(ai ) p(bj ai )
当 与相 独 时 X Y 互 立
p(aibj ) = p(ai ) p(bj ) p(bj ai )＝p(bj )，p(ai bj )＝p(ai ) p(aibj ) p(aibj ) p(ai bj )＝ n ，p(bj ai ) = m ∑p(aibj ) ∑p(aibj )
P( AB) P( AB) P( B | A ) = , P( A | B) = P( A) P( B)
9
事件的独立性 定义 若事件发生的可能性不受事件B发生与否的影响， 即P(A|B)=P(A),则称事件A独立于事件B。 定义 若n (n>2)个事件A1,…,An中任何一个事件发生的 可能性都不受其它一个或几个事件发生与否的影响， 称A1,A2,…,An相互独立。 事件A与B独立的充分必要条件是P(AB)=P(A)P(B) 若事件A1,A2,…,An相互独立，则有 P(A1…An)=P(A1)…P(An)
7
3、几何概率 、 考虑一个点随机落在[0,1]区间。 0 1 0.3 若问事件A:点落在0.5处的概率。 显然 P(A)=0 但A不是不可能事件。 而问事件B：点落在0与0.3之间的概率。 则 P(B)=0.3 这种与几何形状有关的概率称为几何概率。
8
4、条件概率 、 定义1 在事件B已发生的条件下 事件A发生的概率 已发生的条件下， 发生的概率， 定义 在事件 已发生的条件下，事件 发生的概率， 称为事件A在给定 下的条件概率，简称为A对B的条 称为事件 在给定B下的条件概率，简称为 对 的条 在给定 下的条件概率 件概率，记作P(A|B) 件概率，记作 条件概率的计算公式：