概率为0事件的信源熵

x3x3 1/ 4

I(xi1 xi2 xiN ) log P(xi1 xi2 xiN )
信源熵
I(x1x1) log P(x1x1) log( 36 / 7) 2.36(bit ) I(x1x2) log P(x1x2) log18 4.17(bit ) I(x1x3) log P(x1x3) log I(x2x1) log P(x2x1) log18 4.17(bit ) I(x2x2) log P(x2x2) log 3 1.59(bit ) I(x2x3) log P(x2x3) log18 4.17(bit ) I(x3x1) log P(x3x1) log I(x3x2) log P(x3x2) log18 4.17(bit ) I(x3x3) log P(x3x3) log 4 2(bit )
信源熵
上一讲复习
单符号离散信源、自信息量、熵；
熵的严格上凸性 最大熵定理 习题
多符号离散信源、联合自信息量、条件自信 息量
信源熵
例1
X1, X2 {x1, x2, x3}
P(X1) {1/ 4,4 / 9,11/ 36}
P(X2 / X1)
xi1 xi2
x1
x1
7/9
x2
1/8
x2
1/8
x3
0
求信源各消息的联合自信息量
x2
x3
2/9
0
3/4
1/8
2/11 9/11
信源熵
信源各消息的联合概率
X1X2 P(X1X2
)

7x/1x316
x1x 2 1/18
x1x3 0
x 2 x1 1/18
x2x2 1/ 3
x2x3 1/18
x3x1 0
x3x2 1/18
)
信源熵
信源熵第三讲
多符号离散信源联合熵；条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 马尔科夫信源及其极限熵
信源熵
例1
X1, X2 {x1, x2, x3}
P(X1) {1/ 4,4 / 9,11/ 36}
P(X2 / X1)
xi1 xi2
x1
x1
7/9
P(positive)=0.0099+ 0.0099=0.0198
P(disease/positive) 某人被测出为阳性时，实际上真的得了病的机率 = P(disease&positive)/ p(positive)=0.5
比较P(positive|disease)=99% 被测定为阳性者，其中的半数实际上是假阳性。
Q2： P(A|B) 等于 P(B|A)吗？
信源熵
条件概率谬论 数学家John Allen Paulos 《数学盲》 例子
若想分辨某些个体是否有重大疾病，以便早期治疗， 我们可能会对一大群人进行检验。虽然其益处明显 可见，但同时，检验行为有一个地方引起争议，就 是有检出假阳性的结果的可能。这个问题的重要性， 最适合用条件概率的观点来解释。
假设检验动作实施在患病的人身上时，有1%的机 率其结果为假阴性（阴性以negative表示）
P(negative/disease) = 1% P(positive/disease) = 99%。
信源熵
P(well & negative)=p(well)* P(negative/well) =0.9801 P(disease&positive)= 0.0099 P(well&positive)=0.0099 P(disease&negative)=0.0001
信源熵
Q4：多符号离散信源的表达
X1X2 XN P(X1X 2 X N
)

a1 P(a1)
a2 P(a 2 )

anN P(a n N
)
P(xx11xx11xx11)
x1x1 x 2 P(x1x1 x 2 )

xnxnxn P(xnxn xn
信源熵
I(xi1 xi2 xiN ) I(xi1 ) I(xi2 / xi1 ) I(xiN / xi1 xiN1 ) I(x1x1) I(x1) I(x1 / x1) log 4 log( 9 / 7) 2 0.36 2.36(bit ) I(x1x2) I(x1) I(x2 / x1) log 4 log( 9 / 2) 2 2.17 4.17(bit ) I(x1x3) I(x1) I(x3 / x1) log 4 log 2 I(x2x1) I(x2) I(x1 / x2) log( 9 / 4) log 8 1.17 3 4.17(bit ) I(x2x2) I(x2) I(x2 / x2) log( 9/ 4) log( 4/ 3) 1.17 0.42 1.59(bit ) I(x2x3) I(x2) I(x3 / x2) log( 9 / 4) log 8 1.17 3 4.17(bit ) I(x3x1) I(x3) I(x1 / x3) log( 36 /11) log 1.71
x3
0
求信源各消息的联合自信息量
ห้องสมุดไป่ตู้
x2
x3
2/9
0 ？Q1
3/4
1/8
2/11 9/11
信源熵
条件概率：就是事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示 为 P(A|B)，读作“在 B 条件下 A 的概率”。
假设A 与 B 是互斥事件，换句话说，如果 B 已经发生，由于 A 不能 B 在同一场合下发 生，那么 A 发生的概率为零；同样，如果 A 已经发生，那么 B 发生的概率为零， P(A|B)=0；P(B|A)=0。
信源熵
Q3：概率为0事件的信源熵。 不是概率越小信息量越大吗？
A3:熵的确定性，即 H(1,0) H(1,0,0) H(1,0,,0) 0
这个性质意味着从总体来看，信源虽然有不同的输出符 号，但它只有一个符号几乎必然出现，而其它符号 都是几乎不可能出现，那么，这个信源是一个确知 信源，其熵等于零。
信源熵
假设人群中有1%的人罹患此疾病，
P(disease) = 1% = 0.01 P(well) = 99% = 0.99.
假设检验动作实施在未患病的人身上时，有1%的 机率其结果为假阳性（阳性以positive表示）
P(positive/well) = 1% P(negative/well) = 99%.