数据压缩技术第三章习题答案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
+ log P(a j )
= − I ( X ; Y ) − ∑∑ P (a j , bk ) log P(a j )
j =1 k =1 n
= − I ( X ; Y ) − ∑ P (a j ) log P(a j )
j =1
= −I ( X ;Y ) + H ( X )
3-4 求证： H ( X Y ) = H ( X , Y ) − H (Y ) 。 证明：将 P (a j | bk ) = 则
k =1
= H ( X , Y ) − H (Y )
证毕。 求证： I ( X ; Y ) = H ( X ) + H (Y ) − H ( X , Y ) 。 将 3-5 的证明结果代入 3-4 的证明结果 I ( X ; Y ) = H ( X ) − H ( X Y ) 可得： I ( X ; Y ) = H ( X ) + H (Y ) − H ( X , Y ) 。 3-6 求证： H (Y | X ) ≤ H (Y ) 。 由 H (Y | X ) ≤ H (Y ) 的定义：
j =1 n k =1
m
n
≤ −∑ P(a j )[∑ Q(bk | a j ) log Q(bk )]
j =1 m k =1
m
= −∑∑ P (a j , bk ) log Q(bk )
j =1 k =1 n
n
= −∑ Q(bk ) log Q(bk )
k =1
= H (Y )
证毕。
H (Y X ) = −∑∑ P (a j , bk ) log Q (bk | a j )
j =1 k =1
m
n
和极值性 H m ( p1 , p2 ,..., pm ) ≤ − 则
∑ p .log p
j =ห้องสมุดไป่ตู้ j
m
j
H (Y X ) = −∑ P(a j )[∑ Q(bk | a j ) log Q(bk | a j )]
P(a j , bk ) P(a j ) 代入 H ( X | Y ) 中 . Q(bk ) P (a j )
H ( X Y ) = −∑∑ P(a j , bk )[log P(a j , bk ) − log Q(bk )]
j =1 k =1 n
m
n
= H ( X , Y ) − ∑ Q(bk ) log Q(bk )
3-3 求证： I ( X ; Y ) = H ( X ) − H ( X Y ) 。 证明：
H ( X Y ) = −∑∑ P(a j , bk ) log P (a j | bk )
j =1 k =1
m
n
= −∑∑ P(a j , bk )[log
j =1 k =1 m n
m
n
P(a j , bk ) P (a j )Q(bk )