信息论 第二章定义公式总结
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
熵函数的性质：对称性、确定性、非负性、扩展性、连续性、递增性、极值性、上凸性 熵函数的链规则：12121121 ()=(X )+(/X )(/X )N N N H X X X H H X H X X X -⋅⋅⋅+⋅⋅⋅+⋅⋅⋅ 平均互信息的性质：非负性、互易性、极值性、凸函数性
I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)X Y I(X;Y)=0
平均互信息和各类熵的关系当，统计独立时，