信息论实验-熵和平均互信息
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
熵和平均互信息
1 信息熵的定义与计算
离散信源X的熵定义为自信息的平均值,记为H(X)
H ( X ) p ( x ) log p ( x )
x
简记为 H ( X ) H ( p 1 , p 2 , p n )
2.熵的基本性质(1)
对称性
非负性 p=(p1,p2,…,pn)中，各分量的次 序可以任意改变 自信息非负，熵为自信息的 平均 熵非负
实验1
• 二元信源X输出符号为{0,1}，PX(0)=0.5， 条件概率分别为PY|X(0|0) = PY|X(1|1)=1-p， PY|X(1|0)= PY|X(0|1)=p。 • 比较x和y的错误率与p的关系 • I（X;Y）与p的关系
Page 7
实验2
• 一个三元无记忆信源，符号集为{0,1,2} ， 为 的概率，用Matlab软件绘制熵函数曲线， 并分析信源熵的性质。
扩展性
可加性
0
lim log 0 lim0 H q 1 ( p 1 , p 2 , , p n - , ) H q ( p 1 , p 2 , , p n )
即：小概率事件对熵的影响很小，可以忽略 H(XY)= H(X) + H(Y|X )
H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN|X1…XN-1) 复合事件集合的不确定性为各个分事件集合的不确定性的和
Page 3
3.熵的基本性质(2)
极值性
定理2. 4. 3 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生 时，熵达到最大值
平均互信息的定义
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
ቤተ መጻሕፍቲ ባይዱ
平均互信息的性质
• • • • • 非负性 线性变换下平均互信息的不变性 凸函数 定理1： I ( X ; Y ) 是输入概率分布p ( x )的上凸函数 I 定理2： 对于固定的概率分布p ( x ) ，( X ; Y ) 为条 件概率p ( y | x ) 的下凸函数。
实验3
• Y=X+N • X为-1和1的等概分布信源 • N服从（ -sqrt(3), sqrt(3)）的均匀分布，方 差为1 • N服从均值为0，方差为1的高斯分布 • 比较两种情况下的y的错误率，试说明原因。
1 信息熵的定义与计算
离散信源X的熵定义为自信息的平均值,记为H(X)
H ( X ) p ( x ) log p ( x )
x
简记为 H ( X ) H ( p 1 , p 2 , p n )
2.熵的基本性质(1)
对称性
非负性 p=(p1,p2,…,pn)中，各分量的次 序可以任意改变 自信息非负，熵为自信息的 平均 熵非负
实验1
• 二元信源X输出符号为{0,1}，PX(0)=0.5， 条件概率分别为PY|X(0|0) = PY|X(1|1)=1-p， PY|X(1|0)= PY|X(0|1)=p。 • 比较x和y的错误率与p的关系 • I（X;Y）与p的关系
Page 7
实验2
• 一个三元无记忆信源，符号集为{0,1,2} ， 为 的概率，用Matlab软件绘制熵函数曲线， 并分析信源熵的性质。
扩展性
可加性
0
lim log 0 lim0 H q 1 ( p 1 , p 2 , , p n - , ) H q ( p 1 , p 2 , , p n )
即：小概率事件对熵的影响很小，可以忽略 H(XY)= H(X) + H(Y|X )
H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN|X1…XN-1) 复合事件集合的不确定性为各个分事件集合的不确定性的和
Page 3
3.熵的基本性质(2)
极值性
定理2. 4. 3 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生 时，熵达到最大值
平均互信息的定义
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
ቤተ መጻሕፍቲ ባይዱ
平均互信息的性质
• • • • • 非负性 线性变换下平均互信息的不变性 凸函数 定理1： I ( X ; Y ) 是输入概率分布p ( x )的上凸函数 I 定理2： 对于固定的概率分布p ( x ) ，( X ; Y ) 为条 件概率p ( y | x ) 的下凸函数。
实验3
• Y=X+N • X为-1和1的等概分布信源 • N服从（ -sqrt(3), sqrt(3)）的均匀分布，方 差为1 • N服从均值为0，方差为1的高斯分布 • 比较两种情况下的y的错误率，试说明原因。