第一章 信息的度量.ppt
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（3）熵的单位与自信息量的单位相k同，与熵公式中所用对数
的底有关。
（4） pk 0 ，规定“0log0=0”。因为
lim x log x 0
x0
熵的性质
熵公式：H ( X )
K k 1
pk log
1 pk
k
pk log pk
(1)对称性： H ( p1, p2, , pK ) H ( pm(1), pm(2) , , pm(K ) )
不确定性的量的表述
信息熵：是从信源角度考虑，标志信源整体 的不确定性程度的量。
信息量：是从信宿角度考虑，是信宿接收信 息后消除不确定性的量。
熵的定义
DMS
X
{x1, x2 , , xK }
[ X , PX ] [xk , pk | k 1 , 2 , , K ]
K
pk 1
视频信息
多帧图像 压缩算法
音频信息
音频----》数字信号
信息存储的数据单位
最小存储单位：一位二进制数，称为bit （比特）
基本单位：八位二进制数，称为byte（字节， B）
数据处理单位：一次存取、加工和传送的数 据长度为字（word）
字长：8位、16位、32位、64位
H ( p1, p2, , pK ) H (q1, q2 , qJ )
K
0 pk 1 k 1 , 2 , , K
pk 1
k 1
J
0 qj 1 j 1 , 2 , , J
qj 1
j 1
“可加性”是“强可加性”的特殊情况，在“强可加性”中， 令
q1 j q2 j qKj q j , j 1,, J
K k 1
pk log
1 pk
k
pk log pk
H ( p1, p2, , pK ) H (P) 0
确定性概率分布 Ps {1, 0, , 0}
H (Ps ) 0
(4) 强可加性
H ( p1q11, , p1q1J , , pK qK1 , pK qKJ )
K
H ( p1, p2 , , pK ) pk H (qk1, , qkJ ) k 1
L( pk ) qkj pk L(qkj )
k 1
j1
k 1
j 1
K
H ( p1, p2 , , pM ) pk H (qk1, qk 2 , qkJ ) k 1
(5) 可加性
H ( p1q1, , p1qJ , , pK q1 , pK qJ )
k 1
I (xk ) ：xk 的（先验）不确定性 ，也称为 xk 的自信息量 。
I (xk ) log
1 pk
log pk
k 1, 2,, K
统计平均
熵
H (X )
K k 1
pk I (xk )
K k 1
pk log
1 pk
pk log pk
k
熵H (X )的物理意义:信源 X 的平均不确定性。
其中 {m(1) , m( 2),, m(K)} 是 {1, 2,, K} 的任意置换。 (2)可扩展性：加入零概率事件不会改变熵。
H( p1, p2, , pK ) H( p1, , pi,0, pi1 , , pK ) i 1 , 2 , ,K 1
0log0 0
(3)非负性
熵公式：H ( X )
ຫໍສະໝຸດ Baidu于熵的几点说明
熵公式：H ( X )
K k 1
pk log
1 pk
k
pk log pk
（1）熵公式中，H (X )只是一个记号，代表 X 的熵，不能把 X 看作函数的自变量。
（2）熵函数的自变量是先验概率 ： pk , k 1 , 2 , , K
是K-1元函数。
H ( p1, p2 , , pK ) pk log pk
第二章 信息与信息资源
任课老师：
第三节 信息的度量
本质：对信息在社会各系统传输中时间和空 间特征、质量和数量特征的定量化描述。
分类：基于数据量的信息度量、基于概率的 信息度量、基于经验的信息度量
基础：基于数据量的信息度量。
基于数据量的信息度量
常用信息度量方法：按反映信息内容的数据 所占用的计算机存储装置的存储空间大小来 衡量信息的大小。
基于概率的信息度量
申农：用概率的对数来度量消息中所包含的信息量。 概率是用来表示随机事件发生可能性大小的一个量。 信息量定义：两次不确定性之差
I S(Q / X ) S(Q / X )
其中：I 代表信息量；Q代表对某事件的疑问；S 代
表不确定性；X为收到消息前关于 Q 的知识；X 为收 到消息后关于 Q 的知识。
字符信息
字符信息需要进行编码，建立0和1之间的对 应关系，才能实现识别、存储和处理。
西文字符使用ASCII码，共128个字符。 汉字字符使用国标码：GB2312-80
图形图像信息
矢量图：基于矢量技术的图形，以图元为单 位，用数学方法来描述。
位图：点阵的集合，每一个点就是一个像素。
K
0 pk 1 k 1 , 2 , , K
pk 1
k 1
J
0 qkj 1 j 1 , 2 , , J
qkj 1 k 1 , 2 , , K
j 1
“强可加性”证明
定义新函数：
L(x) x log x
则 L(xy) xy log(xy) xy log x xy log y yL(x) xL( y)
于是
H ( p1q11, , p1q1J , , pK qK1 , pK qKJ )
KJ
KJ
L( pK qKj )
[qkj L( pk ) pk L(qkj )]
k 1 j1
k 1 j1
J
qkj 1
j 1
k 1 , 2 , ,K
K
J K J
二进制：0和1
信息在计算机中的表示
（1）数值信息 （2）字符信息 （3）图形图像信息 （4）视频信息 （5）音频信息
数值信息
数值用二进制代码表示：定点数和浮点数 定点数：小数点的位置不变（整数、纯小数） 浮点数：小数点的位置不固定，既有整数部
分又有小数部分的数。
的底有关。
（4） pk 0 ，规定“0log0=0”。因为
lim x log x 0
x0
熵的性质
熵公式：H ( X )
K k 1
pk log
1 pk
k
pk log pk
(1)对称性： H ( p1, p2, , pK ) H ( pm(1), pm(2) , , pm(K ) )
不确定性的量的表述
信息熵：是从信源角度考虑，标志信源整体 的不确定性程度的量。
信息量：是从信宿角度考虑，是信宿接收信 息后消除不确定性的量。
熵的定义
DMS
X
{x1, x2 , , xK }
[ X , PX ] [xk , pk | k 1 , 2 , , K ]
K
pk 1
视频信息
多帧图像 压缩算法
音频信息
音频----》数字信号
信息存储的数据单位
最小存储单位：一位二进制数，称为bit （比特）
基本单位：八位二进制数，称为byte（字节， B）
数据处理单位：一次存取、加工和传送的数 据长度为字（word）
字长：8位、16位、32位、64位
H ( p1, p2, , pK ) H (q1, q2 , qJ )
K
0 pk 1 k 1 , 2 , , K
pk 1
k 1
J
0 qj 1 j 1 , 2 , , J
qj 1
j 1
“可加性”是“强可加性”的特殊情况，在“强可加性”中， 令
q1 j q2 j qKj q j , j 1,, J
K k 1
pk log
1 pk
k
pk log pk
H ( p1, p2, , pK ) H (P) 0
确定性概率分布 Ps {1, 0, , 0}
H (Ps ) 0
(4) 强可加性
H ( p1q11, , p1q1J , , pK qK1 , pK qKJ )
K
H ( p1, p2 , , pK ) pk H (qk1, , qkJ ) k 1
L( pk ) qkj pk L(qkj )
k 1
j1
k 1
j 1
K
H ( p1, p2 , , pM ) pk H (qk1, qk 2 , qkJ ) k 1
(5) 可加性
H ( p1q1, , p1qJ , , pK q1 , pK qJ )
k 1
I (xk ) ：xk 的（先验）不确定性 ，也称为 xk 的自信息量 。
I (xk ) log
1 pk
log pk
k 1, 2,, K
统计平均
熵
H (X )
K k 1
pk I (xk )
K k 1
pk log
1 pk
pk log pk
k
熵H (X )的物理意义:信源 X 的平均不确定性。
其中 {m(1) , m( 2),, m(K)} 是 {1, 2,, K} 的任意置换。 (2)可扩展性：加入零概率事件不会改变熵。
H( p1, p2, , pK ) H( p1, , pi,0, pi1 , , pK ) i 1 , 2 , ,K 1
0log0 0
(3)非负性
熵公式：H ( X )
ຫໍສະໝຸດ Baidu于熵的几点说明
熵公式：H ( X )
K k 1
pk log
1 pk
k
pk log pk
（1）熵公式中，H (X )只是一个记号，代表 X 的熵，不能把 X 看作函数的自变量。
（2）熵函数的自变量是先验概率 ： pk , k 1 , 2 , , K
是K-1元函数。
H ( p1, p2 , , pK ) pk log pk
第二章 信息与信息资源
任课老师：
第三节 信息的度量
本质：对信息在社会各系统传输中时间和空 间特征、质量和数量特征的定量化描述。
分类：基于数据量的信息度量、基于概率的 信息度量、基于经验的信息度量
基础：基于数据量的信息度量。
基于数据量的信息度量
常用信息度量方法：按反映信息内容的数据 所占用的计算机存储装置的存储空间大小来 衡量信息的大小。
基于概率的信息度量
申农：用概率的对数来度量消息中所包含的信息量。 概率是用来表示随机事件发生可能性大小的一个量。 信息量定义：两次不确定性之差
I S(Q / X ) S(Q / X )
其中：I 代表信息量；Q代表对某事件的疑问；S 代
表不确定性；X为收到消息前关于 Q 的知识；X 为收 到消息后关于 Q 的知识。
字符信息
字符信息需要进行编码，建立0和1之间的对 应关系，才能实现识别、存储和处理。
西文字符使用ASCII码，共128个字符。 汉字字符使用国标码：GB2312-80
图形图像信息
矢量图：基于矢量技术的图形，以图元为单 位，用数学方法来描述。
位图：点阵的集合，每一个点就是一个像素。
K
0 pk 1 k 1 , 2 , , K
pk 1
k 1
J
0 qkj 1 j 1 , 2 , , J
qkj 1 k 1 , 2 , , K
j 1
“强可加性”证明
定义新函数：
L(x) x log x
则 L(xy) xy log(xy) xy log x xy log y yL(x) xL( y)
于是
H ( p1q11, , p1q1J , , pK qK1 , pK qKJ )
KJ
KJ
L( pK qKj )
[qkj L( pk ) pk L(qkj )]
k 1 j1
k 1 j1
J
qkj 1
j 1
k 1 , 2 , ,K
K
J K J
二进制：0和1
信息在计算机中的表示
（1）数值信息 （2）字符信息 （3）图形图像信息 （4）视频信息 （5）音频信息
数值信息
数值用二进制代码表示：定点数和浮点数 定点数：小数点的位置不变（整数、纯小数） 浮点数：小数点的位置不固定，既有整数部
分又有小数部分的数。