信息的度量1
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 n
1 1 1 1 3 3 5 5 log 2 2 log 2 log 2 log 2 2.23bit / 符号 4 4 8 8 16 16 16 16
信息的度量
一、如何表示消息的信息量？
用对数表示： I log P( x) x a 单位：若a=2时，为比特（bit）（常用） 若a=e时，为奈特（nat） 若a=10时，为十进制单位[或叫做笛特 （Det）、哈莱特]
信息的度量
二、信息量的计算
1、单个消息的信息量计算 I x loga P( x) 例1：某个消息A出现的概率为0.25，求该消 息的信息量。 解： I log P( A) log 0.25 2(bit )
1.75bit / 符号
信息的度量
例5 某信息源的符号集由A，B，C，D和E组成，设 每一符号独立出现，其出现概率分别为1/4，1/8， 1/8，3/16和5/16。试求该信息源符号的平均信息 量。 解：该信息源符号的平均信息量为
H ( x) p ( xi ) log 2 p ( xi )
即等概率时平均每个符号的信息量达到最大值。
熵的性质： 非负性 极值性
H ( x) 0
H ( x) log2 N
信息的度量
例4：设有四个消息A、B、C、D分别以概率 1/4、1/8、 1/8和1/2传送，每一消息的出现 时相互独立的。试计算其平均信息量。
解：统计平均值（信源熵）为
1 1 1 1 1 1 1 1 H log 2 log 2 log 2 log 2 4 4 8 8 8 8 2 2
信息的度量
例3：如前例（例2）每个符号的统计平均值
（信源熵）为
3 3 1 1 1 1 1 1 H log 2 log 2 log 2 log 2 8 8 4 4 4 4 8 8
1.906bit / 符号
信息ቤተ መጻሕፍቲ ባይዱ度量
当 时 P( xi ) 1/ N
H ( x) log2 N bit/符号
A 2 2
信息的度量
2、N个消息的总信息量计算
若N个消息的概率场为
x1 P x1 n 1
N
则总信息量为
P x2 n2
x2
… P xN … nN … xN
I ni log 2 P( xi ) bit
例2（板书）
i 1
信息的度量
通信原理
电子工程系：董珍珍
1.4
信息的度量
信息量与消息的种类、特定内容及重要程度无关，
它仅与消息中包含的不确定度有关。也就是说消息 中所含信息量与消息发生的概率密切相关。消息发 生概率愈小，愈使人感到意外和惊奇，则此消息所 含的信息量愈大。例如，一方告诉另一方一件几乎 不可能发生的消息包含的信息量比可能发生的消息 包含的信息量大。概率趋于零（不可能事件），则 它的信息量趋于无穷大；如果消息发生的概率为1 （必然事件），则此消息所含的信息量为零。
3、信源熵
定义：每个符号所含信息量的统计平均值称为信 源熵。
H ( x) P( xi ) log 2 P( xi )
i 1
N
单位为：bit/符号 此式的来历：因为算术平均值为
信息的度量
I I N ni log 2 P ( xi )
i 1 N
N
nN n1 n2 log 2 P( x1 ) log 2 P( x2 ) … log 2 P( xN ) N N N 当 N 时 n n1 n P( x )，2 P( x )，…，N P( x )
N
1
N
2
N
N
则，算术平均值就变为信源熵H。
信息的度量
H P( x1 )log2 P( x1 ) P( x2 )log2 P( x2 )
… P( xN )log2 P( xN )
P( xi ) log 2 P( xi )
i 1 N
熵与算术平均值的关系： 熵是统计平均值，一般情况下不等于算术平均 值。只有符号数取无穷多时，两者才相等。
1 1 1 1 3 3 5 5 log 2 2 log 2 log 2 log 2 2.23bit / 符号 4 4 8 8 16 16 16 16
信息的度量
一、如何表示消息的信息量？
用对数表示： I log P( x) x a 单位：若a=2时，为比特（bit）（常用） 若a=e时，为奈特（nat） 若a=10时，为十进制单位[或叫做笛特 （Det）、哈莱特]
信息的度量
二、信息量的计算
1、单个消息的信息量计算 I x loga P( x) 例1：某个消息A出现的概率为0.25，求该消 息的信息量。 解： I log P( A) log 0.25 2(bit )
1.75bit / 符号
信息的度量
例5 某信息源的符号集由A，B，C，D和E组成，设 每一符号独立出现，其出现概率分别为1/4，1/8， 1/8，3/16和5/16。试求该信息源符号的平均信息 量。 解：该信息源符号的平均信息量为
H ( x) p ( xi ) log 2 p ( xi )
即等概率时平均每个符号的信息量达到最大值。
熵的性质： 非负性 极值性
H ( x) 0
H ( x) log2 N
信息的度量
例4：设有四个消息A、B、C、D分别以概率 1/4、1/8、 1/8和1/2传送，每一消息的出现 时相互独立的。试计算其平均信息量。
解：统计平均值（信源熵）为
1 1 1 1 1 1 1 1 H log 2 log 2 log 2 log 2 4 4 8 8 8 8 2 2
信息的度量
例3：如前例（例2）每个符号的统计平均值
（信源熵）为
3 3 1 1 1 1 1 1 H log 2 log 2 log 2 log 2 8 8 4 4 4 4 8 8
1.906bit / 符号
信息ቤተ መጻሕፍቲ ባይዱ度量
当 时 P( xi ) 1/ N
H ( x) log2 N bit/符号
A 2 2
信息的度量
2、N个消息的总信息量计算
若N个消息的概率场为
x1 P x1 n 1
N
则总信息量为
P x2 n2
x2
… P xN … nN … xN
I ni log 2 P( xi ) bit
例2（板书）
i 1
信息的度量
通信原理
电子工程系：董珍珍
1.4
信息的度量
信息量与消息的种类、特定内容及重要程度无关，
它仅与消息中包含的不确定度有关。也就是说消息 中所含信息量与消息发生的概率密切相关。消息发 生概率愈小，愈使人感到意外和惊奇，则此消息所 含的信息量愈大。例如，一方告诉另一方一件几乎 不可能发生的消息包含的信息量比可能发生的消息 包含的信息量大。概率趋于零（不可能事件），则 它的信息量趋于无穷大；如果消息发生的概率为1 （必然事件），则此消息所含的信息量为零。
3、信源熵
定义：每个符号所含信息量的统计平均值称为信 源熵。
H ( x) P( xi ) log 2 P( xi )
i 1
N
单位为：bit/符号 此式的来历：因为算术平均值为
信息的度量
I I N ni log 2 P ( xi )
i 1 N
N
nN n1 n2 log 2 P( x1 ) log 2 P( x2 ) … log 2 P( xN ) N N N 当 N 时 n n1 n P( x )，2 P( x )，…，N P( x )
N
1
N
2
N
N
则，算术平均值就变为信源熵H。
信息的度量
H P( x1 )log2 P( x1 ) P( x2 )log2 P( x2 )
… P( xN )log2 P( xN )
P( xi ) log 2 P( xi )
i 1 N
熵与算术平均值的关系： 熵是统计平均值，一般情况下不等于算术平均 值。只有符号数取无穷多时，两者才相等。