数字图像处理课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用编码输入图与解码输出图的某个确定函数表示 损失的信息量，便于计算或测量，常用于压缩系统设 计和调整。
11.1.2 图像保真度和质量
1. 客观保真度准则
点误差 e(x, y) fˆ (x, y) f (x, y)
总误差
M 1 N 1
fˆ (x, y) f (x, y)
x0 y0
均方根误差
原始图像
编码结果
解码图像
10101010110101000001001 00100010111110010101111 11111111000000000000001
00000111101010000000 11110101011110101011011011 00000000000011011000000 00100000101010000000000
11.1.2 图像保真度和质量
非常好的图像
5分
好的图像
4分
中等的图像
3分
差的图像
2分
非常差的图像
1分
• 相对评价是由观察者将一批图像由好到坏进行分类，
也就是对图像进行互相比较得出好坏并给出分数。相 对评价常用所谓“群优度尺度”。即：
11.1.2 图像保真度和质量
一批中最好的图像
7分
比该批的平均水平好的图像
例 电视图像质量评价尺度 下表给出1种对电视图像质量进行绝对评
价的尺度，这里根据图像的绝对质量进行判 断打分。
11.1.2 图像保真度和质量
评 评价 分
说明
6 优秀 图像质量非常好，如同人能想象出的最好质量。
5 良好 图像质量高，观看舒服，有干扰但不影响观看。
4 可用 图像质量可接受，有干扰但不太影响观看。
预测编码、变换编码、统计编码、轮廓编码、模型编码 等 （技术）
11.1 基本概念
11.1.1 11.1.2 11.1.3
数据冗余 图像保真度和质量 图像编码模型
11.1.1 数据冗余
数据冗余的概念
数据是信息的载体 同量的数据可表达不同量的信息 同量的信息可用不同量的数据表达 冗余
数据表达了无用的信息 数据表达了已表达的信息
据量
图像压缩（编码）和图像解压缩（解码）
第十一章 图像编码基础
图像压缩方法的分类（保真度） ：
信息保存型（冗余度压缩、可逆压缩） ： 在压缩和解压缩过程中没有信息损失 压缩率一般在2 ~ 10之间
信息损失型（熵压缩、不可逆压缩） ： 常能取得较高的压缩率（几十） 但图像经过压缩后并不能无失真地恢复原图像
P(aj | bk ) log P(aj | bk )
j 1
平均条件熵
K
JK
H (u | v) H (u | bk )P(bk ) H (u | bk ) P(a j | bk ) log P(a j | bk )
k 1
j1 k 1
平均信息/互信息 I(u,v)=H(u)-H(u|v)
信道容量 C max[I (u, v)] u
3、心理视觉冗余 与主观感觉有关
• 视觉系统非线性、非均匀 • 分辨率约26，图像量化28 • 动态图像的视觉延迟现象 减少/消除其中的1种/多种冗余，就能取得数据压缩的效果
11.1.1 数据冗余
1. 编码冗余
编码：需建立码本来表达数据 码本：用来表达一定量的信息或一组事件所需的
一系列符号（如字母、数字等） 码字：对每个信息或事件所赋的码符号序列 码字的长度（码长）：
平均信息
产生单个信源符号的自信息：I(aj) = –logP(aj) 产生k个信源符号，符号aj平均来说将产生kP(aj)次 信源平均信息（称为信源的熵或不确定性）
J
H (u) P(a j ) log P(a j ) j 1
H(u)定义了观察到单个信源符号输出时所获得 的平均信息量
11.2.1 信息论简介
11.1.1 数据冗余
2. 象素间冗余
与象素间相关性直接联系着的数据冗余。 单个象素对图像的视觉贡献有很多是冗余的。 为了减少图像中的象素间冗余，需要将常用的2-D象 素矩阵表达形式转换为某种更有效的表达形式。这种减 少象素间冗余的转换称为映射(mapping)。
11.1.1 数据冗余
3. 心理视觉冗余
erms
1
MN
M 1 N 1
x0 y0
fˆ (x,
y)
f
(x,
2 1/ 2
y)
均方信噪比
M 1 N 1
SNRms
fˆ (x, y)2
M 1 N 1
2
fˆ (x, y) f (x, y)
x0 y0
x0 y0
11.1.2 图像保真度和质量
(归一化)信噪比：令
f
1
M 1 N 1
11.1.1 数据冗余
相对数据冗余
数据冗余可定量描述 RD=1-1/CR 压缩率 CR = n1/ n2 CR 在开区间 (0, ∞) 中取值 n1和n2代表2个数据集合中的信息载体单位的个数
11.1.1 数据冗余
数据冗余类别
1、 编码冗余 与灰度分布的概率特性有关
2、 象素相关冗余
象素的灰度级和颜色之间具有相关性， 随机场模型
I(u,v)对所有信源分布u的最大值就是信道容量C
11.2.1 信息论简介
例 二元信源的熵 对一个具有符号集B = {b1, b2} = {0, 1}的二元信源
，设信源产生2个符号的概率分别为P(b1) = pbs和P(b2) = 1 – pbs，则信源的熵为H(u) = –pbs log2 pbs – (1 – pbs) log2(1 – pbs)。见下图。
11.2.1 信息论简介
2、信息系统
信源通过信道与信宿（即信息用户）连通以 传递自信息
信源
信道
信宿
信源符号集：A = {a1, a2, …, aJ} 概率矢量：u = [P(a1) P(a2) … P(aJ )]T
用(A, u)可以完全描述信源 J
P(aj ) 1
j 1
11.2.1 信息论简介
11.2.1 信息论简介
例 一个有6个符号的信源，其哈夫曼编码为
11.1.2 图像保真度和质量
影响图像质量的因素是随图像技术及系统设备 不同而变化的。
影响图像质量的因素为： 发送环境A ； 信源的性质S ； 变换系统的特性T ； 传输系统、处理系统的特性L ； 逆变换系统的特性D ； 接收环境B ； 收信者的视觉和处理信息的特性R 。 图像通信的图像质量可以表达为：
每个码字含有的基本符号个数
11.1.1 数据冗余
1. 编码冗余
图像中灰度出现的概率 ps (sk ) = nk / n k = 0 ,1,L − 1,
不同灰度出现概率不同 平均比特数:
L1
Lavg l(sk ) ps (sk ) k 0
用较少的比特数表示出现概率较大的灰度级 用较多的比特数表示出现概率较小的灰度级
f (x, y)
MN x0 y0
单位：分贝（dB）
M 1 N 1
2
f (x, y) f
SNR
10
lg
x0 M 1 N 1
x0 y0
y0
fˆ
(
x,
y
)
f
(x,
2
y)
峰值信噪比
PSNR
10
lg
MNf
2 max
M 1 N 1
x0 y0
fˆ (x, y)
f
(x,
2
y)
图像质量的含义包括两个方面：一个是图像逼 真度，即描绘被评价对象与标准图像的偏离程度。 另一个则是图像可懂度，就是表示图像能向人或机 器提供信息的能力。
11.1.2 图像保真度和质量
图像保真度
描述解码图像相对于原始图像的偏离程度对信息 损失的测度 主观保真度准则
主观测量图像的质量，应用不方便，是对一幅图 像质量的最终评价。 客观保真度准则
度、亮度等）有关，而且与观察者类型，试验图像类 型和观察条件等有关。即：
其中
分别是杂波、回波、清晰度、对比度、
亮度相对应的变量。
分别是与观察者类型、试验图像类型、观察条 件相对应的变量。
11.1.2 图像保真度和质量
评价广播电视图像质量时多采用下表所示的国际 上规定的五级评分质量和妨碍尺度。对一般人来讲 多采用质量尺度。对电视专业人员说来，使用妨碍 尺度作为评价尺度为宜。
11.1.2 图像保真度和质量
2. 主观保真度准则 主观保真度准则就是把图像显示给观察者，让观
察者作出评价。 主观评价大体可以分为两种类型：绝对评价和相对评价
绝对评价是由观察者根据一些事先规定的评价尺度或 自己的经验，对被评价图像提出质量判断，也可以提 供一组标准图像作参考，帮助观察者对图像质量作出 合适的评价。绝对评价常用的评价尺度称为“全优 度尺度”，也就是观察者对图像的优劣以数字给分。 如：
第十一章 图像编码基础
11.1 基本概念 11.2 基础理论 11.3 LZW编码 11.4 变长编码 11.5 位平面编码
第十一章 图像编码基础
动机/原因：表达数字图像所需数据量通常很大 图象编码解决的问题：
• 采用对图像的新的表达方法以减小所需的数据量 数据和信息：数据是信息的载体
对给定量的信息可用不同的数据量来表示 数据压缩：对给定量的信息，设法减少表达这些信息的数
3 刚可看 图像质量差，干扰有些妨碍观看，观察者希望改 进。
2 差 图像质量很差，妨碍观看的干扰始终存在，几乎 无法观看。
1 不能用 图像质量极差，不能使用。
11.1.2 图像保真度和质量
在主观评价试验中，图像质量评定分数不仅是图
像本身特性的函数，而且还是观察者特性以及观察者 条件的函数。例如，电视图像的质量QTV不仅与图像 本身的几种失真因素（杂波 、回波、清晰度 、对比
• 主观：因人而异，因应用要求而异 • 其存在与人观察图像的方式有关
眼睛对某些视觉信息更敏感 人对某些视觉信息更关心 • 心理视觉冗余与实在的视觉信息有联系 （损失不可逆转）
11.1.2 图像保真度和质量
图像质量评价的研究是图像信息工程的基础技 术之一。如在图像通信工程中，将被摄物体的光学 图像传送到接收端，再生出可接收图像，其中要经 过光电变换、传输、处理、记录以及其它变换等过 程，所有这些技术的优劣都会归集到图像质量的评 价。
6分
稍好于该批的平均水平图像
5分
该批平均水平的图像
4分
稍次于该批的平均水平图像
3分
比该批的平均水平差的图像
2分
一批中最差的图像
1分
评价的结果用一定数量的观察者的平均分数得出，
其平均分数
定义为：
其中Ck为图像属于K类的分数，nk为判定该图像属 于K类的观察者人数。
11.1.2 图像保真度和质量
• 一种常用的方法是对一组（常超过20个）精心挑 选的观察者展示一幅典型的图像并将他们对该图 的评价综合起来以得到一个统计的质量评价结果。 如：{-3,-2,-1,0,1,2,3}来代表主观评价{很差，较 差，稍差，相同，稍好，较好，很好}
11.1.1 数据冗余
11.1.1 数据冗余
（1）空间冗余：规则物体和规 则背景的表面物理特性具有相 关性。 （2）时间冗余：序列图像
空间冗余
时间冗余
11.1.1 数据冗余
（3）结构冗余：纹理结构 （4）知识冗余：人脸的固定结构。
11.1.1 数据冗余
空间冗余、时间冗余又称统计冗余，将图像信号作 为概率信号的统计特性。
信道信息
信源的输出是一个离散随机变量 信道的输出也是一个离散随机变量 信道符号集：B = {b1, b2, …, bK} 概率矢量：v = [P(b1) P(b2) … P(bK)]T 用(B, v)可以完全描述信道输出和用户接收到的信息
11.2.1 信息论简介
3、互信息
条件熵
J
H (u | bk )
子带编码
轮廓编码
二值图像编码
常用图像编码算法分类
11.1.3 图像编码模型
信源编解码模型
象素间
心里视觉
编码
输入图 映射器
wk.baidu.com
信源编码器 量化器
符号编码器
信道
信道
信源解码器 符号解码器
量化操作是不可反转的
反映射器
输出图
11.1.3 图像编码模型
例 图像编解码示意
下图给出一个图像编解码的示意图，原始图像经编 码后成为一串特定的码流，这串码流经解码又成为一 幅图像。
编码 算法
PCM
预测 编码
固定
固定 离散余弦变换
自适应
自适应 KL变换
沃尔什 哈达马
Harr变换
变换编码
付立叶变换
斜变换
小波变换
LZW
统计
编码
Huffman编码
算术编码
游程编码
静态图像 编码
方块
比特平面
抖动 逐渐浮现
逐层内插
视频 图像
帧内预测 帧间编码
其它编码
矢量量化
运动估计
帧间预测
内插
运动补偿
条件补充
11.2 基础理论
11.2.1 信息论简介
1、信息量 概率为P(E)的随机事件E的信息量
I (E) log 1 log P(E) P(E)
I(E )称为E的自信息（随概率增加而减少） 特例：P(E ) = 1（即事件总发生），那么I(E )= 0 信息的单位：比特（log以2为底） 1个比特：即2个相等可能性的事件之一发生
11.1.2 图像保真度和质量
1. 客观保真度准则
点误差 e(x, y) fˆ (x, y) f (x, y)
总误差
M 1 N 1
fˆ (x, y) f (x, y)
x0 y0
均方根误差
原始图像
编码结果
解码图像
10101010110101000001001 00100010111110010101111 11111111000000000000001
00000111101010000000 11110101011110101011011011 00000000000011011000000 00100000101010000000000
11.1.2 图像保真度和质量
非常好的图像
5分
好的图像
4分
中等的图像
3分
差的图像
2分
非常差的图像
1分
• 相对评价是由观察者将一批图像由好到坏进行分类，
也就是对图像进行互相比较得出好坏并给出分数。相 对评价常用所谓“群优度尺度”。即：
11.1.2 图像保真度和质量
一批中最好的图像
7分
比该批的平均水平好的图像
例 电视图像质量评价尺度 下表给出1种对电视图像质量进行绝对评
价的尺度，这里根据图像的绝对质量进行判 断打分。
11.1.2 图像保真度和质量
评 评价 分
说明
6 优秀 图像质量非常好，如同人能想象出的最好质量。
5 良好 图像质量高，观看舒服，有干扰但不影响观看。
4 可用 图像质量可接受，有干扰但不太影响观看。
预测编码、变换编码、统计编码、轮廓编码、模型编码 等 （技术）
11.1 基本概念
11.1.1 11.1.2 11.1.3
数据冗余 图像保真度和质量 图像编码模型
11.1.1 数据冗余
数据冗余的概念
数据是信息的载体 同量的数据可表达不同量的信息 同量的信息可用不同量的数据表达 冗余
数据表达了无用的信息 数据表达了已表达的信息
据量
图像压缩（编码）和图像解压缩（解码）
第十一章 图像编码基础
图像压缩方法的分类（保真度） ：
信息保存型（冗余度压缩、可逆压缩） ： 在压缩和解压缩过程中没有信息损失 压缩率一般在2 ~ 10之间
信息损失型（熵压缩、不可逆压缩） ： 常能取得较高的压缩率（几十） 但图像经过压缩后并不能无失真地恢复原图像
P(aj | bk ) log P(aj | bk )
j 1
平均条件熵
K
JK
H (u | v) H (u | bk )P(bk ) H (u | bk ) P(a j | bk ) log P(a j | bk )
k 1
j1 k 1
平均信息/互信息 I(u,v)=H(u)-H(u|v)
信道容量 C max[I (u, v)] u
3、心理视觉冗余 与主观感觉有关
• 视觉系统非线性、非均匀 • 分辨率约26，图像量化28 • 动态图像的视觉延迟现象 减少/消除其中的1种/多种冗余，就能取得数据压缩的效果
11.1.1 数据冗余
1. 编码冗余
编码：需建立码本来表达数据 码本：用来表达一定量的信息或一组事件所需的
一系列符号（如字母、数字等） 码字：对每个信息或事件所赋的码符号序列 码字的长度（码长）：
平均信息
产生单个信源符号的自信息：I(aj) = –logP(aj) 产生k个信源符号，符号aj平均来说将产生kP(aj)次 信源平均信息（称为信源的熵或不确定性）
J
H (u) P(a j ) log P(a j ) j 1
H(u)定义了观察到单个信源符号输出时所获得 的平均信息量
11.2.1 信息论简介
11.1.1 数据冗余
2. 象素间冗余
与象素间相关性直接联系着的数据冗余。 单个象素对图像的视觉贡献有很多是冗余的。 为了减少图像中的象素间冗余，需要将常用的2-D象 素矩阵表达形式转换为某种更有效的表达形式。这种减 少象素间冗余的转换称为映射(mapping)。
11.1.1 数据冗余
3. 心理视觉冗余
erms
1
MN
M 1 N 1
x0 y0
fˆ (x,
y)
f
(x,
2 1/ 2
y)
均方信噪比
M 1 N 1
SNRms
fˆ (x, y)2
M 1 N 1
2
fˆ (x, y) f (x, y)
x0 y0
x0 y0
11.1.2 图像保真度和质量
(归一化)信噪比：令
f
1
M 1 N 1
11.1.1 数据冗余
相对数据冗余
数据冗余可定量描述 RD=1-1/CR 压缩率 CR = n1/ n2 CR 在开区间 (0, ∞) 中取值 n1和n2代表2个数据集合中的信息载体单位的个数
11.1.1 数据冗余
数据冗余类别
1、 编码冗余 与灰度分布的概率特性有关
2、 象素相关冗余
象素的灰度级和颜色之间具有相关性， 随机场模型
I(u,v)对所有信源分布u的最大值就是信道容量C
11.2.1 信息论简介
例 二元信源的熵 对一个具有符号集B = {b1, b2} = {0, 1}的二元信源
，设信源产生2个符号的概率分别为P(b1) = pbs和P(b2) = 1 – pbs，则信源的熵为H(u) = –pbs log2 pbs – (1 – pbs) log2(1 – pbs)。见下图。
11.2.1 信息论简介
2、信息系统
信源通过信道与信宿（即信息用户）连通以 传递自信息
信源
信道
信宿
信源符号集：A = {a1, a2, …, aJ} 概率矢量：u = [P(a1) P(a2) … P(aJ )]T
用(A, u)可以完全描述信源 J
P(aj ) 1
j 1
11.2.1 信息论简介
11.2.1 信息论简介
例 一个有6个符号的信源，其哈夫曼编码为
11.1.2 图像保真度和质量
影响图像质量的因素是随图像技术及系统设备 不同而变化的。
影响图像质量的因素为： 发送环境A ； 信源的性质S ； 变换系统的特性T ； 传输系统、处理系统的特性L ； 逆变换系统的特性D ； 接收环境B ； 收信者的视觉和处理信息的特性R 。 图像通信的图像质量可以表达为：
每个码字含有的基本符号个数
11.1.1 数据冗余
1. 编码冗余
图像中灰度出现的概率 ps (sk ) = nk / n k = 0 ,1,L − 1,
不同灰度出现概率不同 平均比特数:
L1
Lavg l(sk ) ps (sk ) k 0
用较少的比特数表示出现概率较大的灰度级 用较多的比特数表示出现概率较小的灰度级
f (x, y)
MN x0 y0
单位：分贝（dB）
M 1 N 1
2
f (x, y) f
SNR
10
lg
x0 M 1 N 1
x0 y0
y0
fˆ
(
x,
y
)
f
(x,
2
y)
峰值信噪比
PSNR
10
lg
MNf
2 max
M 1 N 1
x0 y0
fˆ (x, y)
f
(x,
2
y)
图像质量的含义包括两个方面：一个是图像逼 真度，即描绘被评价对象与标准图像的偏离程度。 另一个则是图像可懂度，就是表示图像能向人或机 器提供信息的能力。
11.1.2 图像保真度和质量
图像保真度
描述解码图像相对于原始图像的偏离程度对信息 损失的测度 主观保真度准则
主观测量图像的质量，应用不方便，是对一幅图 像质量的最终评价。 客观保真度准则
度、亮度等）有关，而且与观察者类型，试验图像类 型和观察条件等有关。即：
其中
分别是杂波、回波、清晰度、对比度、
亮度相对应的变量。
分别是与观察者类型、试验图像类型、观察条 件相对应的变量。
11.1.2 图像保真度和质量
评价广播电视图像质量时多采用下表所示的国际 上规定的五级评分质量和妨碍尺度。对一般人来讲 多采用质量尺度。对电视专业人员说来，使用妨碍 尺度作为评价尺度为宜。
11.1.2 图像保真度和质量
2. 主观保真度准则 主观保真度准则就是把图像显示给观察者，让观
察者作出评价。 主观评价大体可以分为两种类型：绝对评价和相对评价
绝对评价是由观察者根据一些事先规定的评价尺度或 自己的经验，对被评价图像提出质量判断，也可以提 供一组标准图像作参考，帮助观察者对图像质量作出 合适的评价。绝对评价常用的评价尺度称为“全优 度尺度”，也就是观察者对图像的优劣以数字给分。 如：
第十一章 图像编码基础
11.1 基本概念 11.2 基础理论 11.3 LZW编码 11.4 变长编码 11.5 位平面编码
第十一章 图像编码基础
动机/原因：表达数字图像所需数据量通常很大 图象编码解决的问题：
• 采用对图像的新的表达方法以减小所需的数据量 数据和信息：数据是信息的载体
对给定量的信息可用不同的数据量来表示 数据压缩：对给定量的信息，设法减少表达这些信息的数
3 刚可看 图像质量差，干扰有些妨碍观看，观察者希望改 进。
2 差 图像质量很差，妨碍观看的干扰始终存在，几乎 无法观看。
1 不能用 图像质量极差，不能使用。
11.1.2 图像保真度和质量
在主观评价试验中，图像质量评定分数不仅是图
像本身特性的函数，而且还是观察者特性以及观察者 条件的函数。例如，电视图像的质量QTV不仅与图像 本身的几种失真因素（杂波 、回波、清晰度 、对比
• 主观：因人而异，因应用要求而异 • 其存在与人观察图像的方式有关
眼睛对某些视觉信息更敏感 人对某些视觉信息更关心 • 心理视觉冗余与实在的视觉信息有联系 （损失不可逆转）
11.1.2 图像保真度和质量
图像质量评价的研究是图像信息工程的基础技 术之一。如在图像通信工程中，将被摄物体的光学 图像传送到接收端，再生出可接收图像，其中要经 过光电变换、传输、处理、记录以及其它变换等过 程，所有这些技术的优劣都会归集到图像质量的评 价。
6分
稍好于该批的平均水平图像
5分
该批平均水平的图像
4分
稍次于该批的平均水平图像
3分
比该批的平均水平差的图像
2分
一批中最差的图像
1分
评价的结果用一定数量的观察者的平均分数得出，
其平均分数
定义为：
其中Ck为图像属于K类的分数，nk为判定该图像属 于K类的观察者人数。
11.1.2 图像保真度和质量
• 一种常用的方法是对一组（常超过20个）精心挑 选的观察者展示一幅典型的图像并将他们对该图 的评价综合起来以得到一个统计的质量评价结果。 如：{-3,-2,-1,0,1,2,3}来代表主观评价{很差，较 差，稍差，相同，稍好，较好，很好}
11.1.1 数据冗余
11.1.1 数据冗余
（1）空间冗余：规则物体和规 则背景的表面物理特性具有相 关性。 （2）时间冗余：序列图像
空间冗余
时间冗余
11.1.1 数据冗余
（3）结构冗余：纹理结构 （4）知识冗余：人脸的固定结构。
11.1.1 数据冗余
空间冗余、时间冗余又称统计冗余，将图像信号作 为概率信号的统计特性。
信道信息
信源的输出是一个离散随机变量 信道的输出也是一个离散随机变量 信道符号集：B = {b1, b2, …, bK} 概率矢量：v = [P(b1) P(b2) … P(bK)]T 用(B, v)可以完全描述信道输出和用户接收到的信息
11.2.1 信息论简介
3、互信息
条件熵
J
H (u | bk )
子带编码
轮廓编码
二值图像编码
常用图像编码算法分类
11.1.3 图像编码模型
信源编解码模型
象素间
心里视觉
编码
输入图 映射器
wk.baidu.com
信源编码器 量化器
符号编码器
信道
信道
信源解码器 符号解码器
量化操作是不可反转的
反映射器
输出图
11.1.3 图像编码模型
例 图像编解码示意
下图给出一个图像编解码的示意图，原始图像经编 码后成为一串特定的码流，这串码流经解码又成为一 幅图像。
编码 算法
PCM
预测 编码
固定
固定 离散余弦变换
自适应
自适应 KL变换
沃尔什 哈达马
Harr变换
变换编码
付立叶变换
斜变换
小波变换
LZW
统计
编码
Huffman编码
算术编码
游程编码
静态图像 编码
方块
比特平面
抖动 逐渐浮现
逐层内插
视频 图像
帧内预测 帧间编码
其它编码
矢量量化
运动估计
帧间预测
内插
运动补偿
条件补充
11.2 基础理论
11.2.1 信息论简介
1、信息量 概率为P(E)的随机事件E的信息量
I (E) log 1 log P(E) P(E)
I(E )称为E的自信息（随概率增加而减少） 特例：P(E ) = 1（即事件总发生），那么I(E )= 0 信息的单位：比特（log以2为底） 1个比特：即2个相等可能性的事件之一发生