信源及信源熵介绍
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
信源及信源熵介绍
14
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
信源及信源熵.ppt
一般情况下，信源在不同时刻发出的符号之间是相互依赖的，称
为多符号的有记忆离散信息源。需要引入条件概率来反映符号
序列内各符号的记忆特征
p(x1, x2 , x3 , xL ) p(xL x1, x2 , x3 , xL1) p(x1, x2 , x3 , xL1) p(xL x1, x2 , x3 , xL1) p(xL1 x1, x2 , x3 , xL2 ) p(x1, x2 , x3 , xL2 )
p(X1, X 2 ,, X l ,, X L ) p(X1) p(X 2 ) p(X l ) p(X L )
若信源随机矢量的各维概率分布都与时间起点无关，也就是任意
两个不同时刻随机矢量X的各维概率分布都相同。称离散平稳 信息源。即
p(X1) p(X 2 ) p(X l ) p(X L )
则概率空间可表示为
X P
1, p(1),
2, , p(2 ), ,
n
p(
L
n
L
)
对于L＝2的情况，此时信源 X ( X1, X 2 )
则概率空间可表示为
X P
(a1, a1 ) p(a1, a1)
(a1, a2 ) p(a1, a2 )
(an , an ) p(an , an )
X i a1 “红色”， a2 “白色”
用联合概率分布 p( X1, X 2 , X 3 )
其信源的概率空间为：
来表示信源特性
X P
(a1 , p(a1
a1 , , a1
a1 ) , a1 )源自(a1, a1, a2 ) p(a1, a1, a2 )
(a2 , a2 , a2 ) p(a2 , a2 , a2 )
信息论与编码2-信源及信源熵
随机英文字母信源，其中每个英文字母出现的概率是固定的。
实例3
随机天气状况信源，其中晴天、雨天、雪天出现的概率分别是0.7、0.2、0.1。
实例1
随机二进制信源，其中每个二进制符号（0或1）出现的概率为0.5。
离散无记忆信源的实例
离散有记忆信源
03
离散有记忆信源是输出符号序列中符号与符号之间存在记忆关系的离散随机序列。
应用场景
广泛应用于网络通信、金融交易、军事通信等领域，保障信息安全和隐私。
加密通信
03
应用景
广泛应用于通信系统、数据存储等领域，如CD、DVD、硬盘等存储设备的纠错编码。
01
纠错原理
通过在数据中添加冗余信息，检测和纠正数据传输过程中的错误。
02
常见纠错编码
如奇偶校验码、海明码、循环冗余校验码等，这些编码利用数学原理对数据进行校验，确保数据的正确性。
纠错编码
THANKS
感谢观看
离散有记忆信源的输出符号之间存在统计依赖关系，这种关系会影响信息熵的计算。
定义
性质
离散有记忆信源的定义与性质
计算方法
条件熵
联合熵
离散有记忆信源熵的计算
离散有记忆信源熵是描述信源不确定性的度量，可以通过统计模型来计算。具体计算方法包括条件熵和联合熵等。
条件熵是在给定前一个或多个符号条件下，输出符号的熵。
应用场景
广泛应用于文件存储、网络传输、多媒体处理等领域，如JPEG图片压缩、MP3音频压缩等。
数据压缩原理
通过去除数据中的冗余信息，将数据压缩至更小的存储空间，提高存储和传输效率。
数据压缩
加密原理
通过特定的加密算法将明文转换为密文，确保信息在传输过程中的保密性。
实例3
随机天气状况信源，其中晴天、雨天、雪天出现的概率分别是0.7、0.2、0.1。
实例1
随机二进制信源，其中每个二进制符号（0或1）出现的概率为0.5。
离散无记忆信源的实例
离散有记忆信源
03
离散有记忆信源是输出符号序列中符号与符号之间存在记忆关系的离散随机序列。
应用场景
广泛应用于网络通信、金融交易、军事通信等领域，保障信息安全和隐私。
加密通信
03
应用景
广泛应用于通信系统、数据存储等领域，如CD、DVD、硬盘等存储设备的纠错编码。
01
纠错原理
通过在数据中添加冗余信息，检测和纠正数据传输过程中的错误。
02
常见纠错编码
如奇偶校验码、海明码、循环冗余校验码等，这些编码利用数学原理对数据进行校验，确保数据的正确性。
纠错编码
THANKS
感谢观看
离散有记忆信源的输出符号之间存在统计依赖关系，这种关系会影响信息熵的计算。
定义
性质
离散有记忆信源的定义与性质
计算方法
条件熵
联合熵
离散有记忆信源熵的计算
离散有记忆信源熵是描述信源不确定性的度量，可以通过统计模型来计算。具体计算方法包括条件熵和联合熵等。
条件熵是在给定前一个或多个符号条件下，输出符号的熵。
应用场景
广泛应用于文件存储、网络传输、多媒体处理等领域，如JPEG图片压缩、MP3音频压缩等。
数据压缩原理
通过去除数据中的冗余信息，将数据压缩至更小的存储空间，提高存储和传输效率。
数据压缩
加密原理
通过特定的加密算法将明文转换为密文，确保信息在传输过程中的保密性。
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
信息论第3章信源及信息熵
举例
数学描述
离散信源 （数字信源）
连续信号
文字、数据、 离散化图象
离散随机变量 序列
跳远比赛的结果、语音 连续随机变量
信号抽样以后
序列
波形信源 （模拟信源）
语音、音乐、热噪声、 图形、图象
不常见
随机过程
表3.1 信源的分类
3.1 信源的分类及其数学模型
我们还可以根据各维随机变量的概率分布是否随时间的推移 而变化将信源分为平稳信源和非平稳信源，根据随机变量间 是否统计独立将信源分为有记忆信源和无记忆信源。
定义3.2 随机变量序列中，对前N个随机变量的联合熵求平
均：
HN
(X)
1 N
H ( X1X 2
XN)
称为平均符号熵。如果当N
时上式极限存在，则
lim
N
H
N
(X)
称为熵率，或称为极限熵，记为
def
H
lim
N
H
N
(
X
)
3.3.1 离散平稳无记忆信源
离散平稳无记忆信源输出的符号序列是平稳随机序列，并且
H(X ) H(X1X2 XN ) H ( X1) H ( X2 | X1) H ( X3 | X1X 2 ) H ( X N | X1X 2 X N1)
定理3.1 对于离散平稳信源，有以下几个结论：
（1）条件熵 H (X N | X1X 2 X N1) 随N的增加是递减的；
（2）N给定时平均符号熵大于等于条件熵，即
s1
si p(s j
| si )
s q
m
状态空间由所有状态及状态间的状态转移概率组成。通过引
入状态转移概率，可以将对马尔可夫信源的研究转化为对马 尔可夫链的研究。
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
[数学]信源与信息熵
![[数学]信源与信息熵](https://img.taocdn.com/s3/m/3a0f985bc381e53a580216fc700abb68a982adf4.png)
[数学] 信源与信息熵1. 信源在信息论中，信源是指产生和发送信息的原始来源。
它可以是一个物理设备，如计算机、手机或者是一个概念、事件等。
无论信源是什么，它都可以看作是一个随机变量，可以取多个可能的取值。
举个例子，考虑一个硬币的抛掷过程。
在这个例子中，信源可以是硬币的结果，可以是正面或反面。
硬币抛掷过程是一个随机过程，因此信源可以看作是一个随机变量。
2. 信息熵信息熵是信息论中一个重要的概念，用于度量信源的不确定性或者信息的平均量。
它是由信源的概率分布决定的。
假设信源有n个可能的取值，记为$x_1, x_2, \\ldots, x_n$。
每个取值n n出现的概率为n(n n)，满足$\\sum_{i=1}^n p(x_i)= 1$。
那么，信源的信息熵n定义为$$ H = -\\sum_{i=1}^n p(x_i) \\log p(x_i) $$信息熵的单位通常是比特（bits）或者纳特（nats）。
信息熵可以理解为平均需要多少比特或者纳特来表示信源的一个样本。
当信源的概率分布均匀时，信息熵达到最大值。
相反，当信源的概率分布集中在某几个取值时，信息熵较低。
3. 信息压缩信息熵在信息压缩中起到了重要的作用。
信息压缩是将信息表示为更短的形式，以便更有效地存储和传输。
根据信息论的哈夫曼编码原理，我们可以通过将频繁出现的符号用较短的二进制码表示，而将不经常出现的符号用较长的二进制码表示，从而实现信息的压缩。
在信息压缩过程中，我们可以根据信源的概率分布来选择合适的编码方式，以最小化编码长度和解码的平均长度之和。
4. 信息熵的应用信息熵在各个领域都有着广泛的应用。
在通信领域，信息熵可以用来评估信道的容量。
信道容量是一个信道在单位时间内可以传输的最大信息量。
通过计算信道的信息熵，我们可以确定如何更好地利用信道的带宽和传输速率。
在数据压缩领域，信息熵可以用来评估压缩算法的效果。
一个好的压缩算法应该能够将原始数据的信息量尽可能地减少，从而更高效地存储和传输数据。
信源与信源熵4
11
• 信源的序列熵
9 2 H (Χ) H ( X ) p(ai )log p (ai ) 3bit / 序列 i 1
• 平均每个符号(消息)熵为
1 H 2 (X) H (X) 1.5bit / 符号 2
12
2.3 离散序列信源熵
• 2.3.1 离散无记忆信源的序列熵 • 2.3.2 离散有记忆信源的序列熵
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
4
离散无记忆信源的序列熵
• 发出单个符号的信源
X 1 2 3 4 5 6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
• 当前后符号无依存关系时,有下列推论：
H ( X1 , X 2 ) H ( X1 ) H ( X 2 ) H ( X 1 | X 2 ) H ( X 1 ), H ( X 2 | X 1 ) H ( X 2 )
14
• 若信源输出一个L长序列,则信源的序列熵为 H ( X ) H ( X 1 , X 2 , , X L ) H ( X 1 ) H ( X 2 | X 1 ) H ( X L | X L 1 , , X 1 )
a1
a2
a0
1/4
a1
1/18
a2
0
1/18
0
1/3
1/18
1/18 7/36
H(X2| X1)＜H(X1) H ( X ) H ( X 1 ) p(ai ) log p(ai ) 1.543bit信源的条件熵比无依 / 符号 赖时的熵H(X)减少了 i 0 0.671 比 特 , 这 正 是 因 为符号之间有依赖性 所造成的结果。 • 当考虑符号之间有依赖性时,计算得条件熵
第二章 信源熵
英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。
分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q
II.
III.
随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
第三章 信源及信源熵
3.3.1 离散平稳信源
P(Xi) P(Xj )
推论1
P(Xi Xi1) P(Xj Xj1)
PXi1Xi PXj1Xj P(Xi Xi1
XiN) P(Xj Xj1
XjN )
PX XX X iN i i1
iN1
PXjNXjXj1 XjN1
离散平稳信源的条件概率分布与时间起点无关，只与关联长度N有关。
第19页，共60页。
3.3.2 离散平稳无记忆信源
熵率
H lN iH m NX lN iN 1 m NX H H X
离散平稳无记忆信源的熵率等于单符号离散信源熵。
例1
离散无记忆信源为：X:{a1,a2,a3}；P(X):{1/4, 1/2, 1/4}，试求：
12））该写信出源该的信熵源；的二次H 扩(展X 信)源 ，1并.5 求b其it概率分布；
均为离散平稳 信源
中文自然语言文字
离散平稳信源又分为无记忆信源和有记忆信源。
第11页，共60页。
3.3 离散多符号信源
离散平稳无记忆信源 信源发出的各个符号彼此是统计独立的。 对于多符号信源X=(X1 X2 …XN)，各随机变量Xi(i=1,2, …,N)之
间是统计独立的，即： 称该多符号信源为离散无记忆信源的N次扩展信源。
3）根据2）中结果求该信源二次扩展信源的信源熵及熵率。
第20页，共60页。
3.3.2 离散平稳无记忆信源
2）写出该信源的二次扩展信源，并求其概率分布；
解：
二次扩展信源为： 信源符号为：
X 2 ：{A1…A9}
A1=a1a1 A4=a2a1 其概率分A布7=为a3：a1
A2=a1a2 A5=a2a2 A8=a3a2
第 2 章 信源与信息熵
• 布袋摸球实验，如先取一球记下颜色后不放回布袋 再取另一球，则组成消息的两个球的颜色之间有关 联性。
一般情况下，信源在不同时刻发出的符号之间是相 互依赖的，即信源输出的平稳随机序列 X 中，各随机变 量 X l 之间是有依赖的。
例如在汉字组成的中文消息中，前后文字的出现是 有依赖的，不能认为是彼此不相关的，放在L维随机矢 量的联合概率分布中，就必然要引入条件概率分布来说 明它们之间的关联。这种信源即有记忆信源。
第 2 章 信源与信息熵
2.1 信源的描述与分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
概率论基础
无条件概率、条件概率、联合概率的性质和关系
(1) 0 ≤ p( x i )， p( y j )， p( y j | x i )， p( x i | y j )， p( x i y j )≤1
设信源输出的Ｌ维随机序列（随机矢量）为
序列中的随机变量 X l ∈ A ( l =1, 2, …, L ) 信源的概率空间：
??
?
2010-3-30
例：
∵ 序列无记忆
若为平稳随机序列，则
L l=1
这种由信源 X 输出的 L 长随机序列 X 所描述的信 源叫做离散无记忆信源 X 的 L 次扩展信源。
(2)
n
m
n
i
=
p
1
(
x
i
)
=
1
,
∑
j=
p
1
(
y
j
)
=
1
,
∑p
i=1
(
x
i
|
y
j
)
一般情况下，信源在不同时刻发出的符号之间是相 互依赖的，即信源输出的平稳随机序列 X 中，各随机变 量 X l 之间是有依赖的。
例如在汉字组成的中文消息中，前后文字的出现是 有依赖的，不能认为是彼此不相关的，放在L维随机矢 量的联合概率分布中，就必然要引入条件概率分布来说 明它们之间的关联。这种信源即有记忆信源。
第 2 章 信源与信息熵
2.1 信源的描述与分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
概率论基础
无条件概率、条件概率、联合概率的性质和关系
(1) 0 ≤ p( x i )， p( y j )， p( y j | x i )， p( x i | y j )， p( x i y j )≤1
设信源输出的Ｌ维随机序列（随机矢量）为
序列中的随机变量 X l ∈ A ( l =1, 2, …, L ) 信源的概率空间：
??
?
2010-3-30
例：
∵ 序列无记忆
若为平稳随机序列，则
L l=1
这种由信源 X 输出的 L 长随机序列 X 所描述的信 源叫做离散无记忆信源 X 的 L 次扩展信源。
(2)
n
m
n
i
=
p
1
(
x
i
)
=
1
,
∑
j=
p
1
(
y
j
)
=
1
,
∑p
i=1
(
x
i
|
y
j
)
02-信源与信源熵
j =1 i =1
m
n
= ∑∑ p( xi y j ) log 2
j =1 i =1
m
n
1 p ( xi / y j )
已知X时 已知 时，Y的条件熵为 的条件熵为
H (Y / X ) = E[ I ( y j / xi )] =
∑∑ p( x y ) log
i j i =1 j =1
n
m
1 2 p ( y j / xi )
(1) 非负性 (2) 对称性 (3) 最大离散熵定理 (4) 扩展性 (5) 确定性 (6) 可加性 (7) 极值性 (8) 上凸性
1 p ( xi )
2011-12-20
7/45
自信息含义
当事件x 发生以前：表示事件x 当事件 i发生以前：表示事件 i发生的不确定 性。 当事件x 发生以后：表示事件x 所含有（ 当事件 i发生以后：表示事件 i所含有（或所 提供）的信息量。 提供）的信息量。 不确定性与信息量是等值关系。 不确定性与信息量是等值关系。 在无噪信道中，事件x 发生后， 在无噪信道中，事件 i发生后，能正确无误 地传输到收信者，所以I(x 可代表接收到消 地传输到收信者，所以 i)可代表接收到消 后所获得的信息量。这是因为消除了I(x 息xi后所获得的信息量。这是因为消除了 i) 大小的不确定性，才获得I(x 大小的信息量 大小的信息量。 大小的不确定性，才获得 i)大小的信息量。
0 ≤ p( xi ) ≤ 1，
∑ P( x ) = 1
i i =1
n
X代表随机变量，指的是信源整体 代表随机变量， 代表随机变量 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件 发生某一结果 i的概率。 发生某一结果x ，表示随机事件X发生某一结果 的概率。
m
n
= ∑∑ p( xi y j ) log 2
j =1 i =1
m
n
1 p ( xi / y j )
已知X时 已知 时，Y的条件熵为 的条件熵为
H (Y / X ) = E[ I ( y j / xi )] =
∑∑ p( x y ) log
i j i =1 j =1
n
m
1 2 p ( y j / xi )
(1) 非负性 (2) 对称性 (3) 最大离散熵定理 (4) 扩展性 (5) 确定性 (6) 可加性 (7) 极值性 (8) 上凸性
1 p ( xi )
2011-12-20
7/45
自信息含义
当事件x 发生以前：表示事件x 当事件 i发生以前：表示事件 i发生的不确定 性。 当事件x 发生以后：表示事件x 所含有（ 当事件 i发生以后：表示事件 i所含有（或所 提供）的信息量。 提供）的信息量。 不确定性与信息量是等值关系。 不确定性与信息量是等值关系。 在无噪信道中，事件x 发生后， 在无噪信道中，事件 i发生后，能正确无误 地传输到收信者，所以I(x 可代表接收到消 地传输到收信者，所以 i)可代表接收到消 后所获得的信息量。这是因为消除了I(x 息xi后所获得的信息量。这是因为消除了 i) 大小的不确定性，才获得I(x 大小的信息量 大小的信息量。 大小的不确定性，才获得 i)大小的信息量。
0 ≤ p( xi ) ≤ 1，
∑ P( x ) = 1
i i =1
n
X代表随机变量，指的是信源整体 代表随机变量， 代表随机变量 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件 发生某一结果 i的概率。 发生某一结果x ，表示随机事件X发生某一结果 的概率。
信源及信源熵课件
编码是将信息从一种 形式或格式转换为另 一种形式的过程。
编码的方式和格式取 决于应用场景和需求 。
编码的目的是为了便 于信息的存储、传输 和处理。
信源编码的原理
信源编码是对信源输出的符号或数据 进行压缩编码，以减少存储空间和传 输带宽。
信源编码的目标是在保证信息无损的 前提下，尽可能地减小编码后的数据 量。
差分编码
02
通过消除信号中的冗余信息，降低信号的复杂性，提高信号传
输的效率和可靠性。
深度学习在信源编码中的应用
03
利用深度学习算法对信源进行自动编码，提高编码的自适应性
和智能化水平。
信源熵的新应用
信息隐藏
利用信源熵将秘密信息隐 藏在普通数据中，实现隐 蔽通信和数据保护。
数据加密
通过改变数据熵值，增加 数据破解的难度，保护数 据的机密性和完整性。
LZ77编码
基于字典的压缩算法，通过查找已输出的字符串在字典中的匹配项， 替换为较短的指针，实现数据压缩。
BWT编码
将信源输出按字节进行排序并连接成一个字符序列，通过游程编码和 差分编码等技术实现数据压缩。
04
信源的应用
在通信系统中的应用
信源编码
通过将信源输出的消息转换为二进制 或其它形式的数字信号，实现数字通 信，提高通信系统的传输效率和可靠 性。
信源编码的原理基于信息论和概率统 计的知识，通过对信源输出的概率分 布进行分析，采用适当的编码方式实 现数据压缩。
常见信源编码方式
Huffman编码
基于信源符号出现概率的编码方式，通过为出现概率高的符号分配较 短的码字，实现数据压缩。
算术编码
将信源输出区间划分为若干个子区间，每个子区间对应一个符号，通 过小数形式的码字表示输出区间的范围，实现高压缩比。
编码的方式和格式取 决于应用场景和需求 。
编码的目的是为了便 于信息的存储、传输 和处理。
信源编码的原理
信源编码是对信源输出的符号或数据 进行压缩编码，以减少存储空间和传 输带宽。
信源编码的目标是在保证信息无损的 前提下，尽可能地减小编码后的数据 量。
差分编码
02
通过消除信号中的冗余信息，降低信号的复杂性，提高信号传
输的效率和可靠性。
深度学习在信源编码中的应用
03
利用深度学习算法对信源进行自动编码，提高编码的自适应性
和智能化水平。
信源熵的新应用
信息隐藏
利用信源熵将秘密信息隐 藏在普通数据中，实现隐 蔽通信和数据保护。
数据加密
通过改变数据熵值，增加 数据破解的难度，保护数 据的机密性和完整性。
LZ77编码
基于字典的压缩算法，通过查找已输出的字符串在字典中的匹配项， 替换为较短的指针，实现数据压缩。
BWT编码
将信源输出按字节进行排序并连接成一个字符序列，通过游程编码和 差分编码等技术实现数据压缩。
04
信源的应用
在通信系统中的应用
信源编码
通过将信源输出的消息转换为二进制 或其它形式的数字信号，实现数字通 信，提高通信系统的传输效率和可靠 性。
信源编码的原理基于信息论和概率统 计的知识，通过对信源输出的概率分 布进行分析，采用适当的编码方式实 现数据压缩。
常见信源编码方式
Huffman编码
基于信源符号出现概率的编码方式，通过为出现概率高的符号分配较 短的码字，实现数据压缩。
算术编码
将信源输出区间划分为若干个子区间，每个子区间对应一个符号，通 过小数形式的码字表示输出区间的范围，实现高压缩比。
信源及信源熵
i
是
xi
的函数，
I (xi ) xi
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特（bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
10
2.2.1 自信息量
几个例子
i.
一个以等概率出现的二进制码元（0，1）所包含的自信息量为：
I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。
i 1
6
第二节 离散信源熵和互信息
问题： • 什么叫不确定度？ • 什么叫自信息量？ • 什么叫平均不确定度？ • 什么叫信源熵？ • 什么叫平均自信息量？ • 什么叫条件熵？ • 什么叫联合熵？ • 联合熵、条件熵和熵的关系是什么？
7
第二节 离散信源熵和互信息 • 什么叫后验概率？ • 什么叫互信息量？ • 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
信源及信源熵
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言 、图像、图形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据 等符号都是离散消息。
第二章信源及信源熵
为m阶马尔可夫信源：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
p( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) p( xi | xi 1 xi 2 xi m ) (i 1, 2, , N )
用概率空间来描述离散信源:
一个离散信源的数学模型就是离散型的概率空间：
X与Y相互独立，无法从Y中提取关于X的 信息。也可以看成信道噪声相当大，以至有
H(X/Y)=H(X) 。在这种情况下，能够传输的
平均信息量为0。称为全损离散信道。
一般情况下，X和Y既非互相独立，也不是一一对
应，那么从Y获得的X信息必在零与H(X)之间，即
常小于X的熵。
0 I ( X ;Y ) H ( X )
当 xi 和 y j 相互独立时，有 p( xi y j ) p( xi ) p( y j ) 于是有 I ( xi y j ) I ( xi ) I ( y j )
条件自信息量：当 xi 和 y j 相互联系时，在事件 y j 出现的条件下，xi 的自信息量称为条件自信息 量，定义为 ：
j
/ xi )
H (Y / X ) p( xi ) p( y j | xi ) log p( y j | xi )
j 1 i 1 n
m
n
p( xi y j ) log p( y j | xi )
j 1 i 1
m
H ( X | Y ) - p ( xy ) log p ( x | y )
（2）当事件xi发生以后，表示事件xi所提供的信息量。
一点说明
自信息量的单位取决于对数的底；
底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”或“det”； 根据换底公式得：
《信源与信息熵》课件
保证可靠性
通过编码技术对数据进行错误纠正和检测，提高 数据传输的可靠性。
常见编码方式
Huffman编码
Shannon-Fano编码
根据字符出现的概率进行编码，使用较短 的码字表示概率较高的字符，反之亦然。
类似于Huffman编码，根据字符出现的概 率进行分组和编码，以提高编码效率。
LZ77编码
LZ78编码
02
信息熵的概念
信息熵的定义
信息熵
信息熵是信源发出消息的不确定性的 度量，也称为平均信息量。它表示在 信源中随机选取一个符号时，所含有 的平均信息量。
数学公式
$H(X) = -sum_{i=1}^{n} P(x_i) log_2 P(x_i)$，其中$P(x_i)$表示信 源符号$x_i$出现的概率。
熵的概念
信息熵表示数据源中信息的平均不确定性或随机性，是度量数据不确定性的一个重要指标。在数据压 缩中，通过减少数据的不确定性，即减少信息熵，来实现数据的压缩。
数据压缩算法
无损压缩算法
无损压缩算法能够完全恢复原始数据，不丢失任何信息。常见的无损压缩算法 包括哈夫曼编码、游程编码、LZ77等。
有损压缩算法
有损压缩算法在压缩数据时会去除一些冗余信息，以换取更高的压缩比。常见 的有损压缩算法包括JPEG、MPEG等。
解压缩与解压算法
解压缩算法
解压缩算法是数据压缩的逆过程，用于 将压缩后的数据恢复为原始形式。不同 的压缩算法对应不同的解压缩算法，如 哈夫曼编码的解压缩算法是哈夫曼解码 。
VS
解压算法
解压算法与解压缩算法类似，也是将压缩 后的数据恢复为原始形式。在有损压缩中 ，解压算法通常与压缩算法紧密相关，如 JPEG图像的解压需要使用JPEG解码器。
通过编码技术对数据进行错误纠正和检测，提高 数据传输的可靠性。
常见编码方式
Huffman编码
Shannon-Fano编码
根据字符出现的概率进行编码，使用较短 的码字表示概率较高的字符，反之亦然。
类似于Huffman编码，根据字符出现的概 率进行分组和编码，以提高编码效率。
LZ77编码
LZ78编码
02
信息熵的概念
信息熵的定义
信息熵
信息熵是信源发出消息的不确定性的 度量，也称为平均信息量。它表示在 信源中随机选取一个符号时，所含有 的平均信息量。
数学公式
$H(X) = -sum_{i=1}^{n} P(x_i) log_2 P(x_i)$，其中$P(x_i)$表示信 源符号$x_i$出现的概率。
熵的概念
信息熵表示数据源中信息的平均不确定性或随机性，是度量数据不确定性的一个重要指标。在数据压 缩中，通过减少数据的不确定性，即减少信息熵，来实现数据的压缩。
数据压缩算法
无损压缩算法
无损压缩算法能够完全恢复原始数据，不丢失任何信息。常见的无损压缩算法 包括哈夫曼编码、游程编码、LZ77等。
有损压缩算法
有损压缩算法在压缩数据时会去除一些冗余信息，以换取更高的压缩比。常见 的有损压缩算法包括JPEG、MPEG等。
解压缩与解压算法
解压缩算法
解压缩算法是数据压缩的逆过程，用于 将压缩后的数据恢复为原始形式。不同 的压缩算法对应不同的解压缩算法，如 哈夫曼编码的解压缩算法是哈夫曼解码 。
VS
解压算法
解压算法与解压缩算法类似，也是将压缩 后的数据恢复为原始形式。在有损压缩中 ，解压算法通常与压缩算法紧密相关，如 JPEG图像的解压需要使用JPEG解码器。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信源及信源熵介绍
内容
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度
2
第二章 信源及信源熵
本章重点
离散/连续信源熵和互信息
本章难点
• 离散序列有记忆信源的熵
3
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit，
l det＝log210 3.322 bit
条件概率为 p(xi / y，j )则它的条件自信息量
定义为条件概率对数的负值：
I (xi / y j ) log p(xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量 相同，但两者含义不同。
18
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的 概率为0.023，“o”出现的概率为0.001。分别计算 它们的自信息量。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
为零。
24
例 2－2－3
电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成 n=103x10个不同的画面。按等概率1/103x10计算，平 均每个画面可提供的信息量为
n
H ( X ) p(xi ) log2 p(xi ) log2 103105 i 1
x1 p( x1
)
x2 p( x2 )
xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
9
第二节 离散信源熵和互信息
问题：
什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号 代表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个 以上符号的符号序列代表一个6 消息。
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
一个离散信源发出的各个符号消息的集合为
X {x1, x2,, xn} ，它们的概率分别为
P {p(x1), p(x2 ),, p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
8
第一节 信源的描述和分类
,
X P
c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包 含的不确定度就很小；
反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否 发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
16
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
30
几个概念
1. 条件熵
定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集 合的条件熵H（X/yj）为
H（X/yj）=
p(xi / y j )I (xi / y j )
i
在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为
H（X/Y）= =
p(yj )H(X / yj ) p(yj ) p(xi / yj )I(xi / yj )
0 0.2 0.4 0.6 0.8 1
p
29
说明：
信源信息熵H（X）是概率p的函数，通常用H（p）表 示。p取值于[0，1]区间。H（p）函数曲线如图所示。 从图中看出，如果二元信源的输出符号是确定的，即 p=1或q=1，则该信源不提供任何信息。反之，当二元信 源符号0和1以等概率发生时，信源熵达到极大值，等 于1比特信息量。
解: 依据题意 这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
20
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
比较：
• “一个电视画面”平均提供的信息量远远超过 “一篇千字文”提供的信息量。
26
例2－2－4
设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p （x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号
定义：离散信源熵H(X)(平均不确定度/平均信 息量/平均自信息量)
定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：
H (X ) p(xi )I (xi ) p(xi ) log p(xi )
i
i
• 单位为比特/符号或比特/符号序2列3
4) 某一信源，不管它是否输出符号，只要这些符号具有某 些概率特性，必有信源的熵值；这熵值是在总体平均上 才有意义，因而是一个确定值，一般写成H（X），X是 指随机变量的整体（包括概率分布）。
13
2.2.1 自信息量
几个例子 i. 一个以等概率出现的二进制码元（0，1）所
包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位 可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制数。
解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
19
2.2.2 离散信源熵
例2-2-2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。
10
第二节 离散信源熵和互信息
什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？
11
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
j
i, j
p(xi y j )I31 (xi / y j )
i, j
相应地，在给定X（即各个xi）的条件下，Y集合的条件
熵H(Y/X)定义为
H(Y/X)= p(xi yj )I(yj / xi ) p(xi yj )log p(yj / xi )
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 信源
离散信源 连续信源
4
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
I (xi ) log p(xi )
说明：
x a.
因息量为也概就率较大p。越(由x小i 于)，
的出现就越稀罕，一旦出现，所获得的信 是随机出i现的，它是机量。而 是 的函数，它必须也是一个随机量。
I (xi ) xi
12
2.2.1 自信息量
b. 自信息量的单位的确定
I (xi y j ) log p(xi y j )
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
17
2.2.1 自信息量
3. 条件自信息量
内容
第一节 信源的描述和分类
第二节 离散信源熵和互信息 第三节 连续信源的熵和互信息 第四节 离散序列信源的熵 第五节 冗余度
2
第二章 信源及信源熵
本章重点
离散/连续信源熵和互信息
本章难点
• 离散序列有记忆信源的熵
3
第一节 信源的描述和分类
一、香农信息论的基本点
用随机变量或随机矢量来表示信源，运用概率论和 随机过程的理论来研究信息。
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit，
l det＝log210 3.322 bit
条件概率为 p(xi / y，j )则它的条件自信息量
定义为条件概率对数的负值：
I (xi / y j ) log p(xi / y j )
注意:
在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量 相同，但两者含义不同。
18
2.2.1 自信息量
例2－2－1 英文字母中“e” 出现的概率为0.105，“c”出现的 概率为0.023，“o”出现的概率为0.001。分别计算 它们的自信息量。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
为零。
24
例 2－2－3
电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成 n=103x10个不同的画面。按等概率1/103x10计算，平 均每个画面可提供的信息量为
n
H ( X ) p(xi ) log2 p(xi ) log2 103105 i 1
x1 p( x1
)
x2 p( x2 )
xn p(xn )
n
显然有 p(xi ) 0, p(xi ) 1
i 1
9
第二节 离散信源熵和互信息
问题：
什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？
• 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联 的。
• 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号 代表一个消息；
• 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个 以上符号的符号序列代表一个6 消息。
第一节 信源的描述和分类
• 发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
一个离散信源发出的各个符号消息的集合为
X {x1, x2,, xn} ，它们的概率分别为
P {p(x1), p(x2 ),, p(xn )} ， p(xi ) 为符号 xi 的先验概率。通常把它们写
到一起，称为概率空间：
8
第一节 信源的描述和分类
,
X P
c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包 含的不确定度就很小；
反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否 发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
16
2.2.1 自信息量
两个消息xi，yj同时出现的联合自信息量
30
几个概念
1. 条件熵
定义：在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集 合的条件熵H（X/yj）为
H（X/yj）=
p(xi / y j )I (xi / y j )
i
在给定Y（即各个yj）条件下，X集合的条件熵 H(X/Y)定义为
H（X/Y）= =
p(yj )H(X / yj ) p(yj ) p(xi / yj )I(xi / yj )
0 0.2 0.4 0.6 0.8 1
p
29
说明：
信源信息熵H（X）是概率p的函数，通常用H（p）表 示。p取值于[0，1]区间。H（p）函数曲线如图所示。 从图中看出，如果二元信源的输出符号是确定的，即 p=1或q=1，则该信源不提供任何信息。反之，当二元信 源符号0和1以等概率发生时，信源熵达到极大值，等 于1比特信息量。
解: 依据题意 这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
20
其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 .
1) 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit
2) 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
第一节 信源的描述和分类
• 离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的， 发出的符号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
比较：
• “一个电视画面”平均提供的信息量远远超过 “一篇千字文”提供的信息量。
26
例2－2－4
设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p （x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号
定义：离散信源熵H(X)(平均不确定度/平均信 息量/平均自信息量)
定义信源的平均不确定度H(X)为信源中各个符号不 确定度的数学期望，即：
H (X ) p(xi )I (xi ) p(xi ) log p(xi )
i
i
• 单位为比特/符号或比特/符号序2列3
4) 某一信源，不管它是否输出符号，只要这些符号具有某 些概率特性，必有信源的熵值；这熵值是在总体平均上 才有意义，因而是一个确定值，一般写成H（X），X是 指随机变量的整体（包括概率分布）。
13
2.2.1 自信息量
几个例子 i. 一个以等概率出现的二进制码元（0，1）所
包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位 可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit， 就是需要m比特的信息来指明这样的二进制数。
解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit
19
2.2.2 离散信源熵
例2-2-2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其 颜色，求平均摸取一次所能获得的自信息量。
10
第二节 离散信源熵和互信息
什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？
11
2.2.1 自信息量
1. 自信息量
定义：一个随机事件的自信息量定义为其出现概率对 数的负值。即:
j
i, j
p(xi y j )I31 (xi / y j )
i, j
相应地，在给定X（即各个xi）的条件下，Y集合的条件
熵H(Y/X)定义为
H(Y/X)= p(xi yj )I(yj / xi ) p(xi yj )log p(yj / xi )
二、信源的分类
按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类
{ 信源
离散信源 连续信源
4
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
2. 离散信源
离散信源是指发出在时间和幅度上都是离散分布的
I (xi ) log p(xi )
说明：
x a.
因息量为也概就率较大p。越(由x小i 于)，
的出现就越稀罕，一旦出现，所获得的信 是随机出i现的，它是机量。而 是 的函数，它必须也是一个随机量。
I (xi ) xi
12
2.2.1 自信息量
b. 自信息量的单位的确定
I (xi y j ) log p(xi y j )
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。
b. xiyj所包含的不确定度在数值上也等于它们的自信 息量。
17
2.2.1 自信息量
3. 条件自信息量