2离散信源
合集下载
第3章 离散信源
信息量单位
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算【实用版】目录一、信息论与编码实验一概述二、离散信源的定义与分类三、离散信源信息量的计算方法四、实验过程及结果分析五、总结正文一、信息论与编码实验一概述信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
信息论是研究信息传输、存储、处理和控制的科学，其目的是为了提高通信系统的效率和可靠性。
实验一的主要目的是让学生了解离散信源的定义、性质和计算方法，并掌握如何使用 Matlab 软件进行离散信源信息量的计算。
二、离散信源的定义与分类离散信源是指其输出信号为离散信号的信源，常见的离散信源有伯努利信源、马尔可夫信源等。
根据信源的性质和特点，离散信源可以分为离散无记忆信源和离散有记忆信源。
离散无记忆信源是指信源的输出信号只与当前输入信号有关，而与过去的输入信号无关；离散有记忆信源是指信源的输出信号与过去的输入信号有关。
三、离散信源信息量的计算方法离散信源的信息量是指信源输出的符号所包含的信息量，通常用比特（bit）来表示。
离散信源的信息量的计算方法主要有两种：一种是基于概率的计算方法，另一种是基于熵的计算方法。
基于概率的计算方法是通过计算信源输出符号的概率来计算信息量；基于熵的计算方法是通过计算信源的熵来计算信息量。
熵是信息论中用于度量信息量的一个重要概念，它表示信息的不确定性。
四、实验过程及结果分析在实验过程中，学生需要首先了解离散信源的定义和性质，然后通过Matlab 软件计算离散信源的熵，并根据熵的计算结果分析信源的信息量。
在实验中，学生需要编写 Matlab 程序，计算离散信源的熵，并绘制熵的图像。
通过实验，学生可以加深对离散信源的理解和掌握离散信源信息量的计算方法。
五、总结信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
通过实验，学生可以了解离散信源的定义和性质，掌握离散信源信息量的计算方法，并熟练使用 Matlab 软件进行离散信源信息量的计算。
第3章 离散信源
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
2.2 多符号离散信源的熵
16
17
（2）某时刻信源所处的状态由该时刻输出的符号 和前一时刻的状态唯一确定。
发akm1 发akm2 发......
ak1 ak2 akm ak2 akm akm1 ak3 akm1 akm2
Si Si+1 Si+2
问：m阶马尔可夫信源最多有多少种状态？ nm
所有的状态构成状态空间S，每种状态 以一定的概率发生，则得到的数学模型就是 Байду номын сангаас阶马尔可夫信源的数学模型。
10
解：
3
H ( X ) p(ai ) log p(ai ) 1.542bit / 符号
i 1
H ( X 2 | X 1 ) p(ai ) p(a j | ai ) log p(a j | ai ) 0.870bit / 符号
i 1 j 1
3
3
H ( X 2 ) H ( X 1 X 2 ) H ( X ) H ( X 2 / X 1 ) 2.412bit / 双符号 1 平均符号熵H N ( X ) H ( X N ) N 1 H 2 ( X ) H ( X 2 ) 1.206bit / 符号 2
20
则：
H H m 1 H ( S j | Si )
nm i , j 1 nm
令所有的状态组成一个状态集合Si 或Sj
p( si s j ) log p( s j | si ) p( si ) p( s j | si ) log p( s j | si )
所谓平稳是指序列的统计性质与时间的推移无关。
非平稳随机序列：信源每发一个符号的概率与时间起 点有关。 离散无记忆信源：信源序列的前后符号之间是统计独 立的。
信息论汇总马尔科夫信源
一个常数Wj
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发 出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发 出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
多符号离散信源
X的数学模型
a2 ,，an 2 X a1 , P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
p(a ) p( x
i 1 i i1 1 i2 1
n2
n
n
i1
) p( xi2 / xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
XN XN
1 p ( xi1 ) p ( xi2 ) p ( xiN ) 1 p ( xi1 )
p ( ai ) log 2
XN
1 p ( xi2 )
p ( ai ) log 2
XN
1 p ( xiN）
上式共有N项，考察其中第一项
p(a ) log
i XN
1 2 p ( xi ) 1
可以算得 H(X)=1.5 比特/符号（此处的符号是指X信源的输出符号xi）
H(X)=H(X2)=3 比特/符号（此处的符号是指扩展信源的输出符号
ai ，它是由二个xi符号组成）
所以
H(X)=2H(X)
对上述结论的解释：因为扩展信源XN的每一个输出符
号ai是由N个xi所组成的序列，并且序列中前后符号是统计 独立的。现已知每个信源符号xi含有的平均信息量为H(X)， 那么，N个xi组成的无记忆序列平均含有的信息量就为 NH(X)（根据熵的可加性）。因此信源XN每个输出符号含 有的平均信息量为NH(X)。
(2) 随机矢量/随机变量序列
多符号离散信源可用随机矢量/随机变量序列描述， 即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量 的统计特性随着时间的推移而有所变化。
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
2信源与信息熵2
i 1 j 1 n m
• 联合自信息量
I ( xi y j ) log2 p( xi y j )
• 条件自信息量和联合自信息量同样满足非负 性和单调递减性。 • 关系
I ( xi y j ) log2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
信源熵与自信息量的关系1:定性
• 信源熵用以表征信源的平均不确定性：一个 信源，无论是否输出符号，由于具有特定的 概率统计特性，因此具有特定的熵值。 • 信息量则只有当信源输出的符号被接收者收 到后才有意义。平均自信息量是能够消除信 源不确定性时所需信息的量度，即收到一个 信源符号，全部解除了这个符号的不确定性。 或者说获得这样大的信息量后，信源不确定 性就被消除了。
• 平均自信息量：表示信源中发出每个符号平均所能 提供的信息量。它只与信源中各个符号出现的概率 有关，可以用来表示信源输出信息的总体量度。 • 信源X的平均不确定度：表示总体平均意义上的信 源符号的不确定度(不管是否发出)。数值上等于平 均自信息量。 • 这个平均自信息量的表达式和统计物理学中热熵的 表达式很相似。在统计物理学中，热熵是一个物理 系统杂乱性(无序性)的度量。这在概念上也有相似 之处。所以，可以把信源X的平均不确定度称为 “信源熵”。
例2-5/6
• 例2-5(P19):
• 例2-6(P19): • 由于符号间通常存在关联性，实际信息量往 往远远小于理论值。
例2-7
• 例2-7(P19):二元信源的信息熵。
• 自信息量是针对无条件概率计算的，可以在 数学上进行简单的推广：将无条件概率换为 条件概率或联合概率。
• 联合自信息量
I ( xi y j ) log2 p( xi y j )
• 条件自信息量和联合自信息量同样满足非负 性和单调递减性。 • 关系
I ( xi y j ) log2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
信源熵与自信息量的关系1:定性
• 信源熵用以表征信源的平均不确定性：一个 信源，无论是否输出符号，由于具有特定的 概率统计特性，因此具有特定的熵值。 • 信息量则只有当信源输出的符号被接收者收 到后才有意义。平均自信息量是能够消除信 源不确定性时所需信息的量度，即收到一个 信源符号，全部解除了这个符号的不确定性。 或者说获得这样大的信息量后，信源不确定 性就被消除了。
• 平均自信息量：表示信源中发出每个符号平均所能 提供的信息量。它只与信源中各个符号出现的概率 有关，可以用来表示信源输出信息的总体量度。 • 信源X的平均不确定度：表示总体平均意义上的信 源符号的不确定度(不管是否发出)。数值上等于平 均自信息量。 • 这个平均自信息量的表达式和统计物理学中热熵的 表达式很相似。在统计物理学中，热熵是一个物理 系统杂乱性(无序性)的度量。这在概念上也有相似 之处。所以，可以把信源X的平均不确定度称为 “信源熵”。
例2-5/6
• 例2-5(P19):
• 例2-6(P19): • 由于符号间通常存在关联性，实际信息量往 往远远小于理论值。
例2-7
• 例2-7(P19):二元信源的信息熵。
• 自信息量是针对无条件概率计算的，可以在 数学上进行简单的推广：将无条件概率换为 条件概率或联合概率。
信源及信源熵
i
是
xi
的函数，
I (xi ) xi
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特（bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
10
2.2.1 自信息量
几个例子
i.
一个以等概率出现的二进制码元（0，1）所包含的自信息量为：
I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。
i 1
6
第二节 离散信源熵和互信息
问题： • 什么叫不确定度？ • 什么叫自信息量？ • 什么叫平均不确定度？ • 什么叫信源熵？ • 什么叫平均自信息量？ • 什么叫条件熵？ • 什么叫联合熵？ • 联合熵、条件熵和熵的关系是什么？
7
第二节 离散信源熵和互信息 • 什么叫后验概率？ • 什么叫互信息量？ • 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
信源及信源熵
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言 、图像、图形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据 等符号都是离散消息。
第三章 离散信源
第三章 离散信源
Wuhan University
3.1 信源及其分类 3.2 离散无记忆信源的等长编码
1
信源的描述及分类
Wuhan University
信源的统计特性 信源是信息的来源,是产生消息(符号)或消 息序列的来源。 由于消息的不确定性，因此，信源是产生随 机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。
Wuhan University
二进制无记忆信源的N次扩展：把每
N个二进制数字组成一组，则信源等 效成一个具有2N个符号的新信源，把 它称为单符号二进制无记忆信源的N 次扩展信源。
7
单符号信源的扩展
Wuhan University
例1：电报系统中，可以认为每二个二进制数
字组成一组。这样信源输出的是由二个二进 制数字组成的一组组符号。这时可以将它们 等效看成一个新的信源，它由四个符号00， 01，10，11组成，把该信源称为二进制无记 忆信源的二次扩展。
≥LlogK 没有考虑信源统计特性，认为每个 信源符号独立等概。 考虑信源统计特性时，无错编码的 条件： NlogD ≥LH(U) R≥H(U)
统计平均，仅当L 为无限时
22
离散无记忆信源的等长编码
Wuhan University
R ≥H(U) 在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U)时，无论怎样编码都是有错 编码。 当logK>R>H(U)时，可以适当地编码 和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”。
K k 1 k
15
离散无记忆信源的等长编码
Wuhan University
Wuhan University
3.1 信源及其分类 3.2 离散无记忆信源的等长编码
1
信源的描述及分类
Wuhan University
信源的统计特性 信源是信息的来源,是产生消息(符号)或消 息序列的来源。 由于消息的不确定性，因此，信源是产生随 机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。
Wuhan University
二进制无记忆信源的N次扩展：把每
N个二进制数字组成一组，则信源等 效成一个具有2N个符号的新信源，把 它称为单符号二进制无记忆信源的N 次扩展信源。
7
单符号信源的扩展
Wuhan University
例1：电报系统中，可以认为每二个二进制数
字组成一组。这样信源输出的是由二个二进 制数字组成的一组组符号。这时可以将它们 等效看成一个新的信源，它由四个符号00， 01，10，11组成，把该信源称为二进制无记 忆信源的二次扩展。
≥LlogK 没有考虑信源统计特性，认为每个 信源符号独立等概。 考虑信源统计特性时，无错编码的 条件： NlogD ≥LH(U) R≥H(U)
统计平均，仅当L 为无限时
22
离散无记忆信源的等长编码
Wuhan University
R ≥H(U) 在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U)时，无论怎样编码都是有错 编码。 当logK>R>H(U)时，可以适当地编码 和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”。
K k 1 k
15
离散无记忆信源的等长编码
Wuhan University
离散和连续信源熵正负
离散和连续信源熵的正负1. 介绍在信息论中，信源熵是衡量一个随机信源的不确定性的度量。
离散和连续信源是两种常见的信源类型，它们在计算熵时存在一些差异。
本文将详细介绍离散和连续信源熵的正负以及相关概念。
2. 离散信源熵的正负2.1 离散信源熵的定义离散信源是指输出符号有限且可数的信源。
假设我们有一个离散信源X，其输出符号集合为{a1, a2, …, an}，每个符号ai发生的概率为pi。
离散信源熵H(X)定义为：H(X) = -Σ(pi * log2(pi))其中log2表示以2为底的对数运算。
2.2 离散信源熵的正负根据熵的定义可以发现，离散信源熵始终为非负值。
这是因为概率pi大于等于0且小于等于1，log2(pi)小于等于0，所以对每个pi求积后取负数得到的结果都是非负值。
当所有输出符号发生概率相等时，即pi = 1/n，其中n为输出符号的个数，离散信源达到最大不确定性，熵达到最大值log2(n)。
当某些输出符号的概率接近0时，离散信源趋向于确定性，熵趋向于0。
3. 连续信源熵的正负3.1 连续信源熵的定义连续信源是指输出符号是连续变量的信源。
在处理连续信源时，我们需要使用概率密度函数（probability density function, PDF）来描述随机变量X的概率分布。
假设X的概率密度函数为f(x)，则连续信源熵H(X)定义为：H(X) = -∫(f(x) * log2(f(x)))dx其中∫表示积分运算。
3.2 连续信源熵的正负与离散信源不同，连续信源熵可以是正值、零或负值。
这是因为在连续情况下，概率密度函数f(x)可以超过1。
当概率密度函数f(x)集中在某个区域时，连续信源趋向于确定性，熵趋向于0甚至成为负值。
当概率密度函数均匀分布在整个定义域上时，连续信源达到最大不确定性，熵达到正无穷大。
需要注意的是，连续信源熵的计算需要对概率密度函数进行积分运算，这对于复杂的连续信源可能会很困难。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求：
x1 7/9 1/8 0
x2 2/9 3/4 2/11
x3 0 1/8 9/11
①该信源分别发出消息x2x1和x2x2的联合自信息量； ②该信源的联合熵和平均符号熵； ③考察当X1X2独立时的联合熵和平均符号熵。
10
例1-续
解：
P ( x i1 x i2 ) P ( x 2 x1 ) P ( x 2 ) P ( x1 / x 2 ) 41 1 9 8 18
14
一、离散平稳信源－續
– 另一方面，由于
NH N ( X 1 X 2 ... X N ) H ( X 1 X 2 ... X N ) H ( X 1 X 2 ... X N 1 ) H ( X N / X 1 X 2 ... X N 1 ) ( N 1) H N 1 ( X 1 X 2 ... X N 1 ) H ( X N / X 1 X 2 ... X N 1 ) ( N 1) H N 1 ( X 1 X 2 ... X N 1 ) H N ( X 1 X 2 ... X N )
3
H ( X 2 /X 1 ) i
3 3
1 1
3 i2 1 3 i2 1
P ( x i1 x i2 )lbP ( x i2 /x i1 )
P ( x i1 ) P ( x i2 /x i1 )lbP ( x i2 /x i1 ) 1 7 7 1 2 2 4 1 1 4 3 3 4 1 1 11 2 2 11 9 9 lb lb lb lb lb lb lb 4 9 9 4 9 9 9 8 8 9 4 4 9 8 8 36 11 11 36 11 11 2 1 9 7 7 1 2 1 1 1 3 1 1 1 lb lb lb lb lb lb lb 36 9 18 9 18 8 3 4 18 8 18 11 4 11 0.870(bit)
P( X k ) P( X l ) P ( X k X k 1 ) P ( X l X l 1 ) ... P ( X k X k 1 ... X k N 1 ) P ( X l X l 1 ... X l N 1 )
则称该信源为N维离散平稳信源。 N维离散平稳信源与时间起点无关。
12
一、离散平稳信源－續
N维离散平稳信源的极限熵
– 当N→∞时，N维离散平稳信源平均符号熵的极限存在且等 于其 N 阶条件熵的极限值，称为 N 维离散平稳信源的极限 熵，用H∞表示，其表达式为
H lim
N
1 H ( X 1 X 2 ... X N ) lim H ( X N /X 1 X 2 ... X N 1 ) N N
由信源的平稳性
H ( X N ) H ( X N / X N 1 ) ... H ( X N / X 1 X 2 ... X N 1 ) H ( X N ) H ( X N / X N 1 ) H ( X N / X N 1 X N 2 ) ... H ( X N / X 1 X 2 ... X N 1 ) H ( X N / X 1 X 2 ... X N 1 ) ... H ( X N / X N 1 ) H ( X N ) H N ( X 1 X 2 ... X N ) H ( X N / X 1 X 2 ... X N 1 )
1
引子：信源
信源的属性在于：发送信号(消息)，信号携带信息
– 依据信源信号特性进行分类 时间、相位、频率、幅度分布特性
– 离散/连续，数字/模拟
数字信源的消息集合大小
– 二进制/多进制
– 依据信源统计特性 离散信源产生的消息序列的内部关联性
– 无记忆/有记忆
信源的信号或消息序列可以看成是随机过程
i1 1
H ( X 1 X 2 ) H ( X 1 ) H ( X 2 / X 1 ) 1.542 0.870 2.412(bit) H2(X1 X 2 ) 1 1 H ( X 1 X 2 ) 2.412 1.206(bit/symbol) 2 2
H ( X 2 / X1 ) H ( X 2 ) H ( X1 ) H N (X1 X 2 ) 1 H ( X X ) 1 2 2 H ( X 1 ) 1.542 1.206(bit) – 当X1、X2独立时：
P( X k ) P( X l )
则称该信源为一维离散平稳信源。
4
一、离散平稳信源－續
如果不仅其概率分布相同，其二维联合概率分布也相同，即
P( X k ) P( X l ) P ( X k X k 1 ) P ( X l X l 1 )
则称该信源为二维离散平稳信源。 除概率分布相同外，直到N维的各维联合概率分布也相同，即
N维离散平稳信源的联合熵 HX E I x P x I x H X P x lbP x
n i i 1 i i n 1 i 1 i1 i1
n n n i1 1 i 2 1
n i 1
P x i lbP x i
– 极限熵的单位为bit/symbol。
13
一、离散平稳信源－續
极限熵的存在性的证明：
– 一方面，根据熵的链接准则
NH N ( X 1 X 2 ... X N ) H ( X 1 X 2 ... X N ) H ( X 1 ) H ( X 2 / X 1 ) ... H ( X N / X 1 X 2 ... X N 1 )
– 进行编码，以便“一切仅在不言中”？！
3
一、离散平稳信源
考虑多符号离散信源发出的符号序列
X 1 X 2 ... X N
– 一般情况下，信源在不同时刻所发符号的概率分布不一定 相同。 – 如果对任意两个不同时刻k和l，k=1,2, …,N，l=1,2, …,N， 信源所发符号的概率分布相同，即
1 N
H ( X 1 X 2 ... X N )
H N ( X 1 X 2 ... X N )
1 N
N k 1
H(X k ) H(X1 )
9
例1
已知二维离散平稳信源的符号概率分布
P( x1 ) 1/ 4, P( x2 ) 4 / 9, P( x3 ) 11 / 36
其条件概率分布 x1 x2 x3
P (a i ) P ( x i1 x i2 ... x i N ) P ( x i1 ) P ( x i2 / x i1 )... P ( x i N / x i1 x i2 ... x i N 1 )
P (a ) 1
i i 1
nN
6
一、离散平稳信源－續
N维离散平稳信源的联合自信息量
i N 1
H ( X 1 X 2 ... X N ) k 1 H ( X k ) NH ( X 1 )
N
7
一、离散平稳信源－續
– 证明思路
H ( X 1 X 2 ... X N ) E[ I ( x i1 x i2 ... x i N )]
n n n i1 1 i 2 1 n n i1 1 i 2 1 n n i N 1 n i N 1 n
– 离散/连续 – 平稳/非平稳
– 依据信源消息的感知(内容)特性 数据、文本、语音、图像
2
引子：信源－续
研究信源特性的动机
– 提高信源效率
尽可能少的码元或尽可能低的数据率 尽可能地使其适于传输 降低存储空间需求
– 数字图书馆？ – 写或改写论文？ 使其更简明扼要？ – 写诗？写词？写散文？
I (a i ) I ( x i1 x i2 ... x i N ) lbP ( x i1 x i2 ... x i N ) lbP ( x i1 ) lbP ( x i2 / x i1 ) lbP ( x i N / x i1 ... x i N 1 ) I ( x i1 ) I ( x i2 / x i1 )... I ( x i N / x i1 ... x i N 1 )
1 I ( x i1 x i2 ) lbP ( x i1 x i2 ) lbP ( x 2 x 2 ) lb 1.585(bit) 3
11
例1
1 1 4 4 11 11 H ( X 1 ) i 1 P ( x i1 )lbP ( x i1 ) lb lb lb 1.542(bit) 1 4 4 9 9 36 36
1 4.170(bit) 18
I ( x i1 x i2 ) lbP ( x i1 x i2 ) lbP ( x 2 x1 ) lb
43 1 P ( x i1 x i2 ) P ( x 2 x 2 ) P ( x 2 ) P ( x 2 / x 2 ) 94 3
... P ( x i1 x i2 ... x i N ) I ( x i1 x i2 ... x i N ) ... P ( x i1 x i2 ... x i N ) I ( x i1 ) ... P ( x i1 x i2 ... x i N ) I ( x i2 /ersity of Electronic Science and Technology of China
信息論基礎
－離散信源
鄺育軍 通信與信息工程學院
kyj@ 13648007026, 61830597
内容提要
离散平稳信源 信息冗余度与结构信息 信源符号序列分组定理 无失真编码定理 本章小结
n
n
i1 1 i 2 1