第3章 信源及信息熵 (1)

合集下载

信息论与编码信源与信息熵

信息论与编码信源与信息熵
或 22 H (X1, X2) p(ai, aj )log p(ai, aj ) 2.41bit / 符号 i0 j0
• 联合熵H(X1,X2)表达平均每二个信源符号所携带 旳信息量。
• 我们用1/2H(X1,X2)作为二维平稳信源X旳信息熵 旳近似值。那么平均每一种信源符号携带旳信
息量近似为:
– 信源符号分布旳不均匀性。 • 等概率分布时信源熵最大。
log 2 n H0 (X ) H1(X ) H2 (X ) H (X )
26
冗余度
• 对于有记忆信源,极限熵为H∞(X)。 • 这就是说我们需要传送这一信源旳信息,理论
上只需要传送H∞(X)即可。但必须掌握信源全 部概率统计特征,这显然是不现实旳。
/
符号
11
• 例:有一离散平稳无记忆信源
求:二次扩展信源旳熵
X p(x)
x1 1
2
x2 1
4
x3 1 4
X2信源 旳元素
相应旳 消息序列
概率p(ai)
a1 a2 a3 a4 a5 a6 a7 a8 a9
x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
• 目前后符号无依存关系时,有下列推论:
H(X1X2) H(X1) H(X2)
H (X1 | X 2 ) H (X1), H (X 2 | X1) H (X 2 )
14
离散有记忆信源序列熵
• 信源旳联合熵(即前后两个符号(X1,X2)同步发生 旳不拟定度)等于信源发出前一种符号X1旳信息 熵加上前一种符号X1已知时信源发出下一种符号 X2旳条件熵。

信源熵

信源熵

I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量: 在给定 zk 的条件下,xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率,X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率:由于信道受到干扰, 信宿收到 y j 后不但未使 xi 的不确定度 减少,反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息,其分类如下: 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号,且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )

02-信源和信源熵

02-信源和信源熵
➢ 当事件xi发生以后:表示事件xi所含有(或所 提供)的信息量。在无噪信道中,事件xi发 生后,能正确无误地传输到收信者,所以I(xi) 可代表接收到消息xi后所获得的信息量。这 是因为消除了I(xi)大小的不确定性,才获得 这么大小的信息量。
2020/7/4
电信学院 汪汉新
10
•联合自信息量
信源模型为
举例
有两个信源,其概率空间分别为
P(XX)0.9x19,,0x2.01
PY(Y)0y.15,,0y.25
信息熵分别为
H(X)=-0.99log0.99-0.01log0.01=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(y)>H(x)
本例结论
Байду номын сангаас
P ( X X ) p x ( 1 x , 1 )p ( ,x x 2 2 ) , , ,,p x ( ix i) , ,p ( x x n n ) 0 p ( x i) 1 ,
n
p ( x i) 1
i 1
P Y ( Y ) p y ( 1 y , 1 )p ( ,y y 2 2 ) , , ,,p y ( jy j) , ,p ( y y n n ) 0 p (y i) 1 ,
➢ 信源Y的二个输出消息是等可能性的,所以事先猜测哪一个消息出现的 不确定性要大;
➢ 信源X的二个输出消息不是等概率的,事先猜测x1和x2哪一个出现,虽 然具有不确定性,但大致可以猜出x1会出现,所以信源X的不确定性要 小;
➢ 信息熵反映的就是信源输出前平均不确定程度的大小。
2020/7/4
电信学院 汪汉新
2020/7/4
电信学院 汪汉新

信息论 第三章 信源及信源熵

信息论 第三章 信源及信源熵

• (1)求信源熵 • (2)求由m个“0”和(100-m)个“1”构成
的某一特定序列自信息量的表达式
• (3)计算由100个符号构成的符号序列的熵
• 3.3.2离散平稳有记忆信源 • 熵函数的链规则:
X x1,x2,,xN ,其中每个随机变量之间存在统计依赖关系。 H ( X ) H ( X1X 2 X N ) H ( X1) H ( X 2 X1) H ( X 3 X1X 2 ) H (X N X1X 2 X N1)
i
j
则称其具有遍历性,w
为平稳分布
j
• 遍历的马尔可夫信源熵率: • (1)齐次的马尔可夫信源:视作平稳的信源来处理 • 遍历的马尔可夫信源都是齐次的 • 遍历的马尔可夫信源:视作平稳的信源来处理 • (2) m阶马尔可夫信源: 只与最近的m个符号有关.
H

lim
N
H
(
X
N
X1X 2 X N 1)
件不断增加,平均符号熵
及HN (条X) 件熵
• H ( X N X1X 2 X3 X N1) 均随之减少。
• 当 N 时 HN (X)=H ( X N X1X 2 X N1)
• 即为熵率,它表示信源输出的符合序列中,平均 每个符号所携带的信息熵。
• 求熵率的两种途径:
• 1.极限平均符号熵 • 2.极限条件熵
4
)
0
0.5
0
0 0.5 0
0.5 0 0.2
0.5 0
=(w 1
0.8
w2
w3
w4 )
0.2w1 0.5w 2
+0.5w3 =w2 +0.2w4 =w3
lim lim 现在令N ,则有H (X )

第三章连续信源的信息熵

第三章连续信源的信息熵
R
where, R is the domain of x . 为什么说相对熵反映连续变量的客观存在的平均不定度?首 先一个随机变量,当它的概率分布一旦确定,则它的不定性就该 给定,而不能随划分精度的变化而变化。第二,由于信息量的概 念是不定度的解除量,如果在相同划分精度下,再讨论两者之差 时,H()将会消失。所以我们可看到仅从Hc(X)上就可真正反映出 信息的全部属性 (包括非负性) 。因此,我们只要相对熵的定义就 足够了。同时我们也能给出两个连续变量的互信息问题:
H c ( X ) H c ( X Y ) H c (Y ) H c (Y X ) H c ( X ) H c (Y ) H c ( XY )
第三章. 连续信源的信息熵 §3. 3 相对熵的性质
( The Properties of Differential Entropy)
H c ( X ) H ()
def b
信息散度 D( p//q ) (relative entropy)
称为相对熵 Differential entropy 称为绝对熵 absolute entropy
where : and
H c ( X ) p ( x ) log p ( x )dx
a
H ( ) lim(log ) 0
n
def
§3. 2 连续变量的相对熵
在取极限的过程中由于n→∞ 相当于 →0,此时这个离散变 量越来越逼近一个连续变量;而离散集合中的信息熵Hn(X)就分解 为两项,其中一项与划分精度无关,趋于一个常量——Hc(X)。 而另一项,随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大,那么这种极限形式能否表达出信源平 均不定度的概念吗? 由于表达形式的不同,则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式,特别是当某些离散 熵的数学性质不在继续保持的情况下,如:非负性、对称性、扩 展性等。但值得庆幸,上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 (但我们要深入讨论离散向连续逼近时,物理属性的变化。)

信源及信源熵.ppt

信源及信源熵.ppt

一般情况下,信源在不同时刻发出的符号之间是相互依赖的,称
为多符号的有记忆离散信息源。需要引入条件概率来反映符号
序列内各符号的记忆特征
p(x1, x2 , x3 , xL ) p(xL x1, x2 , x3 , xL1) p(x1, x2 , x3 , xL1) p(xL x1, x2 , x3 , xL1) p(xL1 x1, x2 , x3 , xL2 ) p(x1, x2 , x3 , xL2 )
p(X1, X 2 ,, X l ,, X L ) p(X1) p(X 2 ) p(X l ) p(X L )
若信源随机矢量的各维概率分布都与时间起点无关,也就是任意
两个不同时刻随机矢量X的各维概率分布都相同。称离散平稳 信息源。即
p(X1) p(X 2 ) p(X l ) p(X L )
则概率空间可表示为
X P
1, p(1),
2, , p(2 ), ,
n
p(
L
n
L
)
对于L=2的情况,此时信源 X ( X1, X 2 )
则概率空间可表示为
X P
(a1, a1 ) p(a1, a1)
(a1, a2 ) p(a1, a2 )
(an , an ) p(an , an )
X i a1 “红色”, a2 “白色”
用联合概率分布 p( X1, X 2 , X 3 )
其信源的概率空间为:
来表示信源特性
X P
(a1 , p(a1
a1 , , a1
a1 ) , a1 )源自(a1, a1, a2 ) p(a1, a1, a2 )
(a2 , a2 , a2 ) p(a2 , a2 , a2 )

信源与信息熵

信源与信息熵
14
信源的描述
• 随机序列的概率
p(x1, x2 , x3,LxL ) = p(xL | xL−1,Lx1) p(x1, x2 ,LxL−1) = p(xL | xL−1,Lx1) p(xL−1 | xL−2 ,Lx1) p(x1, x2 ,LxL−2 ) =L
• 当信源无记忆时
p(x1x2 Lxl LxL ) = p(x1) p(x2 )Lp(xl )Lp(xL ) = ∏p(xl )
0.6 0.4 0 p(s j | si ) = 0.3 0 0.7 0.2 0 0.8
27
• 例2-2:有一个二元二阶马尔可夫信源,其信源 :
符号集为{0,1},已知符号条件概率: p(0|00) = 1/2 p(0|01) = 1/3 p(0|10) = 1/4 p(0|11) = 1/5 p(1|00)=1/2 p(1|01)=2/3 p(1|10)=3/4 p(1|11)=4/5
p ( y j | xi ) = p ( y j ),p ( xi | y j ) = p ( xi ),

p( xi | y j ) =
p( xi y j )
∑ p( x y )
i =1 i j
n
,p( y j | xi ) =
p( xi y j )
∑ p( x y )
j =1 i j
18
m
2.1.3 马尔可夫信源
s3
(1)1/2
(0)1/2
00 s1
(0)1/3
(0)1/4
s2 01
(1)2/3
j =1
17
概率论基础
• 无条件概率、条件概率、联合概率的性质和关系 ⑷ p ( x i y j ) = p ( x i ) p ( y j | xi ) = p ( y j ) p ( x i | y j ) ⑸ 当X与Y相互独立时, p ( x y ) = p ( x ) p ( y ) i j i j

信息论第3章信源及信息熵

信息论第3章信源及信息熵

举例
数学描述
离散信源 (数字信源)
连续信号
文字、数据、 离散化图象
离散随机变量 序列
跳远比赛的结果、语音 连续随机变量
信号抽样以后
序列
波形信源 (模拟信源)
语音、音乐、热噪声、 图形、图象
不常见
随机过程
表3.1 信源的分类
3.1 信源的分类及其数学模型
我们还可以根据各维随机变量的概率分布是否随时间的推移 而变化将信源分为平稳信源和非平稳信源,根据随机变量间 是否统计独立将信源分为有记忆信源和无记忆信源。
定义3.2 随机变量序列中,对前N个随机变量的联合熵求平
均:
HN
(X)
1 N
H ( X1X 2
XN)
称为平均符号熵。如果当N
时上式极限存在,则
lim
N
H
N
(X)
称为熵率,或称为极限熵,记为
def
H
lim
N
H
N
(
X
)
3.3.1 离散平稳无记忆信源
离散平稳无记忆信源输出的符号序列是平稳随机序列,并且
H(X ) H(X1X2 XN ) H ( X1) H ( X2 | X1) H ( X3 | X1X 2 ) H ( X N | X1X 2 X N1)
定理3.1 对于离散平稳信源,有以下几个结论:
(1)条件熵 H (X N | X1X 2 X N1) 随N的增加是递减的;
(2)N给定时平均符号熵大于等于条件熵,即
s1
si p(s j
| si )
s q
m
状态空间由所有状态及状态间的状态转移概率组成。通过引
入状态转移概率,可以将对马尔可夫信源的研究转化为对马 尔可夫链的研究。

信息论与编码 信源与信息熵

信息论与编码 信源与信息熵
15
• 例2-8:一个二进信源X发出符号集{0,1},经过
离散无记忆信道传输,信道输出用Y表示,由于 信道中存在噪声,接收端除收到0和1的符号外, 还有不确定符号“2” X • 已知X的先验概率: 3/4 p(x0)=2/3, p(x1)= 1/3, • 符号转移概率: p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2,
14
1/ 2 p(x2 | y1) I (x2; y1) = log 2 = log 2 =1 bit p(x2 ) 1/ 4
1/ 4 I (x3; y1) = I (x4; y1) = log 2 =1bit 1/ 8
• 表明从y1分别得到了x2 x3 x4各 1比特的信 息量。 • 消息y1使x2 x3 x4的不确定度分别减少1bit 、 2bit 、 2bit 。
0 1/4 2 1/2 1 1/2 1
Y 0
• 信源熵
2 1 2 2 1 1 H( X ) = H( , ) = − log − log = 0.92bit / 符号 3 3 3 3 3 3
16

p(xi y j ) = p(xi ) p( y j / xi ) = p( y j ) p(xi / y j )
• 得联合概率: p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6

信息论实验报告(实验一、信源与信息熵的计算)

信息论实验报告(实验一、信源与信息熵的计算)

学生实验报告
院别电子信息学院课程名称信息论语编码实验
班级实验名称实验一、信源与信息熵的计算姓名实验时间
学号指导教师
成绩
报告内容
一、实验目的和任务
1、理解自信息、互信息、熵等概念;
2、熟悉 MATLAB程序设计;
3、掌握通过计算机实验计算离散信源的信息量及熵的计算方法;
4、对给定信源分别计算出信源熵、条件熵、联合熵、交互熵;
二、实验原理介绍
三、实验设备介绍
1、计算机
2、编程软件MATLAB6.5以上
四、实验内容和步骤
H X H Y H X Y H Y X H XY I X Y 分别求出如下图所示离散信道的(),(),(|),(|),(),(;)
1、面出程序设计的流程图。

2、写出在调试过程中出现的问题。

3、对实验的结果进行分析。

五、实验数据记录
六、实验结论与心得
通过本次实验,加强了对matlab程序的学习,进一步提高了我的编程能力。

第三章 信源及信源熵

第三章 信源及信源熵

3.3.1 离散平稳信源
P(Xi) P(Xj )
推论1
P(Xi Xi1) P(Xj Xj1)
PXi1Xi PXj1Xj P(Xi Xi1
XiN) P(Xj Xj1
XjN )
PX XX X iN i i1
iN1
PXjNXjXj1 XjN1
离散平稳信源的条件概率分布与时间起点无关,只与关联长度N有关。
第19页,共60页。
3.3.2 离散平稳无记忆信源
熵率
H lN iH m NX lN iN 1 m NX H H X
离散平稳无记忆信源的熵率等于单符号离散信源熵。
例1
离散无记忆信源为:X:{a1,a2,a3};P(X):{1/4, 1/2, 1/4},试求:
12))该写信出源该的信熵源;的二次H 扩(展X 信)源 ,1并.5 求b其it概率分布;
均为离散平稳 信源
中文自然语言文字
离散平稳信源又分为无记忆信源和有记忆信源。
第11页,共60页。
3.3 离散多符号信源
离散平稳无记忆信源 信源发出的各个符号彼此是统计独立的。 对于多符号信源X=(X1 X2 …XN),各随机变量Xi(i=1,2, …,N)之
间是统计独立的,即: 称该多符号信源为离散无记忆信源的N次扩展信源。
3)根据2)中结果求该信源二次扩展信源的信源熵及熵率。
第20页,共60页。
3.3.2 离散平稳无记忆信源
2)写出该信源的二次扩展信源,并求其概率分布;
解:
二次扩展信源为: 信源符号为:
X 2 :{A1…A9}
A1=a1a1 A4=a2a1 其概率分A布7=为a3:a1
A2=a1a2 A5=a2a2 A8=a3a2

03信源及信源熵

03信源及信源熵

17
2. 离散平稳无记忆信源
假定信源输出的是N长符号序列,把它看成是一个新信源, 称为离散平稳无记忆信源的N次扩展信源,用N维离散随 机矢量来表示:
X X1X 2
N次扩展信源的概率空间为:
XN X
N
1 2 i qN XN p ( ) p ( ) p ( ) p ( ) 1 2 i qN P( X )
求该信源的熵率及二次扩展信源的熵。
20
2. 离散平稳无记忆信源
解: 离散单符号信源熵
3
x1 x2 x3 X 1 1 1 P X 2 4 4
比特/符号
H ( X ) p ( x i ) log 2 p ( x i ) 1.5 i 1 熵率:
1 X P 1 6
2 1 6
3 1 6
4 1 6
5 1 6ቤተ መጻሕፍቲ ባይዱ
6 1 6
其中,符号集A a1 , a2 ,
n
, an , X A,
p(ai )是符号ai出现的先验概率。 显然有p(ai ) 0, p(ai ) 1。
i 1
9
3.2 离散单符号信源
, xL ) p( xL | x1 , x2 , p( xL | x1 , x2 ,

p( x1 , x2 ,
, xL 1 ) p( x1 , x2 ,
, xL 1 ) , xL 2 ) P( x1 , x2 , , xL 1 )
23
, xL 1 ) p( xL 1 | x1 , x2 , p( xL | x1 , x2 ,
H (X ) H (X N ) NH (X )

信源及信源熵课件

信源及信源熵课件
编码是将信息从一种 形式或格式转换为另 一种形式的过程。
编码的方式和格式取 决于应用场景和需求 。
编码的目的是为了便 于信息的存储、传输 和处理。
信源编码的原理
信源编码是对信源输出的符号或数据 进行压缩编码,以减少存储空间和传 输带宽。
信源编码的目标是在保证信息无损的 前提下,尽可能地减小编码后的数据 量。
差分编码
02
通过消除信号中的冗余信息,降低信号的复杂性,提高信号传
输的效率和可靠性。
深度学习在信源编码中的应用
03
利用深度学习算法对信源进行自动编码,提高编码的自适应性
和智能化水平。
信源熵的新应用
信息隐藏
利用信源熵将秘密信息隐 藏在普通数据中,实现隐 蔽通信和数据保护。
数据加密
通过改变数据熵值,增加 数据破解的难度,保护数 据的机密性和完整性。
LZ77编码
基于字典的压缩算法,通过查找已输出的字符串在字典中的匹配项, 替换为较短的指针,实现数据压缩。
BWT编码
将信源输出按字节进行排序并连接成一个字符序列,通过游程编码和 差分编码等技术实现数据压缩。
04
信源的应用
在通信系统中的应用
信源编码
通过将信源输出的消息转换为二进制 或其它形式的数字信号,实现数字通 信,提高通信系统的传输效率和可靠 性。
信源编码的原理基于信息论和概率统 计的知识,通过对信源输出的概率分 布进行分析,采用适当的编码方式实 现数据压缩。
常见信源编码方式
Huffman编码
基于信源符号出现概率的编码方式,通过为出现概率高的符号分配较 短的码字,实现数据压缩。
算术编码
将信源输出区间划分为若干个子区间,每个子区间对应一个符号,通 过小数形式的码字表示输出区间的范围,实现高压缩比。

信源及信源熵

信源及信源熵

i

xi
的函数,
I (xi ) xi
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2,信息量的单位为比特(bit); • 若取自然对数,则信息量的单位为奈特(nat); • 若以10为对数底,则信息量的单位为笛特(det)。
这三个信息量单位之间的转换关系如下: 1 nat=log2e l.433 bit, l det=log210 3.322 bit
10
2.2.1 自信息量
几个例子
i.
一个以等概率出现的二进制码元(0,1)所包含的自信息量为:
I(0)= I(1)= - log2 (1/2)=log22=1 bit
ii. 若是一个m位的二进制数,因为该数的每一位可从0, 1两个数字中任取一个,因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit,就是需要m比特的信息来指明这样的二进制数。
i 1
6
第二节 离散信源熵和互信息
问题: • 什么叫不确定度? • 什么叫自信息量? • 什么叫平均不确定度? • 什么叫信源熵? • 什么叫平均自信息量? • 什么叫条件熵? • 什么叫联合熵? • 联合熵、条件熵和熵的关系是什么?
7
第二节 离散信源熵和互信息 • 什么叫后验概率? • 什么叫互信息量? • 什么叫平均互信息量? • 什么叫疑义度? • 什么叫噪声熵(或散布度)? • 数据处理定理是如何描述的? • 熵的性质有哪些?
信源及信源熵
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息(模拟消息)的信源,如语言 、图像、图形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源,如文字、数字、数据 等符号都是离散消息。

第三章 信源及信源熵(1)

第三章 信源及信源熵(1)

一个实际信源的统计特性往往是相当复杂的, 一个实际信源的统计特性往往是相当复杂的,要想找到精 确的数学模型很困难。 确的数学模型很困难。实际应用时常常用一些可以处理的 数学模型来近似。随机序列,特别是离散平稳随机序列是 数学模型来近似。随机序列, 我们研究的主要内容。 我们研究的主要内容。
离散无记忆信源:H ( X) = NH ( X) H 记忆长度无限长: 离散平稳信源 ∞ 平稳信源 离散有记忆信源 记忆长度有限(马尔可夫信源):H 随机序列 m +1 连续平稳信源 非平稳信源
k =1 k =1
2
2
式中, 表示二次扩展信源X中分量的序号 中分量的序号, 式中,ai ∈ (a1 , a2 ) = (0,1), k = 1,L , N ,表示二次扩展信源 中分量的序号, p表 N=2为序号长度,i=1,2,3,4表信源 的符号序列,概率 为序号长度, , , , 表信源 的符号序列, 表信源X的符号序列 为序号长度 ik 的概率。 分量 , 取值a1或 的概率 X,k=1,2 取值 或a2的概率。 k
a3 p(a3 )
a4 a5 p(a4 ) p (a5 )
a6 p(a6 )
a7 p (a7 )
a8 p(a8 )
3) 离散无Biblioteka 忆信源的 次扩展 离散无记忆信源的N次扩展
定义3.2 设X是一个离散无记忆信源,其概率空间为 是一个离散无记忆信源, 定义 是一个离散无记忆信源
X a1 p( x) = p 1 a2 L aq p2 L pq
p(ai ) = P( X = ai ) = ∏ P( X k = aik ) == ∏ pik

信源及信源熵

信源及信源熵

2.1 单符号离散信源
数学模型:
X P( X
)
x1 p( x1 )
0 p(xi ) 1,
xi p(xi )
xn
p(
xn
)
n
p(xi ) 1
i 1
单符号离散信源
常用旳概率论旳基本概念和性质
先验概率、联合概率、条件概率及其相互关系:
(1)0 p(xi )、p( y j ) 、p( y j / xi ) 、p(xi / y j ) 、p(xi y j ) 1
离散无记忆信源旳N次扩展信源旳数学模 型是信源空间X旳N重空间。
信源旳描述与分类
有记忆信源
一般情况下,信源在不同步刻发出旳符号之间是相互依
赖旳。即信源输出旳平稳随机序列X中,各随机变量Xi
之间是有依赖旳。如:在中文构成旳中文序列中,只有 根据中文旳语法、习常用语、修辞制约和体现实际意义 旳制约所构成旳中文序列才是有意义旳中文句子或文章。 所以,在中文序列中前后文字旳出现是有依赖旳,不能 以为是彼此不有关旳。这种信源称为有记忆信源。
因为每个随机变量UL有n种取值,则U 有n L
种可能取值。
信源旳描述与分类
离散序列信源
例:最简朴L=3旳三位PCM信源:这 时L=3, n=2, 即i={0,1},则有:
U 3 u 000 u 001
p(u)
p03
p02 p1
u 111
p13
当p0 p1 12时 000, 001, 010, ,111
假如上述条件概率与时间起点i无关,即信源 输出旳符号序列可看成为时齐马尔可夫链, 则此信源称为时齐马尔可信源。
信源旳描述与分类
离散序列信源总结
离散序列信源
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

| si ) log p( xim1 | si )
p( si ) H ( X | si ) p( si ) p( s j | si ) log p( s j | si )
3.3.3 马尔可夫信源
所谓遍历的直观意义就是:无论质点从哪个状态si出发,当 转移步数足够大时,转移到状态sj的某个概率pij(k)都近似 的等于某个常数Wj。 求遍历的马尔可夫信源的极限熵需要求状态转移概率和状态 的平稳概率分布. 设状态的平稳分布为:W=(W1 W2 W3 W4 …) 根据马尔可夫链遍历的充分条件有WP=W 其中P为状态转移概率矩阵,W1+W2+…=1
Байду номын сангаас
即各维联合概率分布均与时间起点无关的信源称为离散平稳 信源。
3.3 离散多符号信源
对于离散多符号信源, 我们引入熵率的概念,它表示信源输 出的符号序列中,平均每个符号所携带的信息量。 定义3.2 随机变量序列中,对前N个随机变量的联合熵求平 均:
1 H N ( X ) H ( X1 X 2 N
运用结论2得:
HL( X ) HL 1( X )
如果 L ,则 H

( X ) lim H L ( X ) lim H ( X L | X 1 X 2 X L 1 )
L L
def
只要X 1的样本空间是有限的 , 必然有H ( X 1 ) . 又由于H ( X N | X N 1 )是单调非增数列 , 因此H ( X N | X N 1 )单调有界必有极限 . 对于收敛的实数列 , 有以下结论成立: 如果a1 , a2 ,a 3 , 是一个收敛的实数列 , 那么: 1 lim (a1 a2 a N ) lim a N N N N 因此, 有 : 1 lim H N ( X ) lim ( H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X N 1 )) N N N lim H ( X N | X N 1 )
m1 1 2 m m1
H m 1 H ( X m 1 | X 1 X 2 X m ) E[ I ( xim1 | xi1 xi2 xim )] E[ I ( xim1 | si )]
i qm i 1 i m1 1
p( s ) p( x
i i j
q
i m1
3.3.3 马尔可夫信源
马尔可夫信源是一类相对 简单的有记忆信源,信源 在某一时刻发出某一符号 的概率除与该符号有关外, 只与此前发出的有限个符 号有关。因此我们把前面 若干个符号看作一个状态, 可以认为信源在某一时刻 发出某一符号的概率除了 与该符号有关外,只与该 时刻信源所处的状态有关, 而与过去的状态无关。信 源发出一个符号后,信源 所处的状态即发生改变, 这些状态的变化组成了马 氏链。
XN )
lim H N ( X) 称为平均符号熵。如果当N 时上式极限存在,则 N 称为熵率,或称为极限熵,记为
H lim H N ( X )
N
def
3.3.1 离散平稳无记忆信源
离散平稳无记忆信源输出的符号序列是平稳随机序列,并且 符号之间是无关的,即是统计独立的。假定信源每次输出的 是N长符号序列,则它的数学模型是N维离散随机变量序列: X=X1X2…XN , 并且每个随机变量之间统计独立。同时,由于是平稳信源, 每个随机变量的统计特性都相同,我们还可以把一个输出N 长符号序列的信源记为: N
X X1 X 2
XN X
根据统计独立的多维随机变量的联合熵与信息熵之间的关系, 可以推出: N
H(X) H(X ) N H(X )
离散平稳无记忆信源的熵率:
1 H lim H N ( X ) lim NH ( X ) H ( X ) N N N
3.3.2 离散平稳有记忆信源
1 2 m
xq xim )
, q ,从而得到马尔
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。通过引 入状态转移概率,可以将对马尔可夫信源的研究转化为对马 尔可夫链的研究。
3.3.3 马尔可夫信源
遍历m阶马尔可夫信源的熵率计算 当时间足够长后,遍历的马尔可夫信源可以视作平稳信 源来处理,又因为m阶马尔可夫信源发出的符号只与最 H m1 。 H 近的m个符号有关,所以极限熵 等于条件熵 对于齐次遍历的马尔可夫链,其状态 s i 由 xi1 xi2 xim 唯一 确定,因此有 p(s j | si ) p( xi | xi xi xi ) p( xi | si ) 所以
例 1 :设一个二元一阶马尔可夫信源,信源符号集为{0,1},信源 输出符号的条件概率为: p(0|0)=0.25;p(0|1)=0.5;p(1|0)=0.75;p(1|1)=0.5 求状态转移概率矩阵并画出状态转移图.
例 2:设有一个二元二阶马尔可夫信源,其信源符号集合为 X={0,1},输出符号的条件概率为: p(0|00)=p(1|11)=0.8; p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5; p(1|00)=p(0|11)=0.2 1. 求状态转移概率矩阵并画出状态转移图; 2. 求该信源的极限熵. 5/14*0.8*log2(0.8)*2+ 5/14*0.2*log2(0.2)*2+ 2/14*0.5*log2(0.5)*4=0.801bit/sign
第3章 信源及信源熵
重庆交通大学信息科学与工程学院 通信工程系 黄大荣
1
第3章 信源及信息熵
3.1 信源的分类及其数学模型 3.2 离散单符号信源 3.3 离散多符号信源 3.4 * 连续信源
第3章 信源及信息熵
信源(Information Source)是信息的来源,是产生消息(符 号)、时间离散的消息序列(符号序列)以及时间连续的消 息的来源。 信源输出的消息都是随机的,因此可用概率来描述其统计特 性。在信息论中,用随机变量X、随机矢量X、随机过程 {X(e,t)}分别表示产生消息、消息序列以及时间连续消息的 信源。 信源的主要问题: 如何描述信源(信源的数学建模问题) 怎样计算信源所含的信息量 怎样有效的表示信源输出的消息,也就是信源编码问题
3.1 信源的分类及其数学模型
信源的分类由多种方法,我们常根据信源输出的消息在时 间和取值上是离散或连续进行分类:
时间(空间) 取值 信源种类
离散信源 (数字信源)
举例
文字、数据、 离散化图像
数学描述
离散随机变量 序列 连续随机变量 序列
离散
离散
离散
连续
连续信号
波形信源 (模拟信源)
跳远比赛的结果、语音 信号抽样以后
X xi p( xi )
X xq p( xq )
信源输出的所有消息的自信息的统计平均值定义为信源的平 均自信息量(信息熵),它表示离散单符号信源的平均不确 定性:
H ( X ) E log p( xi ) p( xi ) log p( xi )
i 1
q
语音、音乐、热噪声、 图形、图像 不常见
连续 连续
连续 离散
随机过程
表3.1 信源的分类
3.1 信源的分类及其数学模型
我们还可以根据各维随机变量的概率分布是否随时间的推移 而变化将信源分为平稳信源和非平稳信源,根据随机变量间 是否统计独立将信源分为有记忆信源和无记忆信源。 一个实际信源的统计特性往往是相当复杂的,要想找到精确 的数学模型很困难。实际应用时常常用一些可以处理的数学 模型来近似。随机序列,特别是离散平稳随机序列是我们研 究的主要内容。
3.2 离散单符号信源
输出单个离散取值的符号的信源称为离散单符号信源。它是 最简单也是最基本的信源,是组成实际信源的基本单元。它 用一个离散随机变量表示。信源所有可能输出的消息和消息 对应的概率共同组成的二元序对[X,P(X)] 称为信源的概率空 间:
X X x1 p( x ) P X 1
离散无记忆信源:H ( X) NH ( X) 记忆长度无限长: H 离散平稳信源 离散有记忆信源 平稳信源 随机序列 记忆长度有限(马尔可夫信源): H m 1 连续平稳信源 非平稳信源
N
3.3.3 马尔可夫信源
有一类信源,信源在某时刻发出的符号仅与在此之前发出的 有限个符号有关,而与更早些时候发出的符号无关,这称为 马尔可夫性,这类信源称为马尔可夫信源。马尔可夫信源可 以在N不很大时得到 H 。如果信源在某时刻发出的符号 仅与在此之前发出的 m个符号有关,则称为m阶马尔可夫信 源,它的熵率:
3.3 离散多符号信源
定义3.1:对于随机变量序列X1,X2,…,Xn,…,在任意两个不同 时刻i和j(i和j为大于1的任意整数)信源发出消息的概率分布 完全相同,即对于任意的N,N=0,1,2,…,XiXi+1…Xi+N…和 XjXj+1…Xj+N…具有相同的概率分布。也就是
P( X i ) P( X j ) P( X i X i 1 ) P( X j X j 1 ) P( X i X i 1 X i N ) P( X j X j 1 X jN )
H lim H ( X N | X 1 X 2
N N
X N 1 ) X N 1 )
(马尔可夫性) (平稳性)
lim H ( X N | X N m X N m1 H ( X m1 | X 1 X 2 Xm)
H ( X m1 | X 1 X 2 X m ) 通常记作:H m1
L给定时平均符号熵大于等于条件熵
1 1 L H L ( X ) H ( X 1 X 2 X L ) H ( X i | X i 1 ) L L i 1 1 H ( X 1 ) H ( X 2 | X 1 ) H ( X L | X 1 X 2 X L 1 ) L
相关文档
最新文档