离散平稳信源

由此可得：
H ( X1X 2 ) H (X1) H (X 2 | X1) 1.542 0.870 2.412(bit / Symbols)
且
H
(
X
2
|
X1)
1 2
H
(
X1X
2
)
H
(
X1)
1 2
H
(
X1
X
2
)
1.205
bit
/
Symbols
这正是因为符号之间有依赖性的原因。
ai
ai
0
1
2
0
1/4
1/18
0
1
1/18
1/3
1/18
2
0
1/18
7/36
求信源熵 H (X ) 、条件熵 H (X2 | X1) 和联合熵 H (X1X2) 。
2.5 离散平稳信源
解：根据概率关系可计算得条件概率
P(a j
a), i
计算结
果列表如下：
aj
0
ai
1
2
P(a j
ai )
P(aiaj ) P(ai )
熵是指平均每个信源符号所携带的信息量，可用
1 2 H (X1X 2 )作为信息熵的近似值。
2.5 离散平稳信源
❖ 同时，也可从另外一个角度研究二维平稳信源 X 的信息 熵的近似值，可求得在已知 X1 ai 时，信源输出下一个 符号的平均不确定性：
q
H ( X 2 | X1 ai ) P(a j ai ) log P(a j ai ) j 1
i 1
2.5 离散平稳信源
当考虑符号间的依赖性时，计算得条件熵：
33
H (X 2 | X1) i 1
P(aia j ) logP(a j
j 1
| ai ) 0.87(Bit / Symbol )
到底选取哪一
计算可得联合熵为：
个值更能接近
3 3
实际二维平稳
H(X1X2)
i 1
j1 P(aia j ) logP(aia j ) 2.41(Bit / Symbols)信源的信息熵?
条件熵：
q
H ( X 2 | X1) P(ai )H ( X 2 X1 ai ) i 1
qq
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
qq
=
P(aia j ) log P(a j | ai )
i1 j1
❖ 由此可推出熵的可加性：H ( X1X 2 ) H ( X1) H ( X 2 | X1)
(P(aia j ) 0)
aqaq p(aqaq )
2.5 离散平稳信源
❖ 由信息熵定义可得二维联合熵：
qq
H ( X1X 2 )
p(aia j ) log p(aia j )
i 1 j 1
联合熵表示信源X输出任意一对可能消息的共熵， 即信源输出长度为2的序列的平均不确定性。
联合熵与信源熵所含有的信息量不一致，信息
率也是时间 t i 的函数，即：当 i j 时
p(xi | xi1xi2...xiN ...) p(x j | x j1x j2...x jN )
由上式可以看出实际信源相对比较复杂，我们必须将 复杂的问题简单化，下面只讨论平稳随机序列。
所谓平稳随机序列，就是序列的统计特性与时间的推 移无关，即信源输出的符号序列概率分布与时间起点 无关
即对于平稳信源，其条件概率均与时间起点无关，只与关联长度 N 有关。即平稳信源发出的平稳随机序列前后的依赖关系与时间起点 无关。
2.5 离散平稳信源
2.5.2二维离散平稳信源及其信息熵
离散平稳信源实际是一种有记忆信源，最简单的有 记忆平稳信源是二维平稳信源，可看作是单符号离散信 源的二次扩展信源，是有记忆的扩展信源。设有一个二 维平稳信源的概率空间为：
若N维联合概率分布与时间起点无关，则信源X 为N 维离
散平稳信源。
2.5 离散平稳信源
一维离散平稳信源：p(xi ) p(x j ) p(x) 二维离散平稳信源：p(xi xi1) p(x j x j1) N 维离散平稳信源：p(xi xi1xiN ) p(x j x j1x jN )
上式是对下一个符号 a j 的所有可能取值进行的统计 平均。
而前一个符号 X1又可能取 ai a1, a2..., aq任一个。对于
某一个 ai 存在一个平均不确定性 H (X2 | X1 ai )。
2.5 离散平稳信源
❖ 则对所有 ai 的可能值进行统计平均，使得当前符号已 知，再得出后面一个符号的总的平均不确定性，即：
所谓平稳随机序列就是序列的统计特性与时间的推移无关即信源输出的符号序列概率分布与时间起点无关信息论电子信息工程学院25信源输出序列满足一维概率分布与时间起点无关则称此信源为一维离散平稳信源
2.5 离散平稳信源
(2) 与 t i 时刻以前信源已经发出的信源符号有关，
即与条件概率 p(xi | xi1xi2...) 有关。通常该条件概
………
p( xi xi1L xiN ) p( xi ) p( xi1 | xi )L p( xiN | xi xi1L xiN 1)
p( xi1 | xi ) p( x j1 | x j )
……… p( xi2 | xi xi1) p( x j2 | x j x j1)
p( xiN | xi xi1 L xi N 1) p( x j N | x j x j1 L x jN 1)
❖ 条件熵与无条件熵的关系：H ( X 2 | X1) H (X 2 )
2.5 离散平稳信源
例2.12
某一离散二维平稳信源
X
p(
x)
0
11
wk.baidu.com6
1 4 9
2 3
1
4
,
i 1
p(ai )
1
且其发出的符号只与前一个符号有关，即可用联合概
率P(aiaj )给出它们的关联程度，如下表所示:
P(aia j )
2.5 离散平稳信源
❖ 平稳信源
若当 t i,t j （i, j 是大于1的任意整数，且 i ）j 时，
信源输出序列满足 P(xi ) P(xj ) P(x)，一维概率分布与 时间起点无关，则称此信源为一维离散平稳信源。
若信源输出的随机序列 X ,同时还满足二维联合概率分布 Pc(cxci xi1) 与时间起点无关，即 P(xi xi1) P(x j x j1) 则信源为 二维离散平稳信源。
X P ( x)
a1 p(a1)
a2 L p(a2 ) L
且 aq
p(aq )
q
P(ai ) 1
i 1
(P(ai ) 0)
2.5 离散平稳信源
如何对离散二维平稳信源进行信息测度？
二维离散平稳信源输出序列中，相邻两个符号具有依赖性，即 只与前一个符号有关，且依赖关系不随时间推移而变化。
aj
0
ai
1
2
0 1/4 1/18 0
0 9/11 1/8 0
1 1/18 1/3 1/18 2 0 1/18 7/36
p [11 , 4 , 1] 36 9 4
1 2/11 3/4 2/9 2 0 1/8 7/9
当不考虑信源符号之间的依赖性时，可得信源 X
的信息熵为：
3
H ( X ) P(ai ) logP(ai ) 1.542 (Bit / Symbol)
❖ 若发送序列各维联合概率是平稳的，这种各维联合 概率分布均与时间起点无关的完全平稳信源称为离 散平稳信源。由此还可推出相应条件概率也是平稳 的。
2.5 离散平稳信源
因为联合概率与条件概率有以下关系：
p( xi xi1) p( xi ) p( xi1 | xi )
p( xi xi1xi2 ) p( xi ) p( xi1 | xi ) p( xi2 | xi xi1)
将二维信源输出每两个符号分一组,每组代表新信源 X X1X 2中 一个符号（消息）。且假设组与组之间是统计独立的。则等效新 信源的概率空间为：
X P
X1X2 P(x1x2
)
=
a1a1 p(a1a1
)
a1a2 ... p(a1a2） ...
aq1aq p(aq1aq )
qq
且 P(aia j ) 1 i1 i1