信息论与编码03-多符号离散信源

2012-4-14
电信学院 汪汉新
11/28
2.2.2离散平稳信源
如果各维联合概率分布均与时间起点无关， 如果各维联合概率分布均与时间起点无关，即对两个不同 的时刻i和 ， 的时刻 和j，有 P(Xi)=P(Xj) P(XiXi+1)= P(XjXj+1) P(XiXi+1Xi+2)= P(XjXj+1Xj+2) … P(XiXi+1…Xi+N)= P(XjXj+1…Xj+N) 这种各维联合概率均与时间起点无关的完全平稳信源称为 离散平稳信源。 离散平稳信源。
i1 =1 i2 =1源自nn2012-4-14
电信学院 汪汉新
14/28
二维平稳信源的信源熵
根据信源熵的定义
H ( X ) = H ( X 1 X 2 ) = ∑∑ p ( xi1 xi2 ) log 2
i1 =1 i2 =1 n n n n 1 p ( xi1 xi2 )
= ∑∑ p ( xi1 xi2 ) log 2
2012-4-14
电信学院 汪汉新
i1 , i2 , L , i N ∈ {1, 2, L n}
8/28
离散平稳无记忆信源的熵
因为是无记忆的/统计独立
根据信息熵的定义， 次扩展信源的熵 根据信息熵的定义，N次扩展信源的熵
H ( X ) = H ( X N ) = −∑ P( X ) log P( X ) = −∑ p (ai ) log p (ai )
信源X的 次扩展信源用 表示，它是具有n 个元素( 次扩展信源用X 信源 的N次扩展信源用 N表示，它是具有 N个元素(消息 序列)的离散信源， 序列)的离散信源，其数学模型为
a2 , …, ai ,…, aq X N a1 , = p(a ), p (a ),…, p(a ),…, p (a ) 1 2 i q P( X )
∑
3
i =1
p ( xi ) = 1
求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源 求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源X 的输出长度为2的符号序列 的符号序列。 的输出长度为 的符号序列。 因为信源X共有 个不同符号，所以由信源X中每两个符号组成的不同 共有3个不同符号 因为信源 共有 个不同符号，所以由信源 中每两个符号组成的不同 排列共有3 种 得二次扩展信源共有9个不同的符号 个不同的符号。 排列共有 2=9种，得二次扩展信源共有 个不同的符号。 因为信源X是无记忆的 是无记忆的， 因为信源 是无记忆的，则有 p(ai ) = p( xi ) p( xi ) (i1,i2 = 1,2,3; i = 1,2,…9)
∑ p( x
i2 =1
n
i1 i2
x ) = p ( xi1 )
2012-4-14
电信学院 汪汉新
15/28
结论：两个有相互依赖关系的随机变量X 结论：两个有相互依赖关系的随机变量 1和X2所
的联合熵H( 等于第一 组成的随机矢量X=X1X2的联合熵 X),等于第一 个随机变量的熵H(X1)与第一个随机变量 1已知的 个随机变量的熵 与第一个随机变量X 与第一个随机变量 前提下，第二个随机变量X 的条件熵H(X2/X1)之 前提下，第二个随机变量 2的条件熵 之 和。 H(X) = H(X1)+ H(X2/X1)
2.2 多符号离散信源
2012-4-14
电信学院 汪汉新
1/28
本章节教学内容、基本要求、 本章节教学内容、基本要求、重点与难点
1. 教学内容： 教学内容： 多符号离散序列信源熵。 多符号离散序列信源熵。 信息的冗余度。 信息的冗余度。
2. 教学基本要求： 教学基本要求： 掌握多符号离散序列信源熵的定义、性质。 掌握多符号离散序列信源熵的定义、性质。 掌握马尔可夫信源的模型及熵的计算。 掌握马尔可夫信源的模型及熵的计算。 掌握信息的冗余度的含义。 掌握信息的冗余度的含义。
3. 重点与难点： 重点与难点： 多符号离散序列信源熵的含义。 多符号离散序列信源熵的含义。 信息冗余度的含义。 信息冗余度的含义。
2012-4-14
电信学院 汪汉新
2/28
多符号离散信源
实际的信源输出的消息是时间或空间上离散 的一系列随机变量。 的一系列随机变量。这类信源每次输出的不是一 个单个的符号，而是一个符号序列。 个单个的符号，而是一个符号序列。在信源输出 的序列中，每一位出现哪个符号都是随机的， 的序列中，每一位出现哪个符号都是随机的，而 且一般前后符号的出现是有统计依赖关系的。 且一般前后符号的出现是有统计依赖关系的。这 种信源称为多符号离散信源。 种信源称为多符号离散信源。
是由N个 所组成的序列， 号ai是由 个xi所组成的序列，并且序列中前后符号是统计 独立的。现已知每个信源符号x 含有的平均信息量为H(X)， 独立的。现已知每个信源符号 i含有的平均信息量为 ， 那么， 个 那么，N个xi组成的无记忆序列平均含有的信息量就为 NH(X)（根据熵的可加性性质：H(XY)=H(X)+H(Y/X)或 （根据熵的可加性性质： 或 H(XY)=H(Y)+H(X/Y) ）。因此信源 N每个输出符号含有的 ）。因此信源 因此信源X 平均信息量为NH(X)。 。 平均信息量为
2012-4-14
电信学院 汪汉新
16/28
离散平稳信源的信源熵
将二维离散平稳有记忆信源推广到N维的情况 将二维离散平稳有记忆信源推广到 维的情况
H(X)= H(X1X2…XN-1XN) = H(X1)+ H(X2/X1)+ H(X3/X1X2)+…+ H(XN/X1X2…XN-1) [证明 ：见下页 证明]： 证明
10/28
可以算得 H(X)=1.5 比特 符号（此处的符号是指 信源的输出符号 i） 比特/符号 此处的符号是指X信源的输出符号 信源的输出符号x H(X)=H(X2)=3 比特 符号（此处的符号是指扩展信源的输出符号 比特/符号
ai ，它是由二个 i符号组成） 它是由二个x 符号组成）
所以
H(X)=2H(X) 对上述结论的解释：因为扩展信源 N的每一个输出符 对上述结论的解释：因为扩展信源X
• •
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
a i = ( xi1 , xi2 , L , xi N )的概率为 p ( a i ) = p ( xi1 ) p ( xi2 ) L p ( xi N ),
2012-4-14
电信学院 汪汉新
12/28
二维平稳信源的数学模型
最简单的离散平稳信源：二维平稳信源 X=X1X2 最简单的离散平稳信源： 每两个符号看做一组， 的一个消息； 每两个符号看做一组，每组代表信源X=X1X2的一个消息； 每组中的后一个符号和前一个符号有统计关联， 每组中的后一个符号和前一个符号有统计关联，这种概 率性的关系与时间起点无关； 率性的关系与时间起点无关； 假定符号序列的组与组之间是统计独立的。 假定符号序列的组与组之间是统计独立的。
1 2
X2 信源的符号
a1
a2
a3
a4
a5
a6
a7
a8
a9
对应的消息序列 x1 x1 x1 x2 x1 x3 x2 x1 x2 x2 x2 x3 x3 x1 x3 x2 x3 x3 概率 p(ai) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
2012-4-14
电信学院 汪汉新
2012-4-14
电信学院 汪汉新
4/28
多符号离散平稳信源
为了便于研究，假定随机矢量X中随机变量 为了便于研究， 不随时间的推移变化。 的各维联合概率分布均不随时间的推移变化 的各维联合概率分布均不随时间的推移变化。或 者说， 者说，信源所发符号序列的概率分布与时间的起 点无关，这种信源称为多符号离散平稳信源 多符号离散平稳信源。 点无关，这种信源称为多符号离散平稳信源。
i1 =1 i2 =1 n n
1 p ( xi1 ) p ( xi2 / xi1 )
= ∑∑ p ( xi1 xi2 ) log 2
i1 =1 i2 =1
1 p ( xi1 )
+ ∑∑ p ( xi1 xi2 ) log 2
i1 =1 i2 =1
n
n
1 p ( xi2 / xi1 )
= H ( X1) + H ( X 2 / X1) 其中
电信学院 汪汉新
6/28
2.2.1离散无记忆信源的数学模型
离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列， 离散无记忆信源 ，对它的输出消息序列， 可以用一组组长度为N的序列来表示它 的序列来表示它。 可以用一组组长度为 的序列来表示它。这时它就等效成 了一个新信源； 了一个新信源； 新信源输出的符号是N长的消息序列 长的消息序列， 新信源输出的符号是 长的消息序列，用N维离散随机矢 维离散随机矢 量来描述。 量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n 都是随机变量 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源 ，并且 都是随机变量，都取值于同一信源X，
XN XN
可以证明：离散无记忆信源 的 次扩展信源的熵等于离 可以证明：离散无记忆信源X的N次扩展信源的熵等于离 散信源X的熵的 倍，即 散信源 的熵的N倍 的熵的
H(X)=H(XN)=NH(X)
2012-4-14
电信学院 汪汉新