多符号离散信源

i2
) p( xiN )
p( xi1 ) p( xi2 ) p( xiN ) p( xi1 ) p( xi2 ) p( xiN ) 1
i N 1 i1 1 i2 1 i N 1
n
n
n
因此
H ( X N ) p (ai ) log 2 p ( ai ) log 2
② 二维平稳信源


除上述条件外，如果联合概率分布P(XiXi+1)也与时间起点 无关，即 P(XiXi+1)= P(XjXj+1) （i，j为任意整数，且i≠j） 这种信源在任何时刻发出两个符号的概率完全相同。
③ 离散平稳信源

如果各维联合概率分布均与时间起点无关，即对两个不同 的时刻i和j，有 P(Xi)=P(Xj) P(XiXi+1)= P(XjXj+1) P(XiXi+1Xi+2)= P(XjXj+1Xj+2) … P(XiXi+1…Xi+N)= P(XjXj+1…Xj+N)
XN XN

可以证明：离散无记忆信源X的N次扩展信源的熵等于离散信源X的熵 的N倍，即
Fra Baidu bibliotek
H(X)=H(XN)=NH(X)
证明：H(X)=H(XN)=NH(X)
设 ai是XN概率空间中的一个符号，对应于由N个xi组成的序列 ai =(xi1, xi2,…, xiN) 而 p(ai )=p(xi1) p(xi2)…p(xiN) i1,i2, …,iN∈{1,2, …,n}
2.2 多符号离散信源
2.2.1 多符号离散信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差
2.2.1 多符号离散信源
(1) 多符号离散信源 (2) 随机矢量/随机变量序列 (3) 多符号离散平稳信源
(1) 多符号离散信源
若ai =(xi1, xi2, xi3,…, xiN) 则p(ai)=p(xi1)p(xi2)… p(xiN) 其中i1,i2,…,iN∈{1,2,…,n} 根据信息熵的定义，N次扩展信源的熵
H ( X ) H ( X N ) P( X ) log P( X ) p(ai ) log p(ai )
XN XN
1 p ( xi1 ) p ( xi2 ) p ( xiN ) 1 p ( xi1 )
p ( ai ) log 2
XN
1 p ( xi2 )
p ( ai ) log 2
XN
1 p ( xiN）
上式共有N项，考察其中第一项
p(a ) log
i XN
1 2 p ( xi ) 1



设X1,X2 ∈{x1,x2,…,xn},则矢量 X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令 a (x x )
i i1 i2
i1,i2 1,2,，n i 1,2, , n 2 p(ai ) p( xi1 xi2 ) p( xi1 ) p( xi2 / xi1 )
最简单的离散平稳信源：二维平稳信源 X=X1X2 每两个符号看做一组，每组代表信源X=X1X2的一个消息； 每组中的后一个符号和前一个符号有统计关联，这种概率 性的关系与时间起点无关； 假定符号序列的组与组之间是统计独立的。这与实际情况不
符，由此得到的信源熵仅仅是近似值。但是当每组中符号的个数很多 时，组与组之间关联性比较强的只是前一组末尾的一些符号和后一组 开头的一些符号，随着每组序列长度的增加，这种差距越来越小。
可以算得 H(X)=1.5 比特/符号（此处的符号是指X信源的输出符号xi）

H(X)=H(X2)=3 比特/符号（此处的符号是指扩展信源的输出符号
ai ，它是由二个xi符号组成）
所以
H(X)=2H(X)

对上述结论的解释：因为扩展信源XN的每一个输出符
号ai是由N个xi所组成的序列，并且序列中前后符号是统计 独立的。现已知每个信源符号xi含有的平均信息量为H(X)， 那么，N个xi组成的无记忆序列平均含有的信息量就为 NH(X)（根据熵的可加性）。因此信源XN每个输出符号含 有的平均信息量为NH(X)。
例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源 输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效 看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称 为二进制无记忆信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列 就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二 进制无记忆信源的三次扩展信源。
p ( xi1 ) p ( xi2 ) p ( xiN ) log 2
XN n n n 1 2 p ( xi ) 1 i2
1 p ( xi1 )
p ( xi1 ) log
i1 1
p ( x ) p ( x
i2 1 i3 1
i3
) p ( xiN )
i N 1
1 p ( xi1 ) p ( xi2 / xi1 )
p ( xi1 xi2 ) log 2
n
因为
p( x
所以
ik 1
i XN
n
ik
) 1
k 2,3,, N
p(ai ) log 2
i1 n
p(a ) log
1 2 p ( xi1 )
1 p ( xi1 )
H(X )
H(X)=H(XN)=H(X)+H(X)+…+H(X)=NH(X)
(3) 举 例
3 X x1 , x2 , x3 p( xi ) 1 P( X ) 1 , 1 , 1 i 1 2 4 4 求这个离散无记忆信源的二次扩展信源，扩展信源的每个符号是信源X 的输出长度为2的符号序列。 因为信源X共有3个不同符号，所以由信源X中每两个符号组成的不同 排列共有32=9种，得二次扩展信源共有9个不同的符号。 (i1,i2 1,2,3; i 1,2,9) 因为信源X是无记忆的，则有 p(ai ) p( xi ) p( xi )


二进制无记忆信源的N次扩展：把每N个二进制数字 组成一组，则信源等效成一个具有2N个符号的新信源， 把它称为二进制无记忆信源的N次扩展信源。
③ 离散无记忆信源的数学模型


离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列， 可以用一组组长度为N的序列来表示它。这时它就等效成 了一个新信源； 新信源输出的符号是N长的消息序列，用N维离散随机矢 量来描述。 ai=(xi1,xi2,…,xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X，并且

信源X的N次扩展信源用XN表示，它是具有nN个符号的离 散信源，其数学模型为
a2 , , ai , , aq X N a1 , p (a ), p (a ), , p (a ), , p (a ) 1 2 i q P( X )
• •
其中q=nN，每个符号ai是对应于某一个由N个xi组成的序列 ai的概率p(ai)是对应的N个xi组成的序列的概率
2.2.3 离散平稳有记忆信源
(1) 离散平稳有记忆信源的数学模型 (2) 离散平稳有记忆信源的信源熵 (3) 离散平稳有记忆信源的极限熵
(1) 离散平稳信源的数学模型
① 一维平稳信源 ② 二维平稳信源 ③ 离散平稳信源
① 一维平稳信源




对于随机矢量X=X1X2…XN， 若任意两个不同时刻i和j（大于1的任意整数）， 信源发出消息的概率分布完全相同，即 P(Xi=x1)=P(Xj=x1)=p(x1) P(Xi=x2)=P(Xj=x2)=p(x2) … P(Xi=xn)=P(Xj=xn)=p(xn) 一维平稳信源无论在什么时刻均以{p(x1), p(x2), …, p(xn)} 分布发出符号。
有一离散无记忆信源
1
2
表 2.1 X2 信源的符号 对应的消息序列 概率 p(ai) a1 x1 x1 1/4 a2 x1 x2 1/8 a3 x1 x3 1/8 a4 x2 x1 1/8 a5 x2 x2 1/16 a6 x2 x3 1/16 a7 x3 x1 1/16 a8 x3 x2 1/16 A9 x3 x3 1/16
① 基本概念 ② 序列的成组传送 ③ 离散无记忆信源的数学模型
① 基本概念
离散无记忆信源：为了方便，假定随机变量序列
的长度是有限的，如果信源输出的消息序列中符 号之间是无相互依赖关系/统计独立，则称这类信 源为离散平稳无记忆信源/离散平稳无记忆信源的扩展。
② 序列的成组传送


把信源输出的序列看成是一组一组发出的。
(3) 多符号离散平稳信源
为了便于研究，假定随机矢量X中随机变量 的各维联合概率分布均不随时间的推移变化。或 者说，信源所发符号序列的概率分布与时间的起 点无关，这种信源称为多符号离散平稳信源。
2.2.2 离散平稳无记忆信源
(1) 离散无记忆信源 (2) 离散平稳无记忆信源的熵 (3) 举例
(1) 离散无记忆信源
分量之间统计独立。

由随机矢量X组成的新信源称为离散无记忆信源X的N次 扩展信源。用N重概率空间来描述它。


N次扩展信源的数学模型
单符号离散信源的数学模型为
x2 , ，xn n X x1 , P ( X ) p ( x ), p ( x ), , p ( x ) , p ( xi ) 1 1 2 n i 1

因为信源是无记忆的，所以消息序列
ai ( xi1 , xi2 , , xiN )的概率为 p ( ai ) p ( xi1 ) p ( xi2 ) p ( xiN ), i1 , i2 , , iN {1,2, n}
(2) 离散平稳无记忆信源的熵

因为是无记忆的/统计独立

这种各维联合概率均与时间起点无关的完全平稳信源称为 离散平稳信源。
(2) 离散平稳有记忆信源的信源熵
① 二维平稳信源的信源熵 ② 离散平稳信源的信源熵
① 二维平稳信源的信源熵

二维平稳信源的数学模型 二维平稳信源的信源熵 离散无记忆信源是离散平稳信源的特例 举例

二维平稳信源的数学模型
N次扩展信源的熵
H ( X N ) p(ai ) log 2 p(ai )
XN
求和号是对信源XN中所有nN个符号求和，所以求和号共有nN个。 这种求和号可以等效于N个求和号，其中的每一个又是对X中的n个符号求 和，所以
p(a ) p( x ) p( x
i XN XN i1 n n n i1 1 i2 1
实际的信源输出的消息是时间或空间上离散的一系列 随机变量。这类信源每次输出的不是一个单个的符号，而 是一个符号序列。在信源输出的序列中，每一位出现哪个 符号都是随机的，而且一般前后符号的出现是有统计依赖 关系的。这种信源称为多符号离散信源。 举例：
(2) 随机矢量/随机变量序列


多符号离散信源可用随机矢量/随机变量序列描述， 即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量 的统计特性随着时间的推移而有所变化。

X的数学模型
a2 ,，an 2 X a1 , P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
p(a ) p( x
i 1 i i1 1 i2 1
n2
n
n
i1
) p( xi2 / xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
i1 1 i2 1
n
n

二维平稳信源的信源熵
根据信源熵的定义
n n i1 1 i2 1 n n 1 p ( xi1 xi2 )

H ( X ) H ( X 1 X 2 ) p ( xi1 xi2 ) log 2 p ( xi1 xi2 ) log 2
i1 1 i2 1 n n