信息论第四讲平稳随机序列信源

2020/1/20
7
B.N次扩展信源的信源空间
因为信源XN的每一个消息[Xi]=[Xi1,Xi2,……XiN]均由 信源X的符号集X:{x1,x2,…xn}中的N个符号组成，所 以，XN 的某一个具体符号Xi可以表示为：
[Xi]=(Xi1,Xi2,……XiN)
Xij∈X:{x1,x2,…xn}，
这个关系表明多符号信源中的每个符号取值
2020/1/20
11
单符号离散平稳无记忆信源的N次扩展信源是一种 最简单的多符号信源。
如果单符号离散平稳无记忆信源[X]=[X1,X2,…XN] 中的各变量Xi取值于不同的单符号离散无记忆信源 [Xi,P]。
[X i , P]
Xi P(X i )

xi1 xi2 ... xin p(xix ) p(xi2 )... p(xin )
n
p( xil ) 1
l 1
(i 1,2,... N )
这种信源称为多符号离散无记忆信源
2020/1/20
12
可以证明这种多符号离散无记忆信源的熵为：
H([X]) H( X1, X2,... XN ) H( X1) H( X2)...H( XN )
其中H(Xi)为单符号离散信源[Xi,P]的熵。
p(x1,x2,…xn)=p(x1)p(x2)…p(xn) ②多符号离散无记忆信源，
P(X1,X2,…XN)= P(X1)P(X2)P(X3)…P(XN)
2020/1/20
6
P(X1,X2,…XN)= P(X1)P(X2)P(X3)…P(XN) 在这种假设前提下，可以把多符号离散 平稳信源看作单符号离散平稳信源的N 次扩展信源。 通常N次扩展信源，记为XN。
离散无记忆信道
[X]=X1，X2，X3， …XN
[Y]=Y1，Y2，Y3，…YN
2020/1/20
4
2.7.1 离散无记进一步假设。
我们假设多符号离散平稳信源,
[X]=X1，X2，…XN 或 [X i ] X i1, X i2 ,....X iN 中，符号的随机变量Xi都取值于同一个信源空间，
[X i P]
x1 x2 ... xn p(xx ) p(x2 )...p(xn)
2020/1/20
5
假设多符号离散平稳信源
[X]=X1，X2，…Xi…XN中，各变量Xi(i=1,2,…N)之间
统计独立，即
P(X)=P(X1,X2,…Xi…XN)=P(X1)P(X2)P(X3)…P(XN)
我们介绍的离散无记忆信源包括两层意思： ①单符号离散无记忆信源，
2020/1/20
9
所以离散平稳无记忆信源[X，P]的N次扩展信源的 信源空间为：
[ X N , P] X N x1 x2 ... xnN P(X N ) p(xx ) p(x2 )... p(xnN )
并且有：
nN
nN
n
n
p(Xi) p(Xi1, Xi2,...XiN ) ... p( Xi1, Xi2,...XiN )
X1=x1,x1 X4=x2,x1 X7=x3,x1
X2=x1,x2 X5=x2,x2 X8=x3,x2
i1
i1
i11 iN 1
n
n
... p( X i1) p( X i2 )... p( X iN ) 1
i11 iN 1
表明该信源概率空间也是一个完备空间。
2020/1/20
10
C. N次扩展信源的熵
根据熵函数的定义：
nN
H ( X N ) H ( X1, X2,...X N ) p( X i ) log p( X i ) i 1
[ X ] X 1, X 2 ,....... X i ,......
其中每个信源状态为：
[X i ] X i1, X i2 ,....X iN
为一个有限长度的多维随机序列，如果不考虑顺 序i，可以记为：
[X]=X1，X2，X3，…XN
2020/1/20
3
平稳随机序列信源 (多符号信源)
[X]=X1，X2，X3，…XN
于同一个单符号信源空间。
X:{ x1,x2,…xn}。
2020/1/20
8
扩展信源XN 就有nN 种不同的符号，可以表示为： [XN ]: {[X1],[X2],…[Xi],…[XnN]}; (i=1,2, nN)
例如：二元二次扩展信源，n=2, N=2,
[X]={X1,X2}; [XN ]: {[X1],[X2],[X3],[X4]} X:{x1=0,x2=1} [X1]=00; [X2]=01; [X3]=10; [X4]=11;
2.6 平稳随机序列信源
前面讨论的是单符号离散信源和单 符号离散信道的信息特性。这一节开始 讨论随机矢量或随机序列信源（多符号 信源）的情况。通常这种信源是很复杂 的，通常要进行简化分析。
2020/1/20
1
首先应当注意以下几点：
①实际信源多为相关信源；而前面讨论的
为无记忆信源（不相关）；
②为了讨论相关信源，考虑一下多符号信
利用p(Xi)=p(xi1,xi2,…xiN)的关系 和p(xi1,xi2,…xiN)=p(xi1)p(xi2)…p(xiN)[无记忆信源]， 可以得到：
H( X N ) H( X1, X2,... XN ) H( X1) H( X2 )...H( XN )
再考虑到无记忆信源，H(X1)=H(X2)=…=H(XN) 可以得到：H(XN)=N.H(X)
源和扩展信源；
③在相关信源中只讨论一种特例:马尔科夫
信源；
④为平稳随机序列，即统计特性不随时间
改变；
⑤随机序列为有限等长度，每个信源消息
由N个符号序列组成。
2020/1/20
2
实际的多符号信源为：
[ X ] X 1 (t), X 2 (t),....... X i (t),......
如果认为平稳序列，则为：
[例2-12]: 离散无记忆信源的N次扩展信源
单符号离散无记忆信源为： X:{x1,x2,x3}; P(X):{1/4, 1/2, 1/4} 信源X的N=2次扩展信源，[X]=[X1,X2]
2020/1/20
13
[X2]:{X1,X2,X3,…..X9} 因为：nN=9。 这个2次扩展信源的9个消息符号分别为：