ITD第二章信源及信源熵4

2020/4/14
34
结论：
在实际通信系统中，为了提高传输效率， 往往需要把信源的大量冗余进行压缩，即 所谓信源编码。但是考虑通信中的抗干扰 问题，则需要信源具有一定的冗余度。因 此在传输之前通常加人某些特殊的冗余度， 即所谓信道编码，以达到通信系统理想的 传输有效性和可靠性。
2020/4/14
35
2020/4/14
11
切普曼一柯尔莫郭洛夫方程
p (k ) ij
p p (l ) (k l ) ir rj
r
• 说明:
(1) k步转移概率P(k)ij与l（l＜k)步和（k-l） 步转移概率之间关系;
(2)上式右侧是对第l步的所有可能取值求 和，因而也就是k步转移概率。
2020/4/14
12
(3) 当l=1时,
7
什么叫基本转移概率(一步转移概率)?
• 当n=m+1时，把pij(m,m+1)记为pij(m)， m≥0，并称为基本转移概率(一步转移概 率)。
记 pij (m) p Sm1 j / Sm i i, j S
2020/4/14
8
齐次马尔可夫链转移概率具有时间推移不变性 转移概率可表示为：
率表示 如下:
pij(m,n)=p{Sn=sj/Sm=si}=p{sj/si} si,sjS
状态转移概率p(sj/si)由信源符号条件概率p(xj/si)
确定。 2020/4/14
5
为什么状态转移概率是一个条件概率?
• (1)状态转移概率Pij(m,n)表示已知在时刻m系 统处于状态si，或Sm取值si的条件下，经(n-m) 步后转移到状态sj的概率。
冗余度来自两个方面，一是信源符号间的相关性，由于信 源输出符号间的依赖关系使得信源熵减小，这就是信源 的相关性。相关程度越大，信源的实际熵越小，趋于极 限熵H（X）；反之相关程度减小，信源实际熵就增大。 另一个方面是信源符号分布的不均匀性，当等概率分布 时信源熵最大。而实际应用中大多是不均匀分布，使得 实际熵减小。当信源输出符号间彼此不存在依赖关系且 为等概率分布时，信源实际熵趋于最大H0（X）。
1/ 2
pj
0 1 /
2
0
j 1 j2 j 3 j4
达不到稳定状态 !
2020/4/14
27
例 2-4-2
Xr
+
Yr
T
q p0
p 11
q
2020/4/14
28
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是
Yr，显然有
Y1= X1，Y2＝X2 Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
Yr确定后，Yr+1布只与Yr有关，与Yr-1、Yr-
2…等无关，且知Yr序列的条件概率为
2020/4/14
29
p00=p(Y2=0/Y1=0)=p(X=0)=p
p01=(Y2=1/Y1=0)=p(X=1)=q
p10=p(Y2=0/Y1=1)=p(X=1)=q
p11=p(Y2=1/Y1=1)=p(X=0)=p • 说明:
i
p(S0 si ) p(Sk s j / S0 si )
i
p0i
p (k) ij
i
2020/4/14
14
如何确定平稳分布的 Wj＝p(Sk=sj) ?
Wi pij W j j S
i
• 其中, Wi和Wj均为稳态分布概率 .
2020/4/14
15
分析:
Wi pij Wj
i
jS
W1 p11 W2 p21 ... WQ pQ1 W1
pij (m) p Sm1 j / Sm i pij
转移概率性质：
i, j S
pij 0
i, j S
pij 1
j
i, j S
2020/4/14
9
k步转移概率表示为:
p(k)ij (m)
p
Smk
j / Sm
i
p(k) ij
i, j S
k步转移概率矩阵:
P(k)
p(k) ij
si (xi1 xi2 ...xim ), i1,i2 ,..., im (1,2,..., q)
2020/4/14
4
• 如果信源符号表中的数目为q，则由前面出现的
m个符号所组成的序列si共有Q＝qm种，将这些序 列看作是状态集S={s1,s2,…,sQ}，则信源在某一时 刻出现符号xj的概率就与信源此时所处的状态si有 关，用条件概率表示为p(xj/si)，i=1,2,...,Q； j=l,2,…,q。当信源符号xj出现后，信源所处的状 态将发生变化，并转人一个新的状态。用转移概
(m), i,
j
S
说明: 一步转移概率矩阵为:
p11 ... p12
P
pij , i, j S
或P
....
2020/4/14
pQ1 .... pQQ 10
• 一步矩阵P中第i行元素对应于从某一个状态Si 转移到所有状态Sj的转移概率，显然矩阵中的 每一个元素都是非负的，并且每行之和均为1；
(1)转移矩阵为，它与r无关，因而是齐次的。
(2)由图容易验证该马氏链具有不可约性和非周期
性
2020/4/14
30
第五节 冗余度
• 问题： 1. 冗余度产生的原因？ 2. 信息效率、冗余度的定义？
2020/4/14
31
问题1：冗余度产生的原因
• 冗余度（多余度、剩余度）表示给定信源在实际发出消 息时所包含的多余信息。
对任意一对i和j，都存在至少一个k使p(k)ij＞0，
这就是说从Si开始，总有可能到达 Sj.
2020/4/14
21
香农线图
S1
1/2
1/2 1/2
S2
1/2 1/2
S3
1/2 1
可约马氏链
1/2 S4
1/2
S5
2020/4/14
22
• 注意:
(1)S1,S2,S3是三种状态，箭头是指从一个状态转移到另
第六讲
2003年5月24日
2020/4/14
1
4. 离散马氏链信源
平稳信源的m阶马尔可夫信源： 信源发出的符号只与前面的m个符号有关， 而与更前面出现的符号无关。 用概率意义表达为: p(xt/xt-1,xt-2,xt-3,…,xt-m,…)=p(xt/xt-1,xt-2,…xt-m)
2020/4/14
...
2020/4/14 j
p1 j 1
p2Q
...
pQQ
1
18
0 p21 ... 0 p22 1 ... ... ... ...
pQ1 pQ2 0 ...
0 p2Q ... pQQ 1
所以
Wi pij W j j S
i
有非零解W1,W2,…,WQ。
2020/4/14
19
• 如果再用 Wj 1 就可解得各稳态分布
2020/4/14
17
p11 1 p21 ... pQ1 W1
p12
...
p22 1 ... ... ...
pQ2 ...
W2
...
0
p1Q
p2Q
...
pQQ
1
WQ
pij 1
j
j
p1 j 1
p21
...
pQ1
j
p1 j 1
p22 1 ...
pQ2
百度文库
...
...
...
• (2)把Pij(m,n)理解为已知在时刻m系统处于状 态i的条件下，在时刻n系统处于状态j的条件概 率，故状态转移概率实际上是一个条件概率。
2020/4/14
6
两个基本转移概率性质:
(1) pij (m, n) 0
(2) pij (m, n) 1
j
i, j S
i, j S
2020/4/14
…
W1 p12 W2 p22 ... WQ pQ2 W2
……
W1 p1Q W2 p2Q ... WQ pQQ WQ
2020/4/14
16
W1( p11 1) W2 p21 ... WQ pQ1 0
W1 p12 W2 ( p22 1) ... WQ pQ2 0
……
…
W1 p1Q W2 p2Q ... WQ ( pQQ 1) 0
2
5. 状态转移描述
• 对于m阶马尔可夫信源
X P
x1 p(xim1
x2 / xi1
... xq xi2 ...xim
)
2020/4/14
3
• 在某一时刻（m＋1），信源符号出现的 概率，仅与前面已出现的m个符号有关， 而与更前面出现的符号无关。可通过引 人状态转移概率，从而转化为马尔可夫 链，即令
p(k) ij
p p（kl) ir rj
p k-l ir
prj
r
r
矩阵表示:
(p(k))=(p)(p(k-1))=(p)(p)(p(k-2))=…=(p)k
对于齐次马氏链来说，一步转移概率完 全决定了k步转移概率。
2020/4/14
13
如何确定无条件概率?
• 令初始概率为p0i＝p(S0＝si)
p(Sk s j ) p(Sk s j , S0 si )
• 当k为偶数时
1/ 2 0 1/ 2 0
(P(k) ) (P)k 0 1/ 2 0 1/ 2 (P) 1/ 2 0 1/ 2 0
0 1/ 2 0 1/ 2
2020/4/14
26
• 若起始状态为s1，则
经奇数步后，Sk=sj的概率为
0 j 1
pj
1/ 2 0
j2 j 3
1/ 2 j 4
• 经偶数步后
0 1/ 2 (P(k) ) (P)k 1/ 2 0
0 1/ 2 1/ 2 0
0 1/ 2k 1/ 2 0 0 1/ 2 1/ 2 0
2020/4/14
25
• 当k为奇数时
0 1/ 2 (P(k) ) (P)k 1/ 2 0
0 1/ 2 1/ 2 0
0 1/ 2 1/ 2 0 (P) 0 1/ 2 1/ 2 0
马氏链周期性
• 非周期性，就是所有p(k)ii＞0的n中没有 比1大的公因子。
1/2
S1
1/2
1/2
1/2
1/2
S4
1/2
1/2
S2
1/2
1/2
S3
2020/4/14
周期性马氏链
24
• 注意:
(1)上图周期为2.因为从S1出发再回到S1所 需的步数必为2，4，6，…， .
(2) p(n)ij矩阵
2020/4/14
32
问题2：信息效率、冗余度的定义
• 信息效率
H(X ) ,
Hm(X )
0 1
表示不肯定的程度
• 冗余度 1 1 H(X )
Hm(X )
表示肯定性的程度，因为肯定性不含有信息量，
2因020/4此/14 是冗余的。
33
书 P28 例子
由上述例子可看出：
• 由于各个符号出现的概率不均匀
所以：H1＜H0 • 随着序列增长，字母间的相关性越来越强:
所以：H＜…＜H3＜H2 • 正是因为信源符号中存在的这些统计不均匀性
和相关性，才使得信源存在冗余度。
• 当英文字母的结构信息已预先充分获得时，可 用合理符号来表达英语，例如传送或存储这些 符号，可大量压缩，100页的英语，大约只要29 页就可以了。
一个状态，旁边的数字代表转移概率。这就是香农提
出的马尔可夫状态图，也叫香农线图。
(2)由状态S3转移到S1的转移概率p(k)31=0，因为 一进人状态S3就一直继续下去，而不会再转移 到其他状态。P(k)41=0也是明显的，因S4和S1之 间没有连接箭头，因此这种链就是可约的。
2020/4/14
23
• 一步矩阵P中第j列元素对应于从所有状态Si转 移到同一个状态Sj的转移概率，列元素之和不 一定为1。
• 一步矩阵P中第i行元素对应于从某一个状态Si 转移到所有状态Sj的转移概率，显然矩阵中的 每一个元素都是非负的，并且每行之和均为1； 第j列元素对应于从所有状态Si转移到同一个状 态Sj的转移概率，列元素之和不一定为1。
概率 Wj。 j
• 若［ pij ij ］的秩是(n-1)，则解是唯一
的。
2020/4/14
20
马氏链的可约性
• 马氏链可约性:
若对所有 k，都有p(k)ij=0，就意味着一旦出现 Si以后不可能到达Sj, 也就是不能各态遍历，或者 状态中应把Sj取消，这样就成为可约的了。
• 马氏链不可约性:
作业: 2-18到2-21 2-23到2-29
2020/4/14
36